KR20240052886A - 다계층식 비디오 코딩에서의 저지연 개념 - Google Patents

다계층식 비디오 코딩에서의 저지연 개념 Download PDF

Info

Publication number
KR20240052886A
KR20240052886A KR1020247012081A KR20247012081A KR20240052886A KR 20240052886 A KR20240052886 A KR 20240052886A KR 1020247012081 A KR1020247012081 A KR 1020247012081A KR 20247012081 A KR20247012081 A KR 20247012081A KR 20240052886 A KR20240052886 A KR 20240052886A
Authority
KR
South Korea
Prior art keywords
units
decoding
decoder
timing control
control information
Prior art date
Application number
KR1020247012081A
Other languages
English (en)
Inventor
카르스텐 쉬링
토마스 쉬를
데트레브 마르페
로베르트 스쿠핀
야고 산체스 데 라 푸엔테
게르하르트 테히
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Publication of KR20240052886A publication Critical patent/KR20240052886A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

인터리빙된 디코딩 유닛 배치를 반영하는 타이밍 제어 정보에 더하여 추가의 타이밍 제어 정보를 갖는 상이한 계층들의 인터리빙된 디코딩 유닛들을 갖는 인터리빙된 다계층식 비디오 데이터 스트림이 제공된다. 부가적인 타이밍 제어 정보는 디코딩된 버퍼 액세스 유닛-방식으로 모든 디코딩 유닛이 처리되는 폴백 위치, 또는 중간 과정이 사용되는 폴백 위치와 관련되는데: 상이한 계층들의 디코딩 유닛들의 인터리빙은 부가적으로 보내진 타이밍 제어 정보에 따라 가역되고, 이에 의해 디코더의 버퍼에서 디코딩 유닛-방식 처리를 가능하게 하나, 디코딩 유닛들의 어떠한 인터리빙도 상이한 계층들과 관련되지 않는다. 두 폴백 위치 모두는 동시에 존재할 수 있다. 다양한 바람직한 실시 예들 및 대안들이 여기에 첨부된 다양한 청구항들의 주제이다.

Description

다계층식 비디오 코딩에서의 저지연 개념{LOW DELAY CONCEPT IN MULTI-LAYERED VIDEO CODING}
본 발명은 다-시점 화상/비디오 코딩과 같은 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념들에 관한 것이다.
스케일러블 비디오 코딩(Scalable Video Coding, SVC)에서 코딩된 화상 버퍼(CPB)는 완전한 액세스 유닛들(AUs) 상에서 운영된다. 하나의 액세스 유닛의 모든 네트워크 추상 계층 유닛들(NALUs)은 동일한 시간 인스턴트에서 코딩된 화상 버퍼(CPB)로부터 제거된다. 액세스 유닛은 모든 계층의 패킷들(즉, 네트워크 추상 계층 유닛들)을 포함한다.
고효율 비디오 코딩 기반 사양[1]에서 H.264/AVC와 비교하여 디코딩 유닛(DU)들의 개념이 추가된다. 디코딩 유닛은 비트스트림 내의 연속적인 이치들에서의 네트워크 추상 계층 유닛들의 그룹이다. 단일 계층 비디오 비트스트림에서 이러한 모든 네트워크 추상 계층 유닛은 동일한 계층, 즉 이른바 기본 계층에 속한다.
고효율 비디오 코딩 기반 사양은 즉 H.264/AVC에서와 같이 액세스 유닛 상에서 운영되는 코딩된 화상 버퍼와는 대조적으로 디코딩 유닛 레벨상에서의 코딩된 화상 버퍼 및 디코딩 유닛 입상도를 갖는 정보 코딩된 화상 버퍼 타이밍 정보를 통하여, 초-저지연(ultra-low delay)을 갖는 비트스트림들의 디코딩을 허용하도록 필요한 툴(tool)들을 포함한다.
다계층 스케일러블 고효율 비디오 코딩(Scalable HEVC, SHVE), 다중 스케일러블(Multi-Scalable, MV) 고효율 비디오 코딩 및 고효율 비디오 코딩의 3차원-고효율 비디오 코딩 확장에서의 유사한 초-저지연 운영들을 위하여, 계층들을 가로질러 디코딩 유닛 레벨 상의 코딩된 화상 버퍼 운영들은 이에 따라 정의될 필요가 있다, 특히, 일부 계층들 또는 시점들을 갖는 액세스 유닛의 디코딩 유닛들이 계층들을 가로질러 인터리빙되는 비트스트림이 필요한데, 즉 주어진 액세스 유닛의 계층(m)의 디코딩 유닛들은 비트스트림 순서로 따르는 디코딩 유닛들에 대한 어떠한 의존들도 존재하지 않는 한 그러한 초-저지연이 가능한 다계층 스트림 내에서 동일한 액세스 유닛의 계층(m+1)의 디코딩 유닛들을 따를 수 있다.
초-저지연 운영은 액세스 유닛들을 기초로 하여 작업하는 H.264/AVC의 스케일러블 비디오 코딩(SDVC) 및 다시점 비디오 코딩(MVC) 확장과 비교하여 다계층 디코디를 위하여 코딩된 화상 버퍼 운영의 변형들을 필요로 한다. 초-저지연 디코더는 예를 들면 보충 강화 정보 메시지(SEI)를 통하여 제공되는, 부가적인 타이밍 정보를 사용할 수 있다.
다계층 디코더의 일부 구현들은 계층-방식 디코딩(및 디코딩 유닛 또는 액세스 유닛 레벨 상의 코딩된 화상 버퍼 운영), 즉 계층(m+1)의 디코딩 이전에 계층(m)의 디코딩을 선호할 수 있고, 이는 스케일러블 고효율 비디오 코딩, 다중 스케일러블 고효율 비디오 코딩 및 3차원-고효율 비디오 코딩을 갖는 어떠한 다계층 초-저지연 적용들을 효율적으로 금지할 수 있고, 새로운 메커니즘이 제공된다.
현재, 고효율 비디오 코딩 기반 스펙은 두 가지 디코딩 운영 모드를 포함한다:
- 액세스 유닛(AU) 기반 디코딩: 액세스 유닛의 모든 디코딩 유닛이 코딩된 화상 버퍼로부터 동시에 제거된다.
- 디코딩 유닛(DU) 기반 디코딩: 각각의 디코딩 유닛이 고유의 코딩된 화상 버퍼 제거 시간을 갖는다.
그럼에도 불구하고, 가까운 장래에 다-시점/계층 코딩 개념을 더 향상시키는 개념들을 갖는 것이 더 바람직할 수 있다.
따라서, 다-시점/계층 코딩 개념들을 더 향상시키는 개념들을 제공하는 것이 본 발명의 목적이다. 특히, 저지연 개념을 처리할 수 없거나 또는 사용하지 않도록 디코딩하는 디코더들을 위한 적어도 하나의 폴백 위치(fallback position)를 포기하지 않고, 낮은 엔드-투-엔드(end-to-end) 지연을 가능하게 하기 위한 가능성을 제공하는 것이 본 발명의 목적이다.
본 발명의 목적은 첨부된 독립항들에 의해 달성된다.
본 발명의 근본이 되는 개념은 인터리빙된 디코딩 유닛 배치를 반영하는 타이밍 제어 정보에 더하여 또 다른 타이밍 제어 정보를 갖는 상이한 계층들의 인터리빙된 디코딩 유닛들을 갖는 인터리빙된 다계층식 비디오 데이터 스트림을 제공하는 것이다. 부가적인 타이밍 제어 정보는 디코딩된 버퍼 액세스 유닛-방식에서 모든 디코딩 유닛이 처리되는 폴백 위치, 또는 중간 과정이 사용되는 폴백 위치와 관련되는데: 상이한 계층들의 디코딩 유닛들의 인터리빙은 부가적으로 보내진 타이밍 제어 정보에 따라 가역되고, 이에 의해 디코더의 버퍼에서 디코딩 유닛-방식 처리를 가능하게 하나, 디코딩 유닛들의 어떠한 인터리빙도 상이한 계층들과 관련되지 않는다. 두 폴백 위치 모두는 동시에 존재할 수 있다. 다양한 바람직한 실시 예들 및 대안들이 여기에 첨부된 다양한 청구항들의 주제이다.
아래에 도면들을 참조하여 본 발명의 바람직한 실시 예들이 설명된다.
도 1은 아래의 도면들에 따라 더 설명되는 다계층 인코더들 중 어느 하나를 구현하기 위한 예로서 역할을 하는 비디오 인코더를 도시한다.
도 2는 도 1의 비디오 인코더와 어울리는 비디오 디코더를 나타내는 개략적인 블록 다이어그램을 도시한다.
도 3은 파면 병렬 처리를 위한 서브스트림들로 세분된 화상의 개략적인 다이어그램을 도시한다.
도 4는 블록들로 세분된 어떠한 계층을 나타내고 화상의 공간 세그먼트들로의 또 다른 세분을 나타내는 개략적인 다이어그램을 도시한다.
도 5는 블록들 및 타일들로 세분된, 어떠한 계층의 화상의 개략적인 다이어그램을 도시한다.
도 6은 블록들 및 서브스트림들로 세분된 화상의 개략적인 다이어그램을 도시한다.
도 7은 여기서는 바람직하게는 세 개의 계층을 포함하는, 다계층식 비디오 데이터 스트림의 개략적인 다이어그램을 도시하고, 데이터 스트림 내의 각각의 시간 인스턴트 및 각각의 계층에 속하는 네트워크 추상 계층 유닛들을 배치하기 위한 선택사항 1과 2가 도 7의 하단 반에 도시된다.
도 8은 두 개의 계층의 바람직한 경우에서의 이러한 두 가지 선택사항을 나타내는 데이터 스트림의 일부분의 개략적인 다이어그램을 도시한다.
도 9는 비교 실시 예로서, 선택사항 1의 도 7과 8에 따른 다계층식 비디오 데이터 스트림들을 처리하도록 구성되는 디코더의 개략적인 블록 다이어그램을 도시한다.
도 10은 도 9의 디코더에 어울리는 인코더의 개략적인 블록 다이어그램을 도시한다.
도 11은 다양한 계층들의 디코딩 유닛들의 인터리빙된(interleaved) 전송을 나타내는 플래그를 포함하는 비디오 파라미터 세트(VPS) 구문 확장의 일부분의 구문 예를 도시한다.
도 12a는 일 실시 예에 따라 디코더의 버퍼로부터 인터리빙된 전송된 디코딩 유닛들의 디코딩 유닛 역인터리빙된 제거를 가능하게 하는 타이밍 제어 정보를 포함하는 보충 강화 정보(SEI) 메시지의 바람직한 구문을 도시한다.
도 12b는 대안의 실시 예에 따라, 또한 도 12a의 타이밍 제어 정보의 전달하는, 인터리빙된 디코딩 유닛들의 시작들에 배치되도록 추정되는 보충 강화 정보 메시지의 바람직한 구문을 도시한다.
도 12c는 디코딩 유닛 인터리빙을 유지하는 동안에 디코딩 유닛-방식 버퍼 검색을 가능하게 하는 타이밍 제어 정보를 나타내는 보충 강화 정보 메시지의 바람직한 구문을 도시한다.
도 13은 시간에 대한 세 개의 계층의 디코딩 유닛들의 비트스트림 순서의 개략적인 다이어그램을 도시하며, 계층 지수는 0 내지 2의 숫자로서 도시된다.
도 14는 시간에 대한 세 개의 계층의 디코딩 유닛들의 비트스트림 순서의 개략적인 다이어그램을 도시하며, 도 13과 비교하여 디코딩 유닛들이 인터리빙된다.
도 15는 일 실시 예에 따라 다계층 디코딩 유닛들의 다수의 코딩된 화상 버퍼(CPB)로의 분포를 나타내는 개략적인 다이어그램을 도시한다.
도 16은 일 실시 예에 따라 다수의 코딩된 화상 버퍼와 관련하여 메모리 어드레스(memory address) 도해를 나타내는 개략적인 다이어그램을 도시한다.
도 17 내지 20은 본 발명의 실시 예와 상응하도록 도 7과 관련하여 변형된 인코더와 함께 다계층식 비디오 데이터 스트림의 개략적인 다이어그램들을 도시한다.
도 21 내지 24는 본 발명의 실시 예와 상응하도록 도 9에 바람직하게 도시된 디코더와 관련하여 변형된 디코더와 함께 다계층식 비디오 데이터 스트림의 개략적인 다이어그램들을 도시한다.
도 25는 디코더 버퍼로부터 상류에 위치되는 중간 네트워크 장치를 나타내는 블록 다이어그램을 도시한다.
먼저, 개요로서, 그 뒤에 제시되는 실시 예들에 어울리는 인코더/디코더 구조에 대한 일례가 제시된다. 즉, 인코더는 이후에 설명되는 개념을 활용하도록 구현될 수 있고, 디코더와 관련하여 동일하게 적용된다.
도 1은 일 실시 예에 따른 인코더의 일반적인 구조를 도시한다. 인코더(10)는 멀티-스레드식(multi threaded) 방법으로 또는 그렇지 않으면, 즉 단일 스레드식 방식으로 운영할 수 있도록 구현될 수 있다. 즉, 인코더(10)는 예를 들면, 다중 중앙 처리 유닛(CPU) 코어를 사용하여 구현될 수 있다. 바꾸어 말하면, 인코더(10)는 병렬 처리를 지원할 수 있으나 반드시 그럴 필요는 없다. 발생되는 비트스트림들은 또한 단일 스레드식 인코더들/디코더들에 의해 발생 가능/디코딩 가능할 것이다. 그러나, 본 발명의 디코딩 개념은 압축 효율의 절충 없이, 병렬 처리 인코더들이 효율적으로 적용하는 것을 가능하게 한다. 병렬 처리 능력과 관련하여, 유사한 설명들은 도 2와 관련하여 뒤에 설명되는 디코더들에 대하여 유효하다.
인코더(10)는 비디오 인코더이다. 비디오(14)의 화상(12)은 입력(16)에서 인코더(10)로 들어가는 것으로서 도시된다. 화상(12)은 특정 장면, 즉 화상 콘텐츠를 나타낸다. 그러나, 인코더(10)는 그것의 입력으로서 또한 동일한 시간 인스턴트와 관련된 또 다른 화상(15)을 수신하고 두 화상(12 및 15)은 상이한 계층들에 속한다. 단지 설명의 목적을 위하여, 화상(12)은 계층 0에 속하는 것으로서 도시되고, 화상(15)은 계층 1에 속하는 것으로서 도시된다. 도 1은 계층(1)이 계층 0에 대하여 더 높은 공간 해상도를 포함할 수 있는 것으로 도시되는데, 즉 더 높은 화상 샘플들의 수를 갖는 동일한 장면을 나타낼 수 있는 것으로 도시되나, 이는 단지 설명의 목적을 위한 것이고 계층(1)의 화상(15)이 대안으로서, 동일한 공간 해상도를 가질 수 있으나 예를 들면, 계층 0에 대하여 시점 방향이 다를 수 있는데, 즉 화상들(12 및 15)은 상이한 시점들로부터 포획될 수 있다. 본 설명에서 사용되는 기본 및 강화(enhancement) 계층의 용어는 기준 및 의존 계층의 어떠한 세트를 언급할 수 있다는 것에 유의하여야 한다.
인코더(10)는 하이브리드 인코더인데, 즉 화상들(12 및 15)은 인코더(10)의 예측기(18)에 의해 예측되고 인코더(10)의 잔류 결정기(22)에 의해 획득되는 예측 잔류(20)는 이산 코사인 변환(DCT)과 같은 스펙트럼 분해 및 인코더(10)의 변환/양자화 모듈(24)에서의 양자화와 같은, 변환의 대상이 된다. 이에 따라 획득된, 변환되고 양자화된 예측 잔류(26)는 예를 들면 콘텍스트-적응성(context-adaptivity)를 사용하는 산술 코딩 또는 가변 길이 코딩과 같은, 엔트로피 코더(28) 내의 엔트로피 코딩의 대상이 된다. 잔류의 재구성 가능한 버전은 디코더를 위하여 이용 가능한데, 즉 역양자화되고 재변환된 잔류 신호(30)가 재변환/재양자화 모듈(31)에 의해 복원되고 결합기(33)에 의해 예측기(18)의 예측 신호(32)와 결합되며, 이에 의해 각각 화상(12 및 15)의 재구성(34)을 야기한다. 그러나, 인코더(10)는 블록 기반으로 운영한다. 따라서, 재구성된 신호(34)는 블록 경계들에서의 불연속성들로부터 곤란을 겪고, 따라서, 각각 화상들(12 및 15)을 위한 기준 화상(38)을 생산하기 위하여 필터(36)가 재구성된 신호(24)에 적용될 수 있고, 이를 기초로 하여 예측기(18)가 상이한 계층들의 그 뒤에 인코딩되는 화상들을 예측한다. 도 1의 파선에 의해 도시된 것과 같이, 예측기(18)는 그러나 또한, 공간 예측 모드들과 같은 다른 예측 모드들에서와 같이, 필터(36) 또는 중간 버전 없이 재구성된 신호(34)를 직접적으로 이용한다.
예측기(18)는 화상(12)의 특정 블록들을 예측하기 위하여 상이한 예측 모드들 중에서 선택할 수 있다. 화상(12)의 그러한 하나의 블록(39)이 도 1에 도시된다. 이는 화상이 분활되는 화상(12)의 어떠한 블록을 대표하는 블록(39)이 화상(12)과 같은 동일한 계층의 이전에 코딩된 화상을 기초로 하여 예측되는, 시간 예측 모드일 수 있다. 블록이 블록(39)에 이웃하는 동일한 화상(12)의 이전에 코딩된 부분을 기초로 하여 예측되는 공간 예측 모드가 또한 존재할 수 있다. 화상(15)이 분할되는 다른 블록들 중 어느 하나를 대표하도록 화상(15)의 블록(41)이 또한 도 1에 도시된다. 블록(41)을 위하여, 예측기(18)는 방금 설명된 예측 모드들, 즉 시간 및 공간 예측 모드들을 지원할 수 있다. 부가적으로, 예측기(18)는 블록(41)이 낮은 계층의 화상의 상응하는 부분을 기초로 하여 예측되는 계층간 예측 모드를 제공할 수 있다. "상응하는 부분"에서의 "상응하는"은 공간 상응성, 즉 화상(15) 내에서 예측되도록 블록(41)과 동일한 장면의 부분을 나타내는 화상(12) 내의 일부분을 나타내야만 한다.
예측기(18)의 예측들은 자연적으로, 화상 샘플들에 제한되지 않을 수 있다. 예측은 또한 어떠한 코딩 파라미터, 즉 예측 모드들, 시간 예측의 움직임 벡터들, 다시점 예측의 차이 벡터(disparity vector)들 등에도 적용될 수 있다. 단지 잔류들만이 그리고 나서 비트스트림(40) 내에 코딩될 수 있다. 이는 공간 및/또는 계층간 예측을 사용하고, 코딩 파라미터들이 예측적으로 코딩/디코딩될 수 있다. 심지어 여기서는, 차이 보상(disparity compensation)이 사용될 수 있다.
특정 구문은 변환 계수 레벨들과 다른 잔류 데이터뿐만 아니라, 예를 들면 예측기(18)에 의해 결정되는 것과 같이 화상들(12 및 15)의 개별 블록들(39 및 41)을 위한 예측 모드들과 예측 파라미터들을 포함하는, 코딩 파라미터들을 컴파일(compile)하도록 사용되고 이러한 구문의 구문 요소들은 엔트로피 코더(28)에 의한 엔트로피 코딩의 대상이 된다. 엔트로피 코더(26)에 의해 출력된 것으로서 이에 따라 획득된 데이터 스트림(40)은 인코더(10)에 의해 출력된 비트스트림(40)을 형성한다.
도 2는 도 1의 인코더와 어울리는, 즉 비트스트림(40)을 디코딩할 수 있는 디코더를 도시한다. 도 2의 디코더는 일반적으로 도면부호 50에 의해 표시되고 엔트로피 디코더, 재변환/역양자화 모듈(54), 결합기(56), 필터(58) 및 예측기(60)를 포함한다. 엔트로피 디코더(42)는 비트스트림을 수신하고 잔류 데이터(62) 및 디코딩 파라미터들(64)을 복원하도록 엔트로피 디코딩을 실행한다. 재변환/역양자화 모듈(54)은 잔류 데이터(62)를 역양자화하고 재변환하며 이에 따라 획득된 잔류 신호를 결합기(56)에 전달한다. 결합기(56)는 또한 예측기(60)로부터 예측 신호(66)를 수신하고, 이는 차례로 예측 신호(66) 및 잔류 신호(65)를 결합함으로써 결합기(56)에 의해 결정되는 재구성되는 신호(68)를 기초로 하는 코딩 파라미터(64)를 사용하여 예측 신호를 형성한다. 상기 예측은 예측기(18)에서 최종적으로 선택된 예측을 미러링하며(mirror), 즉 동일한 예측 모드들이 이용 가능하고 이러한 모드들은 화상들(12 및 15)의 개별 블록들을 위하여 선택되며 예측 파라미터들에 따라 조향된다. 도 1과 관련하여 위에서 이미 설명된 것과 같이, 예측기(60)는 재구성된 신호(68)의 필터링된 버전 또는 대안으로서 또는 부가적으로, 그것의 일부 중간 버전을 사용할 수 있다. 최종적으로 재생되고 디코더(50)의 출력에서 출력되려는 상이한 계층들의 화상들은 유사하게 조합 신호(68)의 필터링되지 않은 버전 또는 그것의 일부 필터링된 버전 상에서 결정될 수 있다.
도 10의 인코더(10)는 타일 개념을 지원한다. 타일 개념에 따르면, 화상들(12 및 15)은 각각 타일들(80 및 82)로 세분되고, 적어도 각각 이러한 타일들(80 및 82) 내의 블록들(39 및 41)의 예측들이 공간 예측을 위한 기본으로서, 각각 동일한 화상(12, 15)이 동일한 타일에 대한 데이터만을 사용하도록 제한된다. 이는 블록(39)의 공간 예측이 동일한 타일의 이전에 코딩된 부분들을 사용하도록 제한되는 것을 의미하나, 시간 예측 모드는 화상(12)과 같은 이전에 코딩된 화상의 정보에 의존하는 것에 제한되지 않는다. 유사하게, 블록(41)의 공간 예측 모드는 동일한 타일의 이전에 코딩된 데이터만을 사용하도록 제한되나, 시간 및 계층간 예측 모드들은 제한되지 않는다. 디코더(50)의 예측기(60)는 유사하게 타일 경계들을 특별하게 처리하도록 구성되는데: 예측들 및 엔트로피 콘텍스트 선택 및/또는 적응이 어떠한 타일 경계도 가로지르지 않고 하나의 타일 내에서만 실행된다.
화상들(12 및 15)의 각각 6개의 타일로의 세분이 단지 설명의 목적을 위하여 선택되었다. 타일들로의 세분은 각각 화상들(12', 12 및 15' 15)을 위하여 개별적으로 비트스트림(40) 내에서 선택될 수 있고 시그널링될 수 있다. 각각 화상들(12 및 15) 당 타일들의 수는 1, 2, 3, 4, 6, 등 중 어느 하나일 수 있고, 타일 분할은 타일들의 열들과 행들로의 정규 세분에만 제한적일 수 있다. 완전성을 위하여, 개별적으로 타일을 코딩하는 방법은 인트라-예측(intra-prediction) 또는 공간 예측에 제한되지 않을 수 있으나 또한 경계들을 가로지르는 코딩 파라미터들의 어떠한 코딩 및 엔트로피 코딩에서의 콘텍스트 선택을 포함할 수 있다는 것에 유의하여야 한다. 즉 후자는 또한 동일한 타일의 데이터에만 의존되도록 제한될 수 있다. 따라서, 디코더는 방금 언급된 운영들을 병렬로, 즉 타일들의 유닛들 내에서 실행할 수 있다.
도 1과 2의 인코더와 디코더는 대안으로서 또는 부가적으로 파면 병렬 처리(wavefront parallel processing, WPP) 개념을 사용/지원할 수 있다. 도 3이 참조된다. 파면 병렬 처리 서브스트림들(100)은 또한 화상(12, 15)의 파면 병렬 처리 서브스트림들로의 공간 분할을 표현한다. 타일들 및 슬라이스들과 대조적으로, 파면 병렬 처리 서브스트림들은 파면 병렬 처리 서브스트림들(100)을 가로질러 예측들 및 콘텍스트 선택들 상에 제한들을 부과하지 않는다. 파면 병렬 처리 서브스트림들(100)은 가장 큰 코딩 유닛들(LCUs, 101), 즉 예측 코딩 모드들이 비트스트림 내에 개별적으로 전송 가능한 가장 큰 가능한 블록들의 열들을 가로지르는 것과 같은 열-방식으로 확장하고 병렬 처리를 가능하게 하도록 단지 하나의 절충이 엔트로피 코딩과 관련된다. 특히 순서(102)는 파면 병렬 처리 서브스트림들(100) 중에서 정의되고, 이는 바람직하게는 상단으로부터 하단으로 이르게 하고, 각각의 파면 병렬 처리 서브스트림들(100)을 위하여, 순서(102)에서의 제 1 파면 병렬 처리 서브스트림을 제외하고, 심볼 알파벳에 대한 확률 추정들, 즉 엔트로피 확률들은 완전하게 재설정되지 않으나 선들(104)에 의해 표시된 것과 같이, 그것의 제 2 가장 큰 코딩 유닛까지 바로 선행하는 파면 병렬 처리 서브스트림들을 엔트로피 코딩된/디코딩된 후에 결과로서 생긴 확률들로부터 적용되거나 또는 확률들로 설정되며, 가장 큰 코딩 유닛 순서, 또는 서브스트림들의 디코더 순서는 화살표(106)에 의해 표시되는 것처럼 왼쪽 측과 같은, 각각 화상(12 및 15)의 동일한 측에서 각각의 파면 병렬 처리 서브스트림들에 대하여, 시작하고 가장 큰 코딩 유닛 열 방향으로 다른 측에 이르게 된다. 따라서, 각각 동일한 화상(12 및 15)의 파면 병렬 처리 서브스트림들의 시퀀스 사이의 일부 코딩 지연을 따름으로써 이러한 파면 병렬 처리 서브스트림들(100)은 병렬로 디코딩 가능/코딩 가능하고, 따라서 각각의 화상(12, 15)이 병렬로, 즉 동시에 코딩/디코딩되는 부분들은 왼쪽으로부터 오른쪽으로 경사진 방식으로 화상을 가로질러 이동하는 일종의 파면(108)을 형성한다.
순서들(102 및 104)은 또한 상단에서 하단으로 열별로 상단 왼쪽 가장 큰 코딩 유닛(101)으로부터 하단 오른쪽 가장 큰 코딩 유닛으로 이르게 하는 가장 큰 코딩 유닛들 중에서 래스터 스캔 순서를 정의한다는 것이 간단하게 설명된다. 파면 병렬 처리 서브스트림들은 각각 하나의 가장 큰 코딩 유닛 열과 상응한다. 다시 간단하게 타일들을 참조하면, 후자는 또한 가장 큰 코딩 유닛 경계들에 정렬되도록 제한될 수 있다. 서브스트림들은 서브스트림의 내부에서 두 슬라이스 사이의 경계들이 관련되는 한 가장 큰 코딩 유닛 경계들에 얽매이지 않고 하나 이상의 슬라이스로 단편화될 수 있다. 그러나 엔트로피 확률들은 그러한 경우에 서브스트림의 하나의 슬라이스로부터 서브스트림의 그 다음으로 이동할 때 적용된다. 타일들의 경우에, 전체 타일은 하나의 슬라이스로 요약될 수 있거나 또는 하나의 타일은 다시 타일의 내부에서 두 슬라이스 사이의 경계들이 관련되는 한 가장 큰 코딩 유닛 경계들에 얽매이지 않고 하나 이상의 슬라이스로 단편화될 수 있다. 타일들의 경우에, 가장 큰 코딩 유닛들 중에서의 순서는 먼저 타일 순서 내의 그 다음 타일을 선행하기 전에 래스터 스캔 순서로 타일 순서 내의 타일들을 가로지르도록 변경된다.
지금까지 설명된 것과 같이, 화상(12)은 타일들 또는 파면 병렬 처리 서브스트림들로 분할될 수 있고, 유사하게, 화상(15)이 또한 타일들 또는 파면 병렬 처리 서브스트림들로 분할될 수 있다. 이론적으로 파면 병렬 처리 서브스트림 분할/개념은 화상들(12 및 15) 중 하나를 위하여 선택될 수 있고 분할/개념은 두 화상 중 나머지를 위하여 선택될 수 있다. 대안으로서, 개념 형태, 즉 타일들 또는 파면 병렬 처리 서브스트림들이 계층들 중에서 동일해야만 하는 비트스트림 상에 제한이 부과될 수 있다.
공간 세그먼트에 대한 또 다른 예는 슬라이스들을 포함한다. 슬라이스들은 전송 목적을 위하여 비트스티림(40)을 세그먼트화하도록 사용된다. 슬라이스들은 전송을 위한 가장 작은 엔티티들인 네트워크 추상 계층 유닛들로 패킷화된다. 각각의 슬라이스들은 독립적으로 코딩 가능/디코딩 가능하다. 즉, 슬라이스 경계들을 가로질러 콘텍스트 선택 등과 같은, 어떠한 예측도 금지된다.
이것들은 함께 공간 세그먼트들: 슬라이스들, 타일들 및 파면 병렬 처리 서브스트림들을 위한 세 가지 예들이다. 따라서 세 가지 모든 병렬 개념, 타일들, 파면 병렬 처리 서브스트림들 및 슬라이스들은 조합하여 사용될 수 있는데, 즉 화상(12) 또는 화상(15)은 타일들로 분할될 수 있고, 각각의 타일은 다수의 파면 병렬 처리 서브스트림들로 분할된다. 또한 슬라이스들은 예를 들면(그러나 이에 제한되지 않고) 타일 또는 파면 병렬 처리 서브스트림 경계들에서 비트스트림을 다수의 네트워크 추상 계층 유닛들로 분할하도록 사용될 수 있다. 만일 타일들 또는 파면 병렬 처리 서브스트림들을 사용하고, 부가적으로 슬라이스들을 사용하여 화상(12, 15)이 분할되고 슬라이스 분할이 나머지 파면 병렬 처리/타일 분할로부터 유도되면, 공간 세그먼트는 화상(12, 15)의 가장 작은 독립적으로 디코딩 가능한 섹션으로서 정의되어야만 한다. 대안으로서 화상(12 또는 15) 내에서 개념들의 조합이 사용될 수 있는 비트스트림 상에 및/또는 서로 다르게 사용되는 개념들 사이에 경계들이 정렬되어야만 하면 제한이 부과될 수 있다.
인코더와 디코더에 의해 지원되는 다양한 예측 모드들뿐만 아니라 예측 모드들 상에 부과되는 제한들뿐만 아니라 타일 및/또는 파면 병렬 처리 개념과 같은, 병렬 처리 개념을 가능하게 하도록 엔트로피 코딩/디코딩을 위한 콘텍스트 유도가 위에서 설명되었다. 또한 인코더 및 디코더가 블록 기반으로 운영할 수 있다는 것이 위에서 언급되었다. 예를 들면, 위에 설명된 예측 모드들은 블록 기반으로, 즉 화상들 자체보다 미세한 입상도에서 선택된다. 본 발명의 양상들의 설명을 진행하기 전에, 일 실시 예에 따라 슬라이스들, 타일들, 파면 병렬 처리 서브스트림들 및 방금 언급된 블록들 사이의 관계가 설명되어야만 한다.
도 4는 화상(12)과 같은, 계층 0의 화상, 혹은 화상(15)과 같은, 계층 1의 화상일 수 있는 화상을 도시한다. 화상은 규칙적으로 블록들(90)의 어레이로 세분된다. 때때로, 이러한 블록들(90)은 가장 큰 코딩 블록(LCB)들, 가장 큰 코딩 유닛(LCU)들, 코딩 트리 블록(CTB)들 등으로 불린다. 블록들(90)로의 화상의 세분은 일봉의 기본 또는 위에 설명된 예측 및 잔류 코딩들이 실행되는 가장 거친 입상도를 형성할 수 있고 이러한 가장 거친 입상도, 즉 블록들(90)의 크기는 계층 0 및 계층 1을 위하여 개별적으로 인코더에 의해 시그널링되고 설정될 수 있다. 예를 들면, 각각의 블록(90)을 각각 예측 블록들, 잔류 블록들, 및/또는 코딩 블록들로 세분하기 위하여 쿼드-트리와 같은 멀티-트리 세분이 사용될 수 있고 데이터 스트림 내에서 시그널링될 수 있다. 특히, 코딩 블록들은 블록들(90)의 반복(재귀 recursive) 멀티-트리 세분화의 리프 블록(leaf block)들일 수 있고 일부 예측 관련 결정들이 예측 모드들과 같은, 코딩 블록들의 입상도에서 시그널링될 수 있으며, 시간적 인터 예측(inter prediction)이 경우에 움직임 벡터들 및 계층 내 예측이 경우에 차이 벡터들과 같은 예측 파라미터들이 코딩되는 입상도에서 예측 블록들은 코드 블록들의 개별 반복 멀티-트리 세분화들의 리프 블록들일 수 있다.
래스터 스캔 코딩/디코딩 순서(92)는 블록들(90) 중에서 정의될 수 있다. 코딩/디코딩 순서(92)는 공간 예측의 목적으로 이웃하는 부분들의 이용 가능성을 제한하는데: 코딩/디코딩 순서(92)에 따라 현재 예측되려는 구문 요소가 관련되는, 블록(90) 또는 그것의 일부 더 작은 블록과 같은 현재 부분을 선행하는 화상의 부분들만이 현재 화상 내의 공간 예측을 위하여 이용 가능하다. 각각의 계층 내에서, 코딩/인코딩 순서(92)는 화상들의 시간적 재생 순서를 반드시 따르지는 않는 화상 코딩/디코딩 순서 내의 각각의 계층의 그 다음 화상의 블록들의 횡단으로 처리하도록 화상의 모든 블록(90)을 가로지른다. 개별 블록들(90) 내에서, 코딩/디코딩 순서(92)는 코딩 블록들과 같은, 더 작은 블록들 중에서의 스캔으로 개선된다(정제된다, refined).
방금 설명된 블록들(90) 및 더 작은 블록들과 관련하여, 각각의 화상은 방금 언급된 코딩/디코딩 순서를 따라 하나 이상의 슬라이스로 더 세분된다. 도 4에 바람직하게 도시된 슬라이스들(94a 및 94b)은 따라서 각각의 화상을 갭 없이 포함한다. 하나의 화상의 연속적인 슬라이스들(94a 및 94b) 사이의 경계 또는 인터페이스(96)는 이웃하는 블록들(90)의 경계들로 정렬될 수 있거나 또는 정렬되지 않을 수 있다. 더 정확하게 설명하면, 그리고 도 4의 오른쪽 측에 도시된 것과 같이, 하나의 화상 내의 연속적인 슬라이스들(94a 및 94b)은 코딩 블록들과 같은 더 작은 블록들, 즉 블록들(90) 중 하나의 세분의 리프 블록들의 경계들에서 러로 경계를 이룰 수 있다.
화상의 슬라이스들(94a 및 94b)은 화상이 코딩되는 데이터 스트림의 부분이 패킷들, 즉 네트워크 추상 계층 유닛들로 패킷화될 수 있는 가장 작은 유닛들을 형성할 수 있다. 슬라이스들의 또 다른 가능한 특성, 즉 슬라이스 경계들을 가로지른 예를 들면 예측 및 콘텍스트 결정과 관련하여 슬라이스들 상으로의 제한이 위에서 설명되었다. 그러한 제한들을 갖는 슬라이스들은 "정상" 슬라이스들로 불릴 수 있다. 아래에 더 상세히 설명되는 것과 같이, 정상 슬라이스들 이외에 "종속 슬라이스들"이 또한 존재할 수 있다.
블록들(90)의 어레이 중에서 정의되는 코딩/디코딩 순서(92)는 만일 화상에 대하여 타일 분할 개념이 사용되면 변경될 수 있다. 이는 화상이 바람직하게는 4개의 타일(82a 내지 82d)로 분할된 것으로 도시된 도 5에 도시된다. 도 5에 도시된 것과 같이, 타일들은 자체적으로 블록들(90)의 유닛들 내의 화상의 규칙적인 세분으로서 정의된다. 즉, 각각의 타일(82a 내지 82d)은 n×m 블록들(90)의 어레이로 구성되고 n은 타일들의 각각의 열에 대하여 개별적으로 설정되고 m은 타일들의 각각의 행에 대하여 개별적으로 설정된다. 코딩/디코딩 순서(92) 이후에, 제 1 타일 내의 블록들(90)은 그 다음 타일(82b) 등을 선행하기 전에 먼저 래스터 스캔 순서로 스캐닝되고, 타일들(82a 내지 82d)은 자체로 래스터 스캔 순서로 스캐닝된다.
파면 병렬 처리 스트림 분할 개념에 따르면, 화상은 코딩/디코딩 순서(92)와 함께, 블록들(90)의 하나 이상의 열의 유닛들에서 파면 병렬 처리 서브스트림들(98a 내지 98d)로 세분된다. 각각의 파면 병렬 처리 서브스트림은 예를 들면, 도 6에 도시된 것과 같이 블록들(90)의 하나의 완전한 열을 포함할 수 있다.
그러나, 타일 개념 및 파일 병렬 처리 서브스트림 개념은 또한 혼합될 수 있다. 그러한 경우에, 각각의 파면 병렬 처리 서브스트림은 예를 들면, 각각의 타일 내의 블록들(90)의 하나의 열을 포함한다.
심지어 화상의 슬라이스 세분은 타일 분할 및/또는 파면 병렬 처리 서브스트림 분할과 공동 사용될 수 있다. 타일들과 관련하여, 화상이 세분되는 하나 이상의슬라이스 각각은 정확하게 하나의 완전한 타일, 하나 이상의 완전한 타일, 또는 코딩/디코딩 순서(92)를 따라 단지 하나의 타일의 서브-부분으로 구성될 수 있다. 술라이스들은 또한 파면 병렬 처리 서브스트림들(98a 내지 98d)을 형성하도록 사용될 수 있다. 이를 위하여, 패킷화를 위한 가장 작은 유닛들을 형성하는 슬라이스들은 한편으로는 정상 슬라이스들 및 다른 한편으로는 종속 슬라이스들을 포함할 수 있는데: 정상 슬라이스들은 예측 및 엔트로피 콘텍스트 유도 상으로 위에 설명된 제한들을 부과하고, 종속 슬라이스들은 그러한 제한들을 부과하지 않는다. 코딩/디코딩 순서(92)가 그 뒤에 열-방식을 벗어나는 화상의 경계에서 시작하는 종속 슬라이스들은 바로 선행하는 블록들(90)의 열 내의 엔트로피 디코딩 블록(90)으로부터 야기하는 것과 같이 엔트로피 콘텍스트를 적용할 수 있고, 다른 어딘가에서 시작하는 종속 슬라이스들은 그것이 끝까지 바로 선행하는 슬라이스의 엔트로피 코딩/디코딩부터 야기하는 것과 같이 엔트로피 코딩 콘텍스트를 적용할 수 있다. 이러한 측정에 의해, 각각의 파면 병렬 처리 서브스트림(98a 내지 98d)은 하나 이상의 종속 슬라이스로 구성될 수 있다.
즉, 블록들(90) 중에서 정의된 코딩/디코딩 순서(92)는 각각의 화상의 제 1 측, 여기서는 바람직하게는 왼쪽 측으로부터 반대편 측, 바람직하게는 오른쪽 측으로 선형으로 이르고, 아래쪽/하단 방향으로 블록들(90)의 그 다음 열로 진행한다. 현재 블록(90)과 같은, 현재 화상의 이용 가능한, 즉 이미 코딩/디코딩된 부분은 따라서 주로 현재 코딩/디코딩된 부분의 왼쪽 및 상단에 위치한다. 경계들을 가로질러 예측들 및 엔트로피 콘텍스트 유도들의 붕괴(disruption)에 기인하여, 하나의 화상의 타일들은 병렬로 처리될 수 있다. 하나의 화상의 타일들의 코딩/디코딩은 심지어 동시에 시작될 수 있다. 타일 경계들을 가로지르도록 허용하는 경우에 제한들은 위에 언급된 인-루프 필터링으로부터 연유될 수 있다. 파면 병렬 처리 서브스트림들의 코딩/디코딩의 시작은 차례로 상단으로부터 하단으로 교번(staggered) 방식으로 실행된다. 연속적인 파면 병렬 처리 서브스트림들 사이의 화상내 지연은 블록들(90), 두 개의 블록(90)에서 측정된다.
그러나, 심지어 화상들(12 및 15)의 코딩/디코딩, 즉 상이한 계층들의 시간 인스턴트를 병렬화하는 것이 바람직할 수 있다. 명백하게, 종속 계층의 화상(15)의 코딩/디코딩은 이미 이용 가능한 기본 계층의 "공간적으로 상응하는" 부분들이 존재하는 것을 보장하도록 기본 계층의 코딩/디코딩에 대하여 지연되어야만 한다. 이러한 개념들은 심지어 개별적으로 화상들(12 및 15) 중 어느 하나의 코딩/디코딩의 어떠한 병렬화도 사용하지 않는 경우에도 유효하다. 각각 전체 화상(12 및 15)을 포함하도록 하나의 슬라이스를 사용하는 경우에도, 어떠한 타일 및 어떠한 파면 병렬 처리 서브스트림 처리도 사용하지 않고, 화상들(12 및 15)의 코딩/디코딩이 병렬화될 수 있다. 그 다음, 즉 6번째 양상에서 설명되는 시그널링은 타일 또는 파면 병렬 처리가 계층들의 화상들 중 어느 하나를 위하여 사용되는 그러한 경우에, 또는 이와 관계없이, 계층들 사이의 그러한 디코딩/코딩 지연의 표현을 위한 가능성이다.
본 발명의 위에 언급된 개념을 논의하기 전에, 다시 도 1과 2를 참조하면, 도 1과 2에서 인코더와 디코더의 블록 구조들은 단지 설명의 목적을 위한 것이며 구조는 또한 다를 수 있다는 것에 유의하여야 한다.
화상 회의(video conferencing)와 같은 적용들 및 엔드-투-엔드 지연이 가능한 한 낮아야만 하는 산업 감시 적용들이 존재하나, 다계층식 (스케일러블) 코딩은 여전히 관심사항이다. 아래에 더 설명되는 실시 예들은 다계층식 비디오 코딩에서의 낮은 엔드-투-엔드 지연을 허용한다. 이와 관련하여, 또한 아래에 설명되는 실시 예들은 다시점 코딩에 제한되지 않는다는 것에 유의하여야 한다. 이후에 언급되는 다계층들은 상이한 시점들을 포함하나, 도한 다양한 정도의 공간 해상도들, 신호 대 잡음 비율 등으로 동일한 시점을 표현할 수 있다. 아래의 설명되는 다계층들이 이전 계층들에 의해 전달된 정보 콘텐츠를 증가시키는 가능한 스케일러빌리티 차원(dimension)들은 다양하고 예를 들면 시점들의 수, 공간 해상도 및 신호 대 잡음 비율 정확도를 포함할 수 있다.
위에 설명된 것과 같이, 네트워크 추상 계층 유닛들은 슬라이스들로 구성된다. 타일 및/또는 파면 병렬 처리 개념들은 다계층식 비디오 데이터 스트림이 상이한 계층들을 위하여 개별적으로 선택되지 않는다. 따라서, 그 안에 패킷화된 슬라이스를 갖는 네트워크 추상 계층 유닛은 각각의 슬라이스가 언급하는 화상의 영역에 공간적으로 기인할 수 있다. 따라서, 계층간 예측의 경우에 저지연을 가능하도록 하기 위하여 인코더와 디코더가 각각 인코딩과 전송 및 디코딩의 시작을 허용하도록 동일한 시간 인스턴트에 속하는 상이한 계층들의 네트워크 추상 계층 유닛들을 인터리빙하는 것이 바람직할 수 있고, 슬라이스들은 상이한 계층들의 이러한 화상들의 병렬 처리를 허용하나 동일한 시간 인스턴트에 속하는 방식으로 이러한 네트워크 추상 계층 유닛들로 패킷화된다. 그러나, 적용에 따라, 인코더는 상이한 계층들에 대한 상이한 화상들의 그룹(GOP) 구조들의 사용과 같은, 계층 차원 내의 병렬 처리를 허용하는 능력에 대하여 상이한 계층들의 화상들 중에서 상이한 코딩 순서들의 사용 능력을 선호할 수 있다. 비교 실시 예에 따른 데이터 스트림의 구조가 도 7을 참조하여 아래에 설명된다.
도 7은 상이한 계층들 각각에 대한 화상(204)의 시퀀스로 구성되는 다계층식 비디오 자료(201)를 도시한다. 각각의 계층은 다계층식 비디오 자료(201)에 의해 기술되는 이러한 장면의(비디오 콘텐츠)의 상이한 특성을 기술한다. 즉, 계층들의 의미는 예를 들면 다음 중에서 선택될 수 있다: 색 성분, 깊이 맵, 투명도 및/또는 시점. 일반성의 손실 없이, 상이한 계층들은 상이한 시점들과 상응하고 비디오 자료(201)는 다시점 비디오인 것으로 가정한다.
저지연을 필요로 하는 적용의 경우에, 인코더는 장기간 고레벨 구문 요소를 시그널링하도록 결정할 수 있다. 그러한 경우에, 인코더에 의해 발생되는 데이터 스트림은 그 주위에 원을 갖는 것으로서 도 7의 중간에 표시된 것 같을 수 있다. 그러한 경우에, 다계층식 비디오 스트림(200)은 하나의 액세스 유닛(206)에 속하는 네트워크 추상 계층 유닛들(202)이 하나의 시간적 시간 인스턴트의 화상들과 관련되고 상이한 액세스 유닛들의 네트워크 추상 계층 유닛들(202)이 상이한 시간 인스턴트들과 관련되도록 네트워크 추상 계층 유닛들(202)의 시퀀스로 구성된다. 즉, 액세스 유닛(206)은 하나의 시간 인스턴트, 즉 액세스 유닛(206)과 관련된 하나의 네트워크 추상 계층 유닛들(202)을 수집한다. 각각의 유닛(206) 내에서, 각각의 계층에 대하여, 각각의 계층에 관한 적어도 일부 네트워크 추상 계층 유닛들은 하나 이상의 디코딩 유닛(208)으로 그룹화된다. 이는 다음을 의미한다: 네트워크 추상 계층 유닛들(202) 중에서 위에 나타낸 것과 같이, 한편으로는 비디오 코딩 계층(VCL) 네트워크 추상 계층 유닛들 및 다른 한편으로는 비-비디오 코딩 계층 네트워크 추상 계층 유닛들과 같은, 상이한 형태의 네트워크 추상 계층 유닛들이 존재한다. 더 구체적으로 설명하면, 네트워크 추상 게층 유닛들(202)은 상이한 형태들일 수 있고, 이러한 형태들은 다음을 포함할 수 있다:
1) 슬라이스들, 타일들, 파면 병렬 처리 서브스트림들을 지니는 네트워크 추상 계층 유닛들, 즉 화상 샘플 스케일/입상도 상에서 화상 콘텐츠를 기술하는 예측 파라미터들 및/또는 잔류 데이터에 대한 구문 요소들. 하나 이상의 그러한 형태가 존재할 수 있다. 비디오 코딩 계층 네트워크 추상 계층 유닛들이 그러한 형태이다. 그러한 네트워크 추상 계층 유닛들은 제거될 수 없다.
2) 파라미터 세트 네트워크 추상 계층 유닛들은 위에서 일부 예들이 설명된, 장기간 코딩 설정 등과 같은 드물게 변화하는 정보를 지닐 수 있다. 그러한 네트워크 추상 게층 유닛들은 예를 들면 어느 정도는, 그리고 반복적으로 데이터 스트림 내에 배치될 수 있다.
3) 보충 강화 정보(SEI) 네트워크 추상 계층 유닛들은 선택적인 데이터를 지닐 수 있다.
용어 "네트워크 추상 계층 유닛"에 대한 대안으로서, 때때로 아래에서 "패킷"이 사용되고, 제 1 형태, 즉 비디오 코딩 계층 유닛들의 네트워크 추상 계층 유닛을 나타내며, "패킷들"은 또한 위의 리스트의 형태 2와 3의 패킷들이 속하는 비-비디오 코딩 계층 유닛들을 포함한다.
디코딩 유닛들은 위에 언급된 네트워크 추상 계층 유닛들의 첫 번째로 구성될 수 있다. 더 정확하게 설명하면, 디코딩 유닛들은 "액세스 유닛 내의 하나 이상의 비디오 코딩 계층 네트워크 추상 계층 유닛 및 관련 비-비디오 코딩 계층 네트워크 추상 계층 유닛들"로 구성될 수 있다. 디코딩 유닛들은 따라서 특정 영역, 즉 하나의 화상의 특정 영역, 즉 그 안에 포함된 하나 이상의 슬라이스 내로 인코딩된 영역을 기술한다.
상이한 계층들과 관련된 네트워크 추상 계층 유닛들의 디코딩 유닛들(208)은 인터리빙되고, 따라서 각각의 디코딩 유닛을 위하여, 각각의 디코딩 유닛을 인코딩하도록 사용되는 계층간 예측은 따라서 각각의 디코딩 유닛이 관련되는 계층 이외의 계층들의 화상들의 부분들을 기초로 하며, 이러한 부분들은 각각의 액세스 유닛 내의 각각의 디코딩을 선행하는 디코딩 유닛들로 코딩된다. 예를 들면, 도 7의 디코딩 유닛(208a)이 참조된다. 이러한 디코딩 유닛은 바람직하게는 종속 계층(2) 및 특정 시간 인스턴트 내의 각각의 화상의 영역(210)과 관련된다는 것이 고려된다. 동일한 시간 인스턴트의 기본 계층 화상 내의 공동 위치되는 영역이 212로 표시되고 계층간 예측을 이용함으로써 디코딩 유닛(208a)을 완전히 나타내기 위하여 이러한 영역(212)을 약간 초과하는 이러한 기본 계층 영역 화상의 영역이 필요할 수 있다. 약간의 초과는 예를 들면, 차이-보상된 예측의 결과일 수 있다. 이는 차례로 액세스 유닛(206) 내의 디코딩 유닛(208a)을 선행하는, 디코딩 유닛(들)(208b)이 계층간 예측을 위하여 필요한 영역을 완전하게 포함해야만 한다는 것을 의미한다. 인터리빙 입상도를 위한 경계로서 사용될 수 있는 지연 표시에 대한 위의 설명이 참조된다.
그러나 만일 적용이 상이한 계층들 중에서 화상들의 디코딩 순서를 서로 다르게 선택하는 자유도의 이점을 이용하면, 인코더는 그 주위에 원을 갖는 2에서 도 7의 하단에 도시된 경우를 선호할 수 있다. 이러한 경우에, 다계층식 비디오 데이터 스트림은 계층 ID의 하나 이상의 값들의 특정 쌍에 속하는 각각의 화상을 위한 개별적인 액세스 유닛 및 단일 시간적 시간 인스턴트를 갖는다. 도 7에 도시된 것과 같이, (i-1)번째 디코딩 순서, 즉 시간 인그턴트(t(i-1))에서, 각각의 계층은 액세스 유닛(AU1, AU2 등)으로 구성될 수 있거나 또는 그렇지 않으면(예를 들면 시간 인스턴트(t(i)) 모든 계층이 단일 액세스 유닛(AU1) 내에 포함된다. 그러나, 인터리빙은 이러한 경우에 허용되지 않는다. 액세스 유닛들은 디코딩 순서 지수(i)를 따라 데이터 스트림 내에 배치되는데, 즉 각각의 계층을 위한 디코딩 순서 지수(i)의 액세스 유닛들은 디코딩 순서(i+1)와 상응하는 이러한 계층들의 화상들에 관한 액세스 유닛들이 뒤따른다 데이터 스트림 내의 시간적 화상간 예측 시그널링은 동일한 코딩 순서 또는 상이한 화상 코딩 순서가 상이한 계층들을 위하여 적용되는지에 대하여 시그널링하고, 시그널링은 예를 들면, 한 번 또는 심지어 중복하여 네트워크 추상 계층 유닛들로 패킷화된 슬라이스 내에서와 같은, 데이터 스트림 내의 하나 이상의 위치 내에 위치될 수 있다. 바꾸어 말하면, 경우 2는 액세스 유닛 범위를 세분하는데: 개별 액세스 유닛이 시간 인스턴트 및 계층의 각각의 쌍을 위하여 개방된다.
네트워크 추상 계층 유닛들과 관련하여, 그것들 사이에 정의되는 순서 규칙들은 디코더가 전송 동안에 제거된 제거 가능한 패킷 형태의 네트워크 추상 계층 유닛들과 관계없이 연속적인 액세스 유닛들 사이의 경계들이 위치되는지를 결정하도록 허용할 수 있다. 제거 가능한 패킷 형태의 네트워크 추상 계층 유닛들은 예를 들면, 보충 강화 정보 네트워크 추상 계층 유닛들, 또는 중복 화상 데이터 네트워크 추상 계층 유닛들 또는 다른 특정 네트워크 추상 계층 유닛 형태들을 포함할 수 있다.
완전성을 위하여, 도 18은 상이한 계층들에 속하나, 동일한 시간 인스턴트(t(i-1))인 패킷들이 하나의 액세스 유닛 내에 분포되는 것을 허용하는, 도 7의 케이스 1을 도시한다. 도 16의 케이스 2가 그 주위에 원을 갖는 2에 도시된다.
네트워크 추상 계층 유닛들이 데이터 스트림의 계층들과의 그것들의 연관성과 관련하여 실제로 인터리빙되는지에 관한 사실은 인코더의 재량으로 결정될 수 있다. 데이터 스트림의 처리를 용이하게 하기 위하여, 구문 요소는 특정 시간 스탬프(time stamp)의 모든 네트워크 추상 계층 유닛을 수집하는 액세스 유닛 내의 네트워크 추상 계층 유닛들의 인터리빙 또는 비-인터리빙을 디코더로 시그널링할 수 있고 따라서 디코더는 네트워크 추상 계층 유닛들을 더 쉽게 처리할 수 있다. 예를 들면, 인터리빙이 켜지도록(switched on) 시그널링될 때마다, 디코더는 도 9와 관련하여 간단하게 도시된 것과 같이 하나 이상의 코딩된 화상 버퍼를 사용할 수 있다.
도 9는 도 2와 관련하여 설명된 것과 같이 구현될 수 있는 디코더(700)를 도시한다. 바람직하게는, 도 9의 다계층식 비디오 데이터 스트림, 그 주위에 원을 갖는 선택사항 1은 디코더(700)로 들어가는 것으로서 도시된다. 액세스 유닛(AU) 당, 상이한 계층들에 속하나 공통 시간 인스턴스에 속하는 네트워크 추상 계층 유닛들의 역-인터리빙을 쉽게 실행하기 위하여, 디코더(700)는 두 개의 버퍼(702 및 704)를 사용하고, 멀티플렉서(multiplexer, 706)는 각각의 액세스 유닛(AU)을 위하여, 제 1 계층에 속하는, 그러한 액세스 유닛(AU)의 네트워크 추상 계층 유닛들을 예를 들면, 버퍼(702)로 전달하고, 제 2 계층에 속하는 네트워크 추상 계층 유닛들을 예를 들면, 버퍼(704)로 전달한다. 디코딩 유닛은 그리고 나서 디코딩을 실행한다. 예를 들면, 도 9에서, 기본/제 1 계층에 속하는 네트워크 추상 계층 유닛들이 예를 들면, 해칭되지 않은 것으로서 도시되고, 종속/제 2 계층에 속하는 네트워크 추상 계층 유닛들이 해칭(hatching)을 사용하여 도시된다. 만일 위에 설명된 인터리빙 시그널링이 데이터 스트림 내에 존재하면, 디코더(700)는 다음이 방식으로 이러한 인터리빙 시그널링에 응답될 수 있다: 만일 인터리빙 시그널링이 네트워크 추상 계층 유닛들을 켜지도록 시그널링하면, 즉 상이한 계층들의 네트워크 추상 계층 유닛들이 하나의 액세스 유닛(AU) 내에서 서로 인터리빙되면, 디코더(700)는 네트워크 추상 계층 유닛들을 방금 설명된 것과 같은 이러한 버퍼들 상으로 분포시키는 멀티플렉서로 버퍼들(702 및 704)을 사용한다. 그러나, 그렇지 않으면, 디코더(700)는 예를 들면 버퍼(702)와 같이, 어떠한 액세스 유닛에 의해 포함되는 모든 네트워크 추상 계층 유닛을 위한 버퍼들(702 및 704) 중 단지 하나를 사용할 수 있다.
도 9의 실시 예를 더 쉽게 이해하기 위하여, 도 10과 함께 도 8가 참조되는데, 도 10은 위에 설명된 것과 같은 다계층식 비디오 데이터 스트림을 발생시키도록 구성되는 인코더를 도시한다. 도 10의 인코더는 일반적으로 도면부호 720을 사용하여 표시되고 여기서는 바람직하게는, 기본 계층을 형성하는 계층(12)으로서 표시되고 종속 계층을 형성하는 계층 1의 두 개의 계층의 인바운드(inbound) 화상들을 인코딩한다. 그것들은 이전에 설명된 것과 같이, 상이한 시점들을 형성한다. 인코더(720)가 계층들의 화상들(12 및 15)을 인코딩하는 일반적인 인코딩 순서는 실질적으로 그것들의 시간적(표현 시간) 순서를 따라 이러한 계층들의 화상들을 스캔하고 인코딩 순서(722)는 화상들의 그룹들의 유닛들 내에서, 화상들(!2 및 15)의 표현 시간 순서에서 벗어날 수 있다. 각각의 시간적 시간 인스턴트에서, 인코딩 순서(722)는 그것들의 의존성을 따라, 즉 계층(12)으로부터 계층(15)으로 계층들(12 및 15)의 화상들을 통과한다.
인코더(720)는 각각의 공간적 의미에서 각각의 화상의 일부분과 관련된, 앞서 언급된 네트워크 추상 계층 유닛들의 유닛들 내의 데이터 스트림 내로 계층들(12 및 15)의 화상들을 인코딩한다. 따라서, 특정 화상에 속하는 네트워크 추상 계층 유닛들은 각각의 화상을 공간적으로 세분하거나 또는 분할하고, 이미 설명된 것과 같이, 계층간 예측은 실질적으로 계층(15)의 각각의 부분에 공동 위치되는 계층(12)의 시간 정렬된 화상들의 부분들에 의존하여 계층(15)의 화상들의 부분들을 제공하며 화상은 "실질적으로" 차이 변위들을 포함한다. 도 10의 실시 예에서, 인코더(720)는 특정 시간 인스턴트에 속하는 모든 네트워크 추상 계층 유닛을 수집하는 액세스 유닛들을 형성하는데 인터리빙 가능성을 이용하도록 선택되었다. 도 10에서, 도시된 데이터 스트림(40) 중에서 일부분은 도 9의 디코더로 들어오는 하나와 상응한다. 즉, 도 10의 실시 예에서, 인코더(720)는 계층들(12 및 15)의 인코딩에 있어서 계층간 병렬 처리를 사용한다. 시간 인스턴트(t(i-1))가 관련되는 한, 인코더(720)는 계층(12)의 화상의 네트워크 계층 유닛(1)이 인코딩되자마자 계층 1의 화상의 인코딩을 시작한다. 인코딩이 완료된, 각각의 네트워크 추상 계층 유닛은 인코더(720)에 의해 각각의 네트워크 추상 계층 유닛이 출력된 시간과 상응하는 도착 시간 스탬프가 제공되는, 인코더(720)에 의해 출력된다. 시간 인스턴트(t(i-1))에서 계층(12)의 화상의 제 1 네트워크 추상 계층 유닛을 인코딩한 후에, 인코더(720)는 계층(15)의 시간 정렬된 화상의 제 1 네트워크 추상 계층 유닛의 도착 시간 스탬프를 뒤따르는 도착 시간 스탬프가 제공되는, 계층(12)의 화상의 콘텐츠의 인코딩을 진행하고 계층(12)의 화상의 제 2 네트워크 추상 계층 유닛을 출력한다. 즉, 인코더(720)는 모두 동일한 시간 인스턴스에 속하는, 계층들(12 및 15)의 화상들의 네트워크 추상 계층 유닛들을 인터리빙되는 방식으로 출력하고, 이러한 인터리빙되는 방식으로, 데이터 스트림(40) 내의 네트워크 추상 계층 유닛들이 실제로 전송된다. 인터리빙의 가능성을 이용하기 위하여 인코더(720)가 선택된 상황은 각각의 인터리빙 시그널링(724)에 의해 데이터 스트림(40) 내의 인코더(720)에 의해 나타낼 수 있다. 인코더(720)가 시간 인스턴트(t(i-1))의 종속 계층의 제 1 네트워크 추상 계층 유닛을 시간 정렬된 기본 계층 화상의 모든 네트워크 추상 계층 유닛읜 인코딩과 출력이 완료될 때까지 계층(15)의 제 네트워크 추상 계층 유닛의 출력이 연기될 수 있는 비-인터리빙된 시나리오와 비교하여 보다 일찍 출력할 수 있기 때문에, 도 9의 디코더 및 도 10의 인코더 사이의 엔드-투-엔드 지연은 감소될 수 있다.
위에서 이미 언급된 것과 같이, 대안의 실시 예에 따르면, 비-인터리빙의 경우, 즉 비-인터리빙된 대안을 나타내는 시그널링(724)의 경우에, 액세스 유닛들의 정의는 동일하게 유지될 수 있는데, 즉 액세스 유닛들(AU)은 특정 시간 인스턴트에 속하는 모든 네트워크 추상 계층 유닛을 수집할 수 있다. 그러한 경우에, 시그널링(724)은 단지 각각의 액세스 유닛 내에서, 상이한 계층들(12 및 15)에 속하는 네트워크 추상 계층 유닛들이 인터리빙되는지를 나타낸다.
위에서 설명된 것과 같이, 시그널링(724)에 의존하여, 도 9의 디코딩은 하나의 버퍼 또는 두 개의 버퍼를 사용한다. 인터리빙이 켜진 경우에, 디코더(700)는 예를 들면 계층(12)의 네트워크 추상 계층 유닛들이 버퍼(702) 내에서 버퍼링되고 계층(15)의 네트워크 추상 계층 유닛들이 버퍼(704) 내에서 버퍼링되도록, 네트워크 추상 계층 유닛들을 두 개의 버퍼(702 및 704) 상에 분포시킨다. 버퍼들(702 및 704)은 텅빈(emptied) 액세스 유닛 방식이다. 이는 인터리빙 또는 비-인터리빙을 나타내는 두 시그널링(724) 모두의 경우에 사실이다.
만일 인코더(720)가 디코딩 유닛(708)이 계층간 병렬 처리를 사용하여 데이터 스트림(40)으로부터 계층들(12 및 15)의 디코딩의 가능성을 이용하는 것과 같이 각각의 네트워크 추상 계층 유닛들 내의 제거 시간을 설정하면, 이는 바람직하다. 그러나 엔드-투-엔드 지연은 디코더(700)가 계층간 병렬 처리를 적용하지 않더라도 이미 감소된다.
위에 이미 설명된 것과 같이, 네트워크 추상 계층 유닛들은 상이한 네트워크 추상 계층 유닛 형태일 수 있다. 각각의 네트워크 추상 계층 유닛은 가능한 형태들의 설정 중에서 각각의 네트워크 추상 계층 유닛의 형태를 나타내는 네트워크 추상 계층 유닛 형태 지수를 가지며, 각각의 액세스 유닛 내에서, 각각의 액세스 유닛의 네트워크 추상 계층 유닛들의 형태들은 네트워크 추상 계층 유닛 형태 중에서 순서 규칙을 따를 수 있고, 단지 두 개의 연속적인 액세스 유닛 사이에서, 순서 규칙은 깨지며, 따라서 디코더(700)는 이러한 규칙을 따름으로써 액세스 유닛 경계들을 식별할 수 있다. 더 많은 정보를 위하여 H.264 표준이 참조된다.
도 9 및 10과 관련하여, 디코딩 유닛들(DU)은 동일한 계층에 속하는, 하나의 액세스 유닛 내의 연속적인 네트워크 추상 계층 유닛들의 런(run)들로서 식별 가능하다. 액세스 유닛(AU(i-1)) 내의 도 10의 "3" 및 "4"로 표시되는 네트워크 추상 계층 유닛들은 예를 들면, 하나의 디코딩 유닛을 형성한다. 액세스 유닛(AU(i-1))의 나머지 디코딩 유닛들은 모두 단지 하나의 네트워크 추상 계층 유닛만을 포함한다. 함께, 도 19의 액세스 유닛(AU(i-1))은 대안으로서 액세스 유닛(AU(i-1)) 내에 배치되는 6개의 디코딩 유닛(DU)을 포함하는데, 즉 그것들은 하나의 계층의 네트워크 추상 계층 유닛들의 런들로 구성되고 하나의 계층은 대안으로서 계층 1과 계층 0 사이에서 변한다.
도 7 내지 도 10은 고효율 비디오 코딩과 같은 현재 단일 계층 비디오 코덱들에서 가능한 것과 같은 초-저지연 요구조건을 충족시키는 다계층 비디오 코덱에서의 코딩된 화상 버퍼 운영들을 가능하게 하고 제어 메커니즘들을 제공하였다. 방금 언급된 도면들에서 설명된 비트스트림 순서를 기초로 하여, 아래에 들어오는 비트스트림 버퍼, 즉 디코딩 유닛 레벨에서의 코딩된 화상 버퍼를 운영하는 비디오 디코더가 설명되고, 게다가, 비디오 디코더는 디코딩 유닛 레벨에서 다수의 코딩된 화상 버퍼들을 운영한다. 특히, 또한 고효율 비디오 코딩 확장에 적용 가능한 방식으로, 부가적인 타이밍 정보가 저지연 방식으로 다층 코덱들의 운영을 위하여 제공되는 운영 방식이 설명된다. 이러한 타이밍은 스트림 내의 상이한 다수의 계층의 인터리빙된 디코딩을 위한 코딩된 화상 버퍼의 제어 메커니즘을 제공한다.
아래에 설명되는 실시 예들에서, 도 7과 도 10의 케이스 2는 필요하지 않거나, 또는 바꾸어 말하면, 실현될 필요가 없다. 액세스 유닛은 무슨 계층인지에 관계없이 특정 시간 스탬프 또는 인스턴트에 속하는 화상들에 대한 정보를 지니는 모든 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛들)을 수집하는 컨테이너로서 그것의 기능을 유지할 수 있다. 그럼에도 불구하고, 아래에 설명되는 실시 예들은 인바운드 다계층식 비디오 데이터 스트림의 디코딩에 있어서 상이한 형태의 디코더들 또는 상이한 전략들을 선호하는 디코더들과의 호환성을 달성할 수 있다.
즉, 아래에 설명되는 비디오 인코더와 디코더들은 여전히 스케일러블, 다시점 또는 3차원 비디오 인코더들과 디코더들이다. 용어 계층은 스케일러블 비디오 코딩 계층들뿐만 아니라 다계층 코딩된 비디오 스트림의 시점들 및/또는 깊이 맵들을 위하여 선택적으로 사용된 위의 설명에 따른다.
디코딩 유닛 기반 디코딩 모드, 즉 연속적인 방식으로의 디코딩 유닛 코딩된 화상 버퍼 제거는 아래에 설명되는 일부 실시 예들에 따르면, 여전히 단일 계층(기본 스펙) 초-저지연 디코더에 의해 사용될 수 있다. 다계층 초-저지연 디코더들은 도 7과 10에서의 케이스 1 및 뒤따르는 도면들과 관련하여 다수의 계층들 상의 저지연 운영을 달성하기 위하여 인터리빙된 디코딩 유닛 기반 모드 디코딩을 사용할 것이며, 인터리빙된 디코딩 유닛들을 디코딩하지 않는 다계층 디코더들은 다양한 실시 예들에 따르면, 인터리빙되는 접근법 및 세스 유닛 기반 접근법 사이의 저지연 운영을 제공할 수 있는, 비-인터리빙되는 방식으로 액세스 유닛 기반 디코딩 과정 또는 디코딩 유닛 기반 디코딩으로 돌아갈 수 있다. 결과로서 생기는 세 가지 운영 모드는 다음과 같다:
- 액세스 유닛 기반 디코딩: 액세스 유닛의 모든 디코딩 유닛이 동일한 시간에 코딩된 화상 버퍼로부터 제거된다.
- 연속적인 디코딩 유닛 기반 디코딩: 다계층 액세스 유닛의 각각의 디코딩 유닛은 계층들의 연속적인 순서로 디코딩 유닛 제거를 따르는(준수하는) 코딩된 화상 버퍼 제거 시간에 기여하며, 즉 계층(m)의 모든 디코딩 유닛은 계층(m-1)의 디코딩 유닛들이 코딩된 화상 버퍼로부터 제거되기 전에 코딩된 화상 버퍼로부터 제거된다.
- 인터리빙된 디코딩 유닛 기반 디코딩: 다계층 액세스 유닛의 각각의 디코딩 유닛은 계층들을 가로지르는 인터리빙된 순서로 디코딩 유닛 제거를 따르는(준수하는) 코딩된 화상 버퍼 제거 시간에 기여하며, 즉 계층(m)의 모든 디코딩 유닛은 계층(m+1)의 디코딩 유닛들이 코딩된 화상 버퍼로부터 제거되는 것보다 뒤에 코딩된 화상 버퍼로부터 제거될 수 있다.
인터리빙되는 운영을 위한 부가적인 타이밍 정보는 디코딩 운영 모드에 관계없이 센더(sender)가 인터리빙되는 방식으로 다계층 데이터를 송신할 때, 시스템 계층 장치가 디코딩 유닛이 코딩된 화상 버퍼에서 반드시 도착해야만 하는 도착 시간을 결정하도록 허용하고, 이는 버퍼가 오버플로우하고(overflow) 언더플로우하는 것을 방지하기 위한 디코더의 정확한 운영을 위하여 필요하다.
다음의 도 11에서의 테이블은 인터리빙된 모드에서의 운영을 위한 디코딩 유닛 타이밍 정보의 비트스트림 내의 존재를 시그널링하는 바람직한 실시 예를 제공한다.
또 다른 실시 예는 제공되는 디코딩 유닛 타이밍 정보가 인터리빙된 운영 모드와 상응하는 표시일 수 있고, 따라서 장치들은 액세스 유닛 모드에서 인터리빙되는 디코딩 유닛 방식으로 운영할 수 없고 디코딩 유닛 타이밍을 무시할 수 있다.
대안으로서, 인터리빙 방식으로서 디코딩 유닛들 상의 동일한 저지연 화상 코딩된 버퍼 운영을 허용하는, 계층 당 디코딩 유닛 기반 코딩된 화상 버퍼 제거, 즉 계층들을 가로질러 비-인터리빙되는 방식으로의 디코딩 유닛 코딩된 화상 버퍼 제거를 특징으로 하는 또 다른 운영 모드가 수행되나, 계층(m)의 디코딩 유닛들의 제거를 완료한 후에만 계층(m+1)으로부터 디코딩 유닛들을 제거한다. 따라서, 비-기본 계층 디코딩 유닛들은 인터리빙된 코딩된 화상 버퍼 운영 방식으로 제거될 때보다 코딩된 화상 버퍼 내에서 장기간 동안 남을 수 있다. 도 12a 및 12b의 테이블들은 액세스 유닛 레벨 또는 디코딩 유닛 레벨에 대한 추가의 보충 강화 정보 메시지들로서 부가적인 타이밍 정보를 시그널링하는 바람직한 실시 예를 제공한다. 다른 가능성들은 다른 수단에 의해 제공되는 타이밍이 계층들을 가로질러 인터리빙된 코딩된 화상 버퍼로부터 코딩된 화상 버퍼 제거에 이르게 하는 지시를 포함할 수 있다.
또 다른 양상은 아래의 두 경우를 위한 언급된 디코더 운영 모드를 적용하는 가능성이다:
1. 모든 계층의 데이터를 수용하도록 사용되는 단일 코딩된 화상 버퍼. 액세스 유닛 내의 상이한 네트워크 추상 계층 유닛들이 배치될 수 있다. 이러한 운영 모드는 아래에서 단일 코딩된 화상 버퍼(Single CPB) 운영으로서 언급된다.
2. 계층 당 하나의 코딩된 화상 버퍼. 각각의 계층의 네트워크 추상 계층 유닛들은 연속적인 위치들 내에 위치된다. 이러한 운영 모드는 아래에서 다중 코딩된 화상 버퍼(Multi CPB)로서 언급된다.
단일 코딩된 화상 버퍼 운영
도 13에서 계층 방식 순서의 비트스트림을 위한 액세스 유닛(2)의 디코딩 유닛들(1)의 도착이 도시된다. 박스 내의 숫자들은 계층의 ID를 언급한다. 도시된 것과 같이, 우선 계층 0의 모든 디코딩 유닛이 도착하고, 계층 1 및 계층 2의 디코딩 유닛들이 뒤따른다. 실시 예에서 세 개의 계층이 도시되나, 도 다른 계층이 뒤따를 수 있다.
도 14에서 도 7과 8, 케이스 1에 따른 인터리빙된 비트스트림을 위한 액세스 유닛(2)의 디코딩 유닛들(1)의 도착이 도시된다. 박스 내의 숫자들은 계층의 ID를 언급한다. 도시된 것과 같이, 상이한 계층들의 디코딩 유닛들은 액세스 유닛 내에서 결합될 수 있다.
코딩된 화상 버퍼 제거 시간은 디코딩 과정의 시작 시간인 각각의 디코딩 유닛과 관련된다. 이러한 디코딩 시간은 바람직하게는 제 1 디코딩 유닛을 위하여 (3)으로서 도시된 것과 같은, 디코딩 유닛의 최종 도착 시간보다 낮을 수 없다. (4)로 라벨링된, 제 2 계층의 디코딩 유닛의 최종 도착 시간은 도 14에 도시된 것과 같이 인터리빙되는 비트스트림 순서를 사용함으로써 낮아질 수 있다.
일 실시 예는 인터리빙된 비트스트림을 위한 고레벨 구문 요소들을 사용하여 비트스트림 내의 가장 낮은 가능한 코딩된 화상 버퍼 제거(및 따라서 디코딩 시간들)를 나타내는 비트스트림 내의 디코더 힌트(hint)를 생성하는 비디오 인코더이다.
낮은 도착 시간을 위한 설명된 디코더 힌트를 사용하는 디코더는 그것들의 도착에서 또는 도착 직후에 코딩된 화상 버퍼로부터 디코딩 유닛들을 바로 제거한다. 따라서 화상의 일부분은 일찍 완전하게(모든 계층을 통하여) 디코딩될 수 있고 따라서 비-인터리빙된 비트스트림들을 위한 것보다 일찍 디스플레이될 수 있다.
그러한 디코더의 저비용 구현은 다음의 방법으로 시그널링된 타이밍을 제한함으로써 달성될 수 있다: 비트스트림 순서 내의 디코딩 유닛(m)을 선행하는 어떠한 디코딩 유닛(n)을 위하여, 디코딩 유닛(n)을 위한 코딩된 화상 버퍼 제거 시간은 디코딩 유닛(m)의 코딩된 화상 버퍼 제거 시간보다 낮아야만 한다. 도착할 때 패킷들은 코딩된 화상 버퍼 내의(일반적으로 링(ring) 버퍼 내의) 연속적인 메모리 어드레스에 저장되고, 이러한 제한은 코딩된 화상 버퍼 내의 가용 메모리(free memory)의 단편화를 방지한다. 패킷들은 그것들이; 수신된 것과 동일한 순서로 제거된다. 사용된 그리고 가용 메모리 블록들의 리스트를 유지하는 대신에 사용된 메모리 블록의 시작과 끝 어드레스만을 유지하는 디코더가 구현될 수 있다. 이는 또한 새로 도착하는 디코딩 유닛들이 몇몇 메모리 위치들로 분할될 필요가 없도록 보장하는데 그 이유는 사용되고 가용 메모리가 연속적인 블록들이기 때문이다.
다음은 이전에 제시된 것과 같이 부가적인 디코딩 유닛 레벨 보충 강화 정보 메시지를 통하여 인터리빙을 위한 타이밍 정보가 제공되는 고효율 비디오 코딩 확장에 의해 사용된 것으로서 실제 현재 HRD 정의를 기초로 하는 실시 예를 설명한다. 설명되는 실시 예는 계층들을 가로질러 인터리빙되는 순서로 전송되는 디코딩 유닛들이 인터리빙되는 방식으로, 연속적으로 또는 액세스 유닛 방식으로 코딩된 화상 버퍼로부터 디코딩 유닛 방식으로 제거되도록 허용한다.
단일 코딩된 화상 버퍼 해결책에서, [1]의 부록 C에서의 코딩된 화상 버퍼 제거 시간은 다음과 같이 확장될 수 있다(밑줄로 표시됨):
"테스트 하의 비트스트림으로서 언급되는, 비트스트림의 적합성 검사를 위하여 다수의 테스트가 필요할 수 있다. 각각의 테스트를 위하여, 아래의 단계들이 열거된 순서로 적용된다:
...
액세스 유닛 0으로부터 시작하는 BitstreamToDecode 내의 각각의 유닛을 위하여, 액세스 유닛과 관련되고 TargetOp에 적용하는 버퍼링 기간 보충 강화 정보 메시지(BitstreamToDecode 내에 존재하거나 또는 본 발명에 지정되지 않은 외부 수단을 통하여 이용 가능한)가 선택되고, 액세스 유닛과 관련되고 TargetOp에 적용하는 화상 타이밍 보충 강화 정보 메시지(BitstreamToDecode 내에 존재하거나 또는 본 발명에 지정되지 않은 외부 수단을 통하여 이용 가능한)가 선택되며, SubPicHrdFlag가 1과 동일하고 sub_pic_cpb_params_in_pic_timing_sei_flag가 0과 동일할 때, 액세스 유닛 내의 디코딩 유닛들과 관련되고 TargetOp에 적용하는 디코딩 유닛 정보 보충 강화 정보 메시지들(BitstreamToDecode 내에 존재하거나 또는 본 발명에 지정되지 않은 외부 수단을 통하여 이용 가능한)이 선택되며, sub_pic_interleaved_hrd_params_present_flag가 1과 동일할 때 액세스 유닛 내의 디코딩 유닛들과 관련되고 TargetOp에 적용하는 디코딩 유닛 인터리빙 정보 보충 강화 정보 메시지들(BitstreamToDecode 내에 존재하거나 또는 본 발명에 지정되지 않은 외부 수단을 통하여 이용 가능한)이 선택된다.
...
선택된 구문 구조 내의 sub_pic_interleaved_hrd_params_present_flag가 1과 동일할 때, 코딩된 화상 버퍼는 액세스 유닛 레벨에서(이 경우에 변수 SubPicInterleavedHrdFlag는 0으로 설정됨) 또는 디코딩 유닛 레벨에서(이 경우에 변수 SubPicInterleavedHrdFlag는 1로 설정됨) 운영하도록 예정된다.
...
변수 SubPicInterleavedHrdPreferredFlag는 외부 수단에 의해 지정되거나, 또는 외부 수단에 의해 지정되지 않을 때, 0으로 설정된다.
변수 SubPicInterleavedHrdFlag의 값이 본 하위조항 내의 위의 단계 9에 의해 설정되지 않았을 때, 이는 다음과 같이 유도된다:
만일 SubPicHrdFlag 및 SubPicInterleavedHrdFlag가 0과 동일하면, HRD는 액세스 유닛 레벨에서 운영하고 각각의 디코딩 유닛은 액세스 유닛이다. 그렇지 않으면 HRD는 서브-화상 레벨에서 운영하고 각각의 디코딩 유닛은 액세스 유닛의 세브셋이다.
...
각각의 비트스트림 적합성 테스트를 위하여, 코딩된 화상 버퍼의 운영은 하위조항 C.2에 지정되고, 즉각적인 디코더 운영이 조항 2 내지 10에 지정되며, 디코딩된 화상 버퍼의 운영이 하위조항 C.3에 지정되며, 출력 크로핑(out cropping)이 하위조항 C.3.3 및 하위조항 C.5.2.2에 지정된다.
열거된 전달 스케줄들의 수 및 그것들의 관련 비트 레이트들과 버퍼 크기들에 관한 HSS 및 HRD 정보는 하위조항 E.1.2 및 E.2.2에 지정된다.
HRD는 하위조항 D.2.2 및 D.3.2에 지정된 버퍼링 기간 보충 강화 정보 메시지에 의해 지정된 것과 같이 초기화된다.
코딩된 화상 버퍼로부터 디코딩 유닛들의 제거 타이밍 및 디코딩된 화상 버퍼로부터 디코딩된 화상들의 출력 타이밍은 디코딩 유닛 정보 보충 강화 정보 메시지들(하위조항 D.2.21 및 D.3.21에 지정된) 내 또는 디코딩 유닛 인터리빙 정보 보충 강화 정보 메시지들(하위조항 D.2.XX 및 D.3.XX에 지정된) 내의, 화상 타이밍 보충 강화 정보 메시지들(하위조항 D.2.3 및 D.3.3.에 지정된) 내의 정보를 사용하여 지정된다. 특정 디코딩 유닛과 관련한 모든 타이밍 정보는 디코딩 유닛의 코딩된 화상 버퍼 제거 시간 이전에 도착하여야만 한다.
...
SubPicHrdFlag가 1과 동일할 때, 다음을 적용한다:
- 변수 duCpbRemovalDelayInc는 다음과 같이 유도된다:
- 만일 SubPicInterleavedHrdFlag가 1과 동일하면, duCpbRemovalDelayInc는 디코딩 유닛(m)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 디코딩 유닛 인터리빙 정보 보충 강화 정보 메시지 내의 du_spt_cpb_interleaved_renoval_delay_increment의 값과 동일하도록 설정된다.
- 그렇지 않으면, 만일 sub_cpb_params_in_pic_timing_sei_flag가 0과 동일하고 sub_pic_interleaved_hrd_params_present_flag가 0과 동일하면, duCpbRemovalDelayInc는 디코딩 유닛(m)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 디코딩 유닛 정보 보충 강화 정보 메시지 내의 du_spt_cpb_renoval_delay_increment의 값과 동일하도록 설정된다.
- 그렇지 않으면, 만일 sub_pic_cpb_params_in_pic_timing_sei_flag가 0과 동일하고 sub_pic_interleaved_hrd_params_present_flag가 1과 동일하면, duCpbRemovalDelayInc는 디코딩 유닛 정보 보충 강화 정보 메시지 내의 du_spt_spb_remocal_delay_increment의 값과 동일하도록 설정되고 duCpbRemovalDelayIncInterleaved는 디코딩 유닛(m)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 디코딩 유닛 인터리빙 정보 보충 강화 정보 메시지 내의 du_spt_spb_interleaved_remocal_delay_increment의 값과 동일하도록 설정된다.
- 그렇지 않으면, 만일 du_common_cpb_removal_delay_flag가 0과 동일하고 sub_pic_interleaved_hrd_params_present_flag가 0과 동일하면, duCpbRemovalDelayInc는 액세스 유닛(n)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 화상 타이밍 보충 강화 정보 메시지 내의 디코딩 유닛(m)을 위한 du_cpb_remocal_delay_increment_minus1[i]+1의 값과 동일하도록 설정되며 여기서 i의 값은 디코딩 유닛(m)을 포함하는 액세스 유닛 내의 첫 번째 num_nalus_in_du_minus1[0]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 0이고, 동일한 액세스 유닛 내의 뒤따르는 num_nalus_in_du_minus1[1]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 1이며, 동일한 액세스 유닛 내의 뒤따르는 num_nalus_in_du_minus1[2]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 2이다.
- 그렇지 않으면, 만일 du_common_cpb_removal_delay_flag가 0과 동일하고 sub_pic_interleaved_hrd_params_present_flag가 1과 동일하면, duCpbRemovalDelayInc는 화상 타이밍 보충 강화 정보 메시지 내의 디코딩 유닛(m)을 위한 du_cpb_remocal_delay_increment_minus1[i]+1의 값과 동일하도록 설정되고 uCpbRemovalDelayIncInterleaved는 액세스 유닛(n)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 디코딩 유닛 인터리빙 정보 보충 강화 정보 메시지 내의 du_cpb_interleaved_remocal_delay_increment의 값과 동일하도록 설정되며, 여기서 i의 값은 디코딩 유닛(m)을 포함하는 액세스 유닛 내의 첫 번째 num_nalus_in_du_minus1[0]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 0이고, 동일한 액세스 유닛 내의 뒤따르는 num_nalus_in_du_minus1[1]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 1이며, 동일한 액세스 유닛 내의 뒤따르는 num_nalus_in_du_minus1[2]+1 연속적인 네트워크 추상 계층 유닛들에 대하여 2이다.
- 그렇지 않으면, duCpbRemovalDelayInc는 액세스 유닛(n)과 관련된, 하위조항 C.1에서 지정된 것과 같이 선택되는, 화상 타이밍 보충 강화 정보 메시지 내의 디코딩 유닛(m)을 위한 du_cpb_remocal_delay_increment_minus1+1의 값과 동일하도록 설정된다.
- 코딩된 화상 버퍼로부터 디코딩 유닛의 공칭(nominal) 제거 시간은 다음과 같이 지정되는데, 여기서 AuNominalRemovalTime[n]은 액세스 유닛(n)의 공칭 제거 시간이다:
- 만일 디코딩 유닛(m)이 액세스 유닛(n) 내의 마지막 디코딩 유닛이면, 디코딩 유닛(m)의 공칭 제거 시간(DuNominalRemovalTime[n])은 AuNominalRemovalTime[n]과 동일하도록 설정된다.
- 그렇지 않으면(디코딩 유닛(m)이 액세스 유닛(n) 내의 마지막 디코딩 유닛이 아니면), 디코딩 유닛(m)의 공칭 제거 시간(DuNominalRemovalTime[n])은 다음과 같이 유도된다:
여기서 SubPicInterleavedHrdFlag는 디코딩 유닛 운영 모드가 인터리빙되는 운영 모드 또는 비-인터리빙되는 운영 모드를 사용하는지를 결정하고 DuNominalRemovalTime[n]은 선택된 운영 모드를 위한 디코딩 유닛의 제거 시간이다.
대안으로서 디코딩 유닛들의 가장 이른 도착 시간은 운영 모드와 관계없이, sub_pic_interleaved_hrd_params_present_flag가 1과 동일할 때 현재 정의된 것과 다르다. 가장 이른 도착 시간은 그때 다음과 같이 유도된다:
위의 실시 예와 관련하여, 코딩된 화상 버퍼의 운영은 데이터 패킷들의 명시적으로 시그널링된 제거 시간들에 더하여 코딩된 화상 버퍼 내로의 데이터 패킷들의 도착 시간들을 설명한다는 사실이 주목할 만하다. 그러한 도착 시간들은 데이터 패킷 전달 체인을 따라 버퍼들, 예를 들면, 기본 스트림 버퍼가 디코더의 코딩된 화상 버퍼로서 작용하는, MPEG-2 전달 스트림의 수신기 내의 기본 스트림 버퍼를 구성하는 중간 장치들의 행동에 영향을 미친다. 위의 실시 예가 기초로 하는 HRD 모델은 변수 tmpNominalRemovalTime을 기초로 하여 초기 도착 시간을 유도하고, 이에 의해 인터리빙되는 디코딩 유닛 운영의 경우에 디코딩 유닛들을 위한 제거 시간들 또는 코딩된 화상 버퍼 내로의 데이터 패킷들의 정확한 도착 시간의 계산을 위한 연속적인 디코딩 유닛 운영 모드(데이터가 코딩된 화상 버퍼로부터 인터리빙되는 방식으로 제거될 수 있는 것과 같이)를 위한 동등한 제거 시간 "DuNominalRemovalTimeNonInterleaved"을 고려한다.
또 다른 실시 예는 액세스 유닛 기반 디코딩 운영을 위한 디코딩 유닛들의 계층 방식 재-순서화이다. 단일 코딩된 화상 버퍼 운영이 사용되고 데이터가 인터리빙된 방식으로 수신되었을 때, 디코더는 액세스 유닛 기반으로의 운영을 원할 수 있다. 그러한 경우에, 일부 계층들과 상응하는, 코딩된 화상 버퍼로부터 판독된 데이터는 인터리빙되고 즉시 디코더로 보내질 수 있다. 액세스 유닛 기반 디코딩 운영이 수행될 때, 액세스 유닛은 디코딩을 위하여 보내지기 전에 계층(m)으로부터 모든 디코딩 유닛이 계층(m+1)으로부터의 디코딩 유닛들을 선행하도록 재-순서화/재배치되고, 다라서 기준 계층은 항상 이를 참조하는 강화 계층 이전에 디코딩된다.
다중 코딩된 화상 버퍼 운영
대안으로서 각각의 계층의 디코딩 유닛들을 위하여 하나의 코딩된 화상 버퍼를 사용하는 디코더가 설명된다.
도 15는 독립 유닛들의 상이한 코딩된 화상 버퍼들로의 할당을 도시한다. 각각의 계층(박스 내의 숫자)을 위하여, 고유의 코딩된 화상 버퍼가 운영되고 디코딩 유닛들은 각각의 코딩된 화상 버퍼를 위한 상이한 메모리 위치들 내에 저장된다. 바람직하게는 인터리빙된 비트스트림들의 도착 시간이 도시된다. 할당은 계층 식별자를 기초로 하여 비-인터리빙된 비트스트림들을 위하여 동일한 방법으로 작업한다.
도 16은 상이한 코딩된 화상 버퍼들 내의 메모리 사용을 도시한다. 동일한 계층의 디코딩 유닛들은 연속적인 메모리 위치들에 저장된다.
다층 디코더는 그러한 메모리 레이아웃을 활용할 수 있는데 그 이유는 동일한 계층에 속하는 디코딩 유닛들이 연속적인 메모리 어드레스들에서 액세스될 수 있기 때문이다. 상이한 계층의 디코딩 유닛들의 제거는 사용된 코딩된 화상 버퍼 메모리 영역 내의 어떠한 "홀(hole)들"도 생성할 수 없다. 사용된 메모리 블록은 항상 각각의 코딩된 화상 버퍼 내의 연속적인 블록을 포함한다. 다중 코딩된 화상 버퍼 개념은 또한 전달 계층에서 계층 방식으로 분할되는 비트스트림들에 대한 장점들을 갖는다. 만일 상이한 계층들이 상이한 채널들을 사용하여 전송되면 단일 비트스트림 내로의 디코딩 유닛들의 멀티플렉싱이 방지될 수 있다. 따라서 다층 비디오 디코더는 이러한 추가 단계를 구현할 필요가 없고 구현 비용이 감소될 수 있다.
다중 코딩된 화상 버퍼 운영이 사용되는 경우에, 여전히 적용되는 단일 코딩된 화상 버퍼 케이스에 대해 설명되는 타이밍에 더하여, 다음을 적용한다:
또 다른 양상은 이러한 디코딩 유닛들이 동일한 제거 시간(DuNominalRemovalTime[m])을 공유할 때 다중 코딩된 화상 버퍼로부터 디코딩 유닛들의 재배치이다. 디코딩 유닛 제거를 위한 인터리빙되는 모드 및 비-인터리빙되는 모드 모두에서, 상이한 계층들 및 따라서 상이한 코딩된 화상 버퍼들로부터의 디코딩 유닛들은 동일한 코딩된 화상 버퍼 제거 시간을 공유한다. 그러한 경우에 도코딩 유닛들은 디코더로 전송되기 전에 LayerID의 증가하는 수로 순서화된다.
위에 설명된 실시 예들과 아래의 실시 예들은 또한 다중 코딩된 화상 버퍼들을 동기화하기 위한 메커니즘을 설명한다. 현재 문헌[1]에서, 기준 시간 또는 앵커 시간(anchor time)은 (독특한) 코딩된 화상 버퍼로 들어가는 제 1 디코딩 유닛이 초기 도착 시간으로서 설명된다. 다중 코딩된 화상 버퍼 경우를 위하여, 마스터 코딩된 화상 버퍼(master CPB) 및 다중 코딩된 화상 버퍼 사이의 의존성에 이르게 하는, 슬레이브 코딩된 화상 버퍼(slave CPB)들이 존재한다. 마스터 코딩된 화상 버퍼가 슬레이브 코딩된 화상 버퍼로 동기화하기 위한 메커니즘이 또한 설명된다. 이러한 메커니즘은 바람직하고 따라서 디코딩 유닛들을 수신하는 코딩된 화상 버퍼들은 적절한 시간에서, 즉 동일한 기준 기준을 사용하여 그러한 디코딩 유닛들을 제거한다. 더 구체적으로, HRD를 초기화하는 제 1 디코딩 유닛은 나머지 코딩된 화상 버퍼들로 동기화되고 앵커 시간은 언급된 코딩된 화상 버퍼를 위한 디코딩 유닛의 초기 도착 시간과 동일하도록 설정된다. 특정 실시 예에서, 마스터 코딩된 화상 버퍼는 기본 계층 디코딩 유닛들을 위한 코딩된 화상 버퍼이고, 만일 HRD를 초기화하는, 강화 계층들을 위한 랜덤 액세스(random access) 지점들이 허용되면, 마스터 코딩된 화상 버퍼가 강화 계층 데이터를 수신하는 코딩된 화상 버퍼와 상응하는 것이 가능할 수 있다.
따라서, 도 7 내지 10에 이어 위에 설명된 개념들에 따르면, 이러한 도면들의 비교 실시 예들이 다음이 도면들과 관련하여 아래에 설명되는 방식으로 변형된다. 도 17의 인코더는 도 10과 관련하여 위에 설명된 것과 유사하게 운영한다. 그러나, 시그널링(720)은 선택적이다. 따라서, 위의 설명은 또한 아래의 실시 예들에 적용되고, 그 뒤에 설명되는 디코더 실시 예들을 위한 유사한 설명에 대해서도 사실이어야만 한다.
특히, 도 17의 인코더(720)는 복수의 계층(12 및 15) 각각을 위하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들의 서브-부분들의 유닛들 내의 그 안에 인코딩된 비디오 콘텐츠를 갖도록 여기서 바람직하게는 계층들(12 및 15)의 비디오를 포함하는 비디오 콘텐츠를 다계층식 비디오 스트림 내로 인코딩한다. 실시 예에서, 서브-부분들은 계층 0에 대하여 1 내지 4로 표시되고 계층 1에 대하여 1 내지 3으로 표시된다. 각각의 서브-부분은 각각 비디오 데이터 스트림(40)의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷 내로 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 페이로드 패킷들을 수집하도록 액세스 유닛들(AU)의 시퀀스로 분할된다. 두 개의 액세스 유닛이 바람직하게 도시되는데, 하나는 시간 인스턴트(i-1)를 위한 것이고 나머지는 i를 위한 것이다. 액세스 유닛들(AU)은 각각의 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(DU)로 세분되고, 각각의 디코딩 유닛은 단독으로 복수의 계층 중 하나와 관련된 패킷들을 포함하며, 상이한 계층들과 관련된 패킷들을 포함하는 디코딩 유닛들은 서로 인터리빙된다. 명시적으로 설명하면, 인코더(720)는 계층-우선-서브-부분들-나중(layer-first-and-sub-portions-later) 횡단 순서로 공통 시간 인스턴트를 가로지르고 인코딩함으로써 엔드-투-엔드 지연을 감소시키거나 또는 가능한 한 낮게 유지하기 위하여 액세스 유닛들 내의 디코딩 유닛들의 인터리빙을 제어한다. 지금까지, 인코더의 운영 모드가 도 10과 관련하여 위에 설명되었다.
그러나, 도 17의 인코더는 각각의 액세스 유닛(AU)에 2배의 타이밍 제어 정보를 제공하는데: 제 1 타이밍 제어 정보(800)는 전체로서 각각의 액세스 유닛(AU)을 위한 디코더 버퍼 검색 시간을 시그널링하고, 제 2 타이밍 제어 정보(802)는 액세스 유닛(AU)의 각각의 디코딩 유닛(DU)을 위하여, 다계층 비디오 데이터 스트림 내의 그것들의 순차적 순서와 상응하는 디코더 버퍼 검색 시간을 시그널링한다.
도 17에 도시된 것과 같이, 인코더(720)는 제 2 타이밍 제어 정보(802)를 각각이 각각의 타이밍 제어 패킷이 관련된 디코딩 유닛(DU)을 선행하는, 몇몇 타이밍 제어 패킷들 상으로 확산시킬 수 있고, 각각의 타이밍 제어 패킷이 선행하는 디코딩 유닛(DU)을 위한 제 2 디코더 검색 버퍼 시간을 나타낼 수 있다. 도 12c는 그러한 타이밍 제어 패킷을 위한 일례를 나타낸다. 도시된 것과 같이 타이밍 제어 패킷은 관련된 디코딩 유닛의 시작을 형성할 수 있고 각각의 디코딩 유닛과 관련된 지수, 즉 decoding_unit_idx, 및 각각의 디코딩 유닛을 위한 디코더 검색 버퍼 시간, 즉 미리 결정된 시간 유닛들(인크리먼트(increment)들) 내의 검색 시간 또는 디코딩된 화상 버퍼 검색 시간을 나타내는 du_spt_cpb_removal_delay_interleaved_increment을 나타낼 수 있다. 따라서, 제 2 타이밍 정보(802)는 현재 시간 인스턴트의 계층들의 인코딩 동안에 인코더(720)에 의해 출력될 수 있다. 이를 위하여, 인코더(720)는 인코딩 동안에, 다양한 계층들의 화상들(12 및 15) 내의 공간 복잡도 변이들과 반응한다.
인코더(720)는 현재 시간 인스턴트의 계층들의 인코딩보다 먼저, 각각의 액세스 유닛(AU), 즉 제 1 타이밍 제어 정보(800)를 위한 디코더 버퍼 검색 시간을 추정할 수 있고 제 1 타이밍 제어 정보를 각각의 액세스 유닛(AU)의 시작에 위치시키거나, 또는 만일 표준에 따라 허용되면, 액세스 유닛의 끝에 위치시킨다.
타이밍 제어 정보(800)의 제공에 부가적으로 또는 대안으로서, 인코더(720)는 도 18에 도시된 것과 같이, 각각의 액세스 유닛의 각각의 디코딩 유닛을 위하여, 제 3 디코더 버퍼 검색 시간을 시그널링하는 제 3 타이밍 제어 정보를 각각의 액세스 유닛에 제공하고 따라서 각각의 액세스 유닛의 디코딩 유닛들(DU)을 위한 제 3 디코더 버퍼 검색 시간에 따라, 각각의 액세스 유닛(AU) 내의 디코딩 유닛들(DU)은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 계층 순서에 따라 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 복수의 계층 중에서 정의된 계층 순서에 따라 순서화된다. 즉, 제 3 타이밍 제어 정보(804)의 버퍼 검색 시간들에 따르면, 도 18에 도시된 디코딩 유닛들은 화상(12)의 부분들(1; 2; 3 및 4)의 디코딩 유닛들이 화상(15)이 부분들(1; 2 및 3)의 디코딩 유닛들을 선행하도록 재분류된 디코딩 측에 존재한다. 인코더(720)는 현재 시간 인스턴트의 계층들의 인코딩에 앞서 디코딩 유닛들을 위하여 제 3 타이밍 제어 정보(804)에 따른 디코더 버퍼 검색 시간들을 추정할 수 있고 제 1 타이밍 제어 정보(802)를 각각의 액세스 유닛의 시작에 위치시킬 수 있다. 이러한 가능성이 도 8에서 바람직하게는 도 12a에 도시된다. 도 12a는 각각의 디코딩 유닛을 위하여 그리고 각각의 계층에 대하여 idu_spt_cpb_removal_delay_interleaved_increment_minus1이 보내지는 것을 도시한다. 비록 계층 당 디코딩 유닛들의 수가 모든 계층에 대하여 동일하도록 제한되더라도, 즉 도 12a에 도시된 것과 같이 하나의 num_layer_decoding_units_minus1이 사용되더라도, 도 12a의 대안은 계층 당 디코딩 유닛들의 수가 각각의 계층을 위하여 개별적으로 설정될 수 있다는 사실일 수 있다. 후자의 경우에, 구문 요소 num_layer_decoding_units_minus1가 각각의 계층에 대하여 판독될 수 있고, 이러한 경우에 판독은 예를 들면 도 12a의 두 개의 그 다음을 위한(for-next) 루프 사이에 존재하도록 도 12a에 도시된 위치로부터 이동될 수 있고, 따라서 카운터(counter) 변수 j를 사용하여 그 다음 루프 내의 각각의 계에 대하여 num_layer_decoding_units_minus1이 판독될 수 있다. 만일 표준에 따라 허용되면, 인코더(720)는 대안으로서 타이밍 제어 정보(804)를 액세스 유닛(AU)의 끝에 위치시킬 수 있다. 심지어 대안으로서, 인코더(720)는 제 3 타이밍 제어 정보를 제 2 타이밍 제어 정보와 같이, 각각의 디코딩 유닛들 시작에 위치시킬 수 있다. 이는 도 12b에 도시된다. 도 12b는 각각의 디코딩 유닛의 시작에 위치되는(그것들의 인터리빙된 상태에서) 타이밍 제어 패킷을 위한 일례를 나타낸다. 도시된 것과 같이 특정 디코딩 유닛을 위한 타이밍 제어 정보(804)를 지니는 타이밍 제어 패킷은 관련된 디코딩 유닛의 시작에 위치될 수 있고 각각의 디코딩 유닛과 관련된 지수, 즉 계층 특이적인, 즉 동일한 계층에 속하는 모든 디코딩 유닛이 동일한 계층 디코딩 유닛 지수에 기인하는, layer_decoding_unit_idx를 나타낼 수 있다. 또한, 각각의 디코딩 유닛을 이한 디코더 검색 버퍼 시간, 즉 미리 결정된 시간 유닛들(인크리먼트(increment)들) 내의 검색 시간 또는 디코딩된 화상 버퍼 검색 시간을 나타내는 Idu_sptcpb_removal_delay_interleaved_increment은 그러한 패킷 내에 시그널링된다. 이러한 타이밍들에 따르면, 디코딩 유닛들은 계층 순서를 따르도록 재분류되는데, 즉 계층 0의 디코딩 유닛들이 먼저 디코딩된 화상 버퍼로부터 제거되고 그리고 나서 계층 1의 디코딩 유닛들이 제거된다. 따라서, 타이밍 제어 정보(808)는 현재 시간 인스턴트의 계층들의 인코딩 동안에 인코더(720)에 의해 출력될 수 있다.
설명된 것과 같이, 정보(802 및 804)는 동시에 데이터 스트림 내에 존재할 수 있다. 이는 도 19에 도시된다.
최종적으로, 도 20에 도시된 것과 같이, 디코딩 유닛 인터리빙 플래그(806)는 타이밍 제어 정보(800)에 더하여 보내진 타이밍 제어 정보(808)가 타이밍 제어 정보(802 또는 804)로서 작용하는지를 시그널링하기 위하여 인코더(720)에 의해 데이터 스트림 내로 삽입될 수 있다. 즉, 만일 인코더가 도 20(및 도 17 내지 19)에 도시된 것과 같이, 액세스 유닛 내의 상이한 계층들의 패킷들을 인터리빙하면, 디코딩 유닛 인터리빙 플래그(808)는 정보(808)가 정보(802)와 도일한 것을 나타내도록 설정되고 도 17의 위의 설명은 도 20의 인코더의 기능성의 나머지와 관련하여 적용된다. 그러나, 만일 인코더가 도 13에 도시된 것과 같이, 액세스 유닛 내의 상이한 계층들의 패킷들을 인터리빙하지 않으면, 디코딩 유닛 인터리빙 플래그(808)는 정보(808)가 정보(804)와 동일하다는 것을 나타내도록 인코더에 의해 설정되고, 804의 발생과 관련하여 도 18의 설명에 대한 차이는 인코더가 정보(802)에 더하여 타이밍 제어 정보(804)를 추정할 필요가 없다는 것이나, 타이밍 제어 정보(802)를 발생시키는 과정과 유사한 방식으로 액세스 유닛의 인코딩 동안에 즉석으로 계층들의 시퀀스 중에서 계층 특이 코딩 복잡도 변이들에 대한 반응을 갖는 타이밍 제어 정보(804)의 버퍼 검색 시간들을 즉석에서 결정할 수 있다.
도 21, 22, 23 및 24는 디코더(700)로 들러가는 것으로서, 각각, 도 17, 18, 19 및 20의 데이터 스트림을 도시한다. 만일 디코더(700)가 도 9와 관련하여 위에 설명된 것과 같이 구성되면, 디코더(700)는 타이밍 제어 정보(802)를 사용하여 도 9와 관련하여 위에 설명된 것과 동일한 방식으로 데이터 스트림을 디코딩할 수 있다. 즉, 인코더와 디코더는 모두 최소 지연에 기여한다. 디코더가 도 20의 스트림을 수신하는, 도 24의 경우에, 이는 플래그(806)에 의해 사용되었고 표시된 디코딩 유닛 인터리빙의 경우에만 명백하게 가능하다.
어떤 이유에서든 간에, 그러나, 디코더는 도 21, 23 및 24의 경우에, 디코더는 제 1 타이밍 제어 정보(800)를 사용하고 제 2 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림의 버퍼링을 위하여 디코더의 버퍼이 비움으로 다계층식 비디오 데이터 스트림을 디코딩할 수 있다. 예를 들면, 디코더는 병렬 처리를 실행할 수 없을 수 있다. 디코더는 예를 들면, 하나 이상의 버퍼를 갖지 않을 수 있다. 지연은 타이밍 제어 정보(802)에 따라 디코딩 유닛들의 계층-인터리빙되는 순서를 이용하는 경우와 비교하여 인코더와 디코더 측 모두에서 증가하는데, 그 이유는 디코더의 버퍼가 디코딩 유닛 레벨보다는 완전한 액세스 유닛들에서 운영되기 때문이다.
위에 이미 설명된 것과 같이, 도 21 내지 24의 디코더는 두 개의 버퍼를 가질 필요가 없다. 특히 만일 타이밍 제어 정보(802)가 이용되지 않으면, 702와 같은, 하나의 버퍼면 충분할 수 있고, 오히려 타이밍 제어 정보(800 및 804) 형태의 폴백 위치들 중 어느 하나가 사용된다. 다른 한편으로, 만일 디코더의 버퍼가 각각의 계층에 대하여 하나의 부분 버퍼로 구성되면, 이는 타이밍 제어 정보(802)를 이용할 때 도움을 주는데 그 이유는 디코더가 각각의 계층에 대하여, 각각의 계층을 위한 부분 버퍼 내의 각각의 계층과 관련된 패킷들을 포함하는 디코딩 유닛들을 버퍼링할 수 있기 때문이다. 705로, 두 개 이상의 버퍼를 갖는 가능성이 도시된다. 디코더는 상이한 코덱들의 디코더 엔티티들을 디코딩하도록 상이한 부분 버퍼들로부터 디코딩 유닛들을 비울 수 있다. 대안으로서, 디코더는 계층들의 수와 비교한 것보다 더 작은 수의 부분 버퍼, 즉 특정 계층의 디코딩 유닛들을 각각의 디코딩 유닛의 계층이 속하는 계층들의 세트와 관련된 그러한 부분 버퍼로의 전달을 갖는 계층들의 서브셋을 위한 각각의 부분 버퍼를 사용한다. 702와 같은, 하나의 부분 버퍼는 704 및 705와 같은 나머지 부분 버퍼들을 동기화할 수 있다.
어떤 이유에서든 간에, 그러나, 디코더는 도 22 및 23의 경우에, 타이밍 제어 정보(804)를 통하여 제어된 디코더의 버퍼를 비움으로써, 즉 계층 순서에 따라, 역-인터리빙에 의해, 액세스 유닛들의 디코딩 유닛들을 제거함으로써 다계층식 데이터 스트림을 디코딩한다. 이러한 측정에 의해, 디코더는 동일한 계층과 관련되고 액세스 유닛에 속하는 디코딩 유닛들 효율적으로 재결합하고(타이밍 제어 정보(804)를 통하여 안내되는) 계층(n+1)의 디코딩 유닛 앞에 계층(n)의 디코딩 유닛과 같은 특정 규칙을 따라 유닛들을 재순서화한다.
도 24에 도시된 것과 같이, 데이터 스트림 내의 디코딩 유닛 인터리빙 플래그(806)는 타이밍 제어 정보(808)가 타이밍 제어 정보(802 또는 804)로서 작용하는지를 시그널링할 수 있다. 그러한 경우에, 데이터 스트림을 수신하는 디코더는 만일 정보(806)가 제 2 타이밍 제어 정보(802)이면, 제 1 타이밍 제어 정보(800)를 사용하고 정보(808)와 관계없이, 액세스 유닛들이 유닛들 내의 다계층식 데이터 스트림의 버퍼링을 위하여 디코더의 버퍼를 비우기 위하여, 그리고 만일 정보가 타이밍 제어 정보(804)이면, 정보(806)를 사용하여 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림의 버퍼링을 위하여 디코더의 버퍼를 비우기 위하여, 디코딩 유닛 인터리빙 플래그(806)에 응답하도록 구성될 수 있는데: 즉 그러한 경우에 디코딩 유닛은 인터리빙되지 않았고 따라서 타이밍 제어 정보(808)를 사용하여, 그렇지 않으면 타이밍 제어 정보(802)의 사용에 의해 달성 가능한 지연 및 타이밍 제어 정보(800)에 의해 달성 가능한 최대 지연 사이에 위치하는 엔드-투-엔드 지연을 갖는 순서화된 디코딩 유닛 운영이 야기될 수 있다.
타이밍 제어 정보(800)가 폴백 위치를 사용될 때마다, 즉 디코더가 액세스 유닛들의 유닛들 내의 디코더의 버퍼의 비움을 선택할 때마다, 디코딩 유닛들 순서를 갖는 액세스 유닛으로부터 그것들이 계층 순서에 따라 순서화하도록 역-인터리빙 방식으로 버퍼(702)로부터 액세스 유닛들의 디코딩 유닛들을 제거할 수 있거나, 또는 버퍼(702)를 디코딩 유닛들로 채울 수 있다. 즉, 디코더는 동일한 계층과 관련되고 액세스 유닛에 속하는 디코딩 유닛들을 재결합할 수 있고 전체 액세스 유닛이 디코딩되도록 버퍼로부터 제거되기 전에, 계층(n+1)의 디코딩 유닛 앞에 계층(n)의 디코딩 유닛과 같은 특정 규칙을 따라 유닛들을 재순서화한다. 이러한 역-인터리빙은 역인터리빙된 전송이 이미 사용되었고 타이밍 제어 정보(808)가 타이밍 제어 정보(804) 같이 작용하는 것을 나타내는 도 24의 디코딩 유닛 인터리빙 플래그(806)의 경우에는 필요하지 않다.
비록 위에서 구체적으로 설명되지는 않았으나, 제 2 타이밍 제어 정보(802)는 제 1 타이밍 제어 정보(800)에 대한 오프셋으로서 정의될 수 있다.
도 21 내지 24에 도시된 멀티플렉서(706)는 다계층식 비디오 데이터 스트림을 디코더의 코딩된 화상 버퍼로 전달하도록 구성되는 중간 네트워크 장치로서 작용한다. 중간 네트워크 장치는 일 실시 예에 따르면, 디코더가 제 2 타이밍 제어 정보를 처리할 수 있는 자격을 주는 정보를 수신하도록 구성될 수 있고, 만일 디코더가 제 2 타이밍 제어 정보(802)를 처리할 수 있으면, 전달의 예정을 위하여, 제 1 계산 규칙에 따라, 즉 DunominalRemovalTime에 따라 타이밍 제어 정보(802 및 800)로부터 가장 이른 도착 시간들을 유도하며; 만일 디코더가 제 2 타이밍 제어 정보(802)를 처리할 수 없으면, 제 2 계산 규칙에 따라, 즉 DunominalRemovalTimeNonInterleaved에 따라 타이밍 제어 정보(802 및 800)로부터 가장 이른 도착 시간들을 유도한다. 방금 설명된 문제를 더 상세히 설명하기 위하여 인바운드 다계층식 비디오 데이터 스트림 및 일반적으로 도면부호 702로 표시되는 디코딩 버퍼에 이르게 하는 출력 사이에 배치되는, 또한 도면부호 706으로 표시된 중간 네트워크 장치를 도시한 도 25가 참조되나, 위에서 이미 설명된 것과 같이, 디코딩 버퍼는 몇몇 부분 버퍼들의 구성일 수 있다. 도 25에 도시된 것과 같이, 내부적으로 중간 네트워크 장치(706)는 인바운드 디코딩 유닛들을 버퍼링하고 그리고 나서 이것들을 디코더 버퍼(702)로 전달하기 위한 버퍼(900)를 포함한다. 위의 실시 예들은 인바운드 디코딩 유닛들의 디코딩 버퍼 제거 시간들, 즉 이러한 디코딩 유닛들이 디코딩 버퍼(702)로부터 디코더의 디코딩 유닛(708)으로 전달되어야만 할 때의 시간들에 관한 것이었다. 그러나, 디코더 버퍼(702)의 저장 용량은 이것의 보장된 양이 관련되는 한, 제거 시간들, 즉 버퍼(702) 내에 버퍼링되는 디코딩 유닛들이 제거되는 시간에 더하여, 초기 도착 시간이 또한 관리되어야만 하도록 제한된다. 이는 이전에 언급되고 여기서 설명된 실시 예들에 따른 "가장 이른 도착 시간들"의 목적이고, 중간 네트워크 장치(706)는 그것들의 인터리빙된 포맷으로 인바운드 디코딩 유닛들을 운영하는 디코더의 능력에 대한 정보에 따라, 즉 디코더가 인터리빙되는 방식으로 동일하게 운영하는지에 의존하여 계산 규칙을 선택하는, 상이한 계산 규칙들에 따라 획득된 타이밍 제어 정보를 기초로 하여 이러한 가장 이른 도착 시간들을 계산하도록 구성된다. 특히, 중간 네트워크 장치(706)는 디코더가 디코딩 유닛 인터리빙되는 개념을 사용하여 인바운드 데이터 스트림을 디코딩할 수 있는 경우에, 각각의 디코딩 유닛을 위한 가장 이른 도착 시간 및 제거 시간 사이의 타이밍 제어 정보(802)의 독립 유닛 제거 시간들을 기초로 하여 가장 이른 도착 시간을 결정할 수 있고, 중간 네트워크 장치(706)는 유사하게 디코더가 액세스 유닛 방식으로, 즉 제 1 타이밍 제어 정보(800)를 선택하여 인바운드 데이터 스트림을 처리하도록 실행되는 경우에, 액세스 유닛의 가장 이른 도착 시간들을 유도하기 위하여 타이밍 제어 정보(800)에 의해 나타낸 것과 같이 액세스 유닛 제거 시간들 사이에 고정된 시간적 오프셋을 제공한다. 일정한 시간적 오프셋이 사용 대신에, 중간 네트워크 장치(706)는 개별 디코딩 유닛들 및 액세스 유닛들의 크기를 고려할 수 있다.
도 25의 문제는 또한 지금까지 설명된 실시 예들의 가능한 변형을 나타내기 위한 경우로서 사용되어야만 한다. 특히, 지금까지 설명된 실시 예들은 "제거 시간들", 즉 각각의 디코딩 유닛들과 액세스 유닛들이 각각, 버퍼(702)로부터 디코딩 유닛(708)으로 전달되어야만 하는 시간들을 직접적으로 시그널링함으로써, 각각 디코딩 유닛들과 액세스 유닛들을 위한 "디코더 버퍼 검색 시간들"의 시그널링으로서 타이밍 제어 정보(800, 802 및 804)를 처리하였다. 그러나, 도 25의 설명으로부터 자명한 것과 같이, 도착 시간들과 검색 시간들은 그것들의 보장된 최소 크기와 같은, 디코더 버퍼(702)의 크기, 및 각각, 타이밍 제어 정보(802 및 804)의 경우에 개별 디코딩 유닛들의 크기와 다른 한편으로는 타이밍 제어 정보(800)의 경우에 액세스 유닛들의 크기를 통하여 서로 관련된다. 따라서, 위에 설명된 모든 실시 예는 각각, "타이밍 제어 정보(800, 802 및 804)에 의해 시그널링되는 "디코더 버퍼 검색 시간들"이 두 대안 모두, 가장 이른 도착 시간들 또는 버퍼 제거 시간들에 의한 명시적 시그널링을 포함하는 것과 같이 해석되어야만 한다. 위의 모든 설명은 디코더 버퍼 검색 시간들로서 버퍼 제거 시간들이 명시적 시그널링을 사용하는 위에 제시된 설명으로부터 가장 이른 도착 시간들이 디코더 버퍼 검색 시간들로서 사용되는 대안의 실시 예들로 바로 이동하는데: 인터리빙된 전송된 디코딩 유닛들은 타이밍 제어 정보(804)와 관련하여 재분류될 수 있다. 유일한 차이점은: 상류에, 즉 그것이 하류보다 버퍼(702)의 전면에, 즉 버퍼(702)와 디코딩 유닛(708) 사이에 발생할 수 있다는 것이다. 인바운드 타이밍 제어 정보로부터 가장 이른 도착 시간들을 계산하는 중간 네트워크 장치(706)의 경우에, 중간 네트워크 장치(706)는 버퍼(900)의 공급에 있어서 이러한 가장 이른 도착 시간들을 따르기 위하여, 인코더 자체 또는 일부 중간 네트워크 엔티티와 같은, 중간 네트워크 장치(706)에 대하여 상류에 위치되는 네트워크 엔티티를 명령하기(instruct) 위하여 이러한 가장 이른 도착 시간들을 사용할 수 있고, 가장 이른 도착 시간들의 명시적 시그널링을 사용하는 인바운드 타이밍 제어 정보로부터 버퍼 제거 시간들을 유도하는 대안의 경우에, 중간 네트워크 장치(706)는 디코딩 유닛들, 또는 대안의 경우에 유도된 제거 시간들에 따른 버퍼(900)로부터의 액세스 유닛들의 제거들을 활성화한다.
방금 언급된 위에 설명된 실시 예들의 대안을 요약하면, 이는 디코더를 비우기 위한 타이밍 제어 정보의 사용이 타이밍 제어 정보를 직접적으로 또는 간접적으로 사용함으로써 발생할 수 있다는 것을 의미하는데: 만일 타이밍 제어 정보가 디코더 버퍼 검색 시간들의 직접적인 시그널링으로서 구현되면, 버퍼의 비움(emptying)은 예정된 이러한 디코더 버퍼 제거 시간들에 따라 직접적으로 발생할 수 있고, 디코더 버퍼 도착 시간들을 사용하여 타이밍 제어 정보를 구현하는 경우에, 이러한 디코더 버퍼 도착 시간들로부터 디코딩 유닛들 또는 액세스 유닛들이 발생하는 디코더 버퍼 제거 시간들을 추론하기 위하여 재계산이 일어날 수 있다.
다양한 실시 예들의 위의 설명 및 "인터리빙된 패킷" 전송을 나타내는 도면들에 대한 공통적인 설명으로서, "인터리빙"이 상기 한 계층들의 독립 유닛들에 속하는 패킷들의 공통 채널 상으로의 병합을 반드시 포함할 필요는 없다는 것이 제안된다. 오히려, 전송은 개별 채널들(개별 논리적 또는 물리적 채널들)에서 병렬로 완전하게 발생할 수 있는데: 이에 따라 상이한 디코딩 유닛들을 형성하는, 상이한 계층들의 패킷들은 인코더에 의해 병렬로 출력되고, 출력 시간은 위에 설명된 것과 같이 인터리빙되며, 디코딩 유닛들에 더하여, 위에 설명된 타이밍 제어 정보(800)가 디코더로 보내진다. 이러한 타이밍 제어 정보 중에서, 타이밍 제어 정보(800)는 완전한 액세스 유닛을 형성하는 디코딩 유닛들이 언제 디코더의 버퍼로부터 디코더로 전달되어야만 하는지에 대하여 나타내고, 타이밍 제어 정보(802)는 각각의 디코딩 유닛들을 위하여 개별적으로 각각의 디코딩 유닛이 언제 디코더의 버퍼로부터 디코더로 전달되어야만 하는지에 대하여 나타내고, 이러한 검색 시간들은 디코딩 유닛들의 출력 시간들의 순서와 상응하며, 타이밍 제어 정보(804)는 각각의 디코딩 유닛들을 위하여 개별적으로 각각의 디코딩 유닛이 언제 디코더의 버퍼로부터 디코더로 전달되어야만 하는지에 대하여 나타내고, 이러한 검색 시간들은 인코더에서 디코딩 유닛들의 출력 시간들의 순서로부터 유도하고 재분류에 이르게 하는데: 그것들의 출력의 인터리빙되는 순서로 디코더의 버퍼로부터 디코더로 전달되는 대신에, 계층(i)의 디코딩 유닛들은 모든 계층에 대하여 계층(i+1)의 디코딩 유닛들 이전에 전달된다. 설명된 것과 같이, 디코딩 유닛들은 계층 관계에 따라, 개별 버퍼 파티션들 상에 분포될 수 있다.
다계층식 비디오 데이터 스트림은 고급 비디오 코딩(AVC) 또는 고효율 비디오 코딩 또는 그것의 어떠한 확장에 적합할 수 있으나, 다른 가능성을 배제하는 것으로서 고려되지는 않는다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 신호들은 디지털 저장 매체 상에 저장될 수 있거나 혹은 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체 상에 잔송딜 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(또는 데이터 저장 매체,또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-전이형이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
이에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[1] B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, Jan. 2013
[2] G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), "MV-HEVC Draft Text 3 (ISO/IEC 23008-2 PDAM2)", JCT3V-C1004, Geneva, CH, Jan. 2013
[3] G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), "3D-HEVC Test Model Description, draft specification", JCT3V-C1005, Geneva, CH, Jan. 2013
[4] WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
[5] WILBURN, Bennett S., et al. Light field video camera. In:　Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36.
[6] HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In:　Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.
본 분할출원은 최초출원의 청구항에 기재된 내용을 실시예로서 아래에 기재하였다.
[실시예 1]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 2]
제 1실시예에 있어서, 상기 제 2 타이밍 제어 정보(802)는 각각 각각의 타이밍 제어 패킷이 관련된 디코딩 유닛을 선행하는 몇몇 타이밍 제어 패킷들 상으로 확산되고, 상기 각각의 타이밍 제어 패킷이 선행하는 상기 디코딩 유닛을 위한 제 2 디코더 검색 버퍼 시간을 나타내는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 3]
제 1실시예 또는 2실시예에 있어서, 상기 각각의 액세스 유닛은 상기 각각의 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 제 3 디코더 버퍼 검색 시간을 시그널링하는 제 3 타이밍 제어 정보(804)를 더 포함하고, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 디코딩 유닛이 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛도 따르지 않도록, 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되는(ordered) 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 4]
제 3실시예에 있어서, 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들이 순서화되어, 각각의 계층에 대하여, 상기 각각의 계층과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛들은 상기 액세스 유닛 내에서 그것들이 서로 따르는 순서를 유지하도록 구성되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 5]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 6]
제 5실시예에 있어서, 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 1 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들이 순서화되고 따라서 각각의 계층에 대하여, 상기 각각의 계층과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛들은 상기 액세스 유닛 내에서 그것들이 서로 따르는 순서를 유지하도록 구성되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 7]
제 5실시예 또는 6실시예에 있어서, 각각이 상기 각 타이밍 제어 패킷이 선행하는 상기 디코딩 유닛을 위한 상기 제 1 및 제 2 디코더 검색 버퍼 시간을 나타내고, 상기 각 타이밍 제어 패킷이 관련된 디코딩 유닛을 선행하는 몇몇 타이밍 제어 패킷들 상으로 상기 제 1 및 제 2 타이밍 제어 정보가 확산되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 8]
제 1실시예 내지 7실시예 중 어느 한 실시예에 있어서, 상기 디코더 버퍼 검색 시간들은 디코더 버퍼 제거 시간들을 사용하여 명시적으로 시그널링되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 9]
제 1실시예 내지 8실시예 중 어느 한 실시예에 있어서, 상기 디코더 버퍼 검색 시간들은 디코더 버퍼 가장 이른-도착 시간들을 사용하여 명시적으로 시그널링되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
[실시예 10]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 인코더
[실시예 11]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
각각의 서브-부분이 각각 비디오 데이터 스트림의 하나 이상의 페이로드 패킷(202) 내로 인코딩되고, 각각의 상기 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 상기 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(204)의 상기 서브-부분들의 유닛들 내의 그 안에 인코딩되는 상기 비디오 콘텐츠를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛도 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 인코더
[실시예 12]
제 10실시예 또는 11실시예에 있어서, 계층-우선-서브-부분들-나중(layer-first-and-sub-portions-later) 횡단 순서로 상기 공통 시간 인스턴트를 가로지르고 인코딩함으로써 엔드-투-엔드 지연을 감소시키기 위하여 상기 액세스 유닛 내의 상기 디코딩 유닛들의 상기 인터리빙을 제어하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 13]
상기 제 1 타이밍 제어 정보(800)를 사용하고 상기 제 2 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 1실시예 및 2실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 14]
상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 3실시예 및 4실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 15]
제 13실시예 또는 14실시예에 있어서, 상기 디코더의 버퍼(702, 704)를 비움(emptying)에 있어서, 상기 계층 순서에 따라 역-인터리빙함으로써, 상기 액세스 유닛의 디코딩 유닛들을 제거하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 16]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 디코더에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛의 상기 각각의 디코딩을 위하여, 디코딩 유닛 인터리빙 플래그(806)에 의존하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(808) 또는 제 3 타이밍 제어 정보를 포함하며, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되며,
상기 디코더는:
만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 2 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들(206)의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우거나, 또는
만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 3 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 3 타이밍 제어 정보를 사용하여 상기 디코딩 유닛들의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우도록, 상기 디코딩 유닛 인터리빙 플래그(206)에 응답하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 17]
제 16실시예에 있어서, 액세스 유닛들의 유닛들 내의 상기 디코더의 버퍼를 비움에 있어서, 상기 계층 순서에 따라 역-인터리빙에 의해, 상기 액세스 유닛의 디코딩 유닛들을 제거하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 18]
제 2 타이밍 제어 정보를 사용하여 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 1실시예 내지 4실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 19]
제 18실시예에 있어서, 상기 제 2 타이밍 제어정보를 위한 오프셋으로서 상기 제 1 타이밍 제어 정보를 사용하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 20]
제 1 타이밍 제어 정보를 사용하고 제 2 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼를 비우도록 구성되는 제 5실시예 내지 7실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 21]
제 2 타이밍 제어 정보를 사용하고 제 1 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 5실시예 내지 7실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 22]
제 14실시예 내지 21실시예 중 어느 한 실시예에 있어서, 상기 디코더의 버퍼는 각각의 계층을 위한 하나의 부분 버퍼(702, 704)로 구성되고, 상기 디코더는 상기 각각의 계층에 대하여, 상기 각각의 계층을 위한 상기 부분 버퍼 내의 상기 각각의 계층과 관련된 패킷들을 포함하는 상기 디코딩 유닛들을 버퍼링하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 23]
제 14실시예 내지 21실시예 중 어느 한 실시예에 있어서, 상기 디코더의 버퍼는 상기 계층들의 서브셋과 관련되는, 복수의 부분 버퍼로 구성되고, 상기 디코더는 상기 각각의 계층에 대하여, 각각의 계층이 속하는 상기 계층들의 서브셋을 위한 상기 부분 버퍼 내의 상기 각각의 계층과 관련된 패킷들을 포함하는 상기 디코딩 유닛들을 버퍼링하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 24]
제 23실시예에 있어서, 상기 디코더는 하나의 부분 버퍼가 나머지 부분 버퍼들을 동기화하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 25]
제 1실시예 내지 4실시예 중 어느 한 실시예의 상기 다계층식 데이터 스트림들 중 어느 하나를 디코더의 상기 코딩된 화상 버퍼로 전달하도록 구성되는 중간 네트워크 장치에 있어서,
상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있는 것으로서 자격을 주는 정보를 수신하고;
만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있으면, 전달의 예정(scheduling)을 위하여, 제 1 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하며; 그리고
만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 없으면, 상기 전달의 예정을 위하여, 제 2 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하도록; 구성되는 것을 특징으로 하는 중간 네트워크 장치.
[실시예 26]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 방법에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛들의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림 내로 비디오 콘텐츠(201)를 인코딩하기 위한 방법.
[실시예 27]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 방법에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 디코딩 유닛들의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림 내로 비디오 콘텐츠(201)를 인코딩하기 위한 방법.
[실시예 28]
제 1 타이밍 제어 정보(800)를 사용하고 제 2 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 1실시예 및 2실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하기 위한 방법.
[실시예 29]
제 1 타이밍 제어 정보(800)를 사용하고 제 2 및 제 3 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 3실시예 및 4실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하기 위한 방법.
[실시예 30]
각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법에 있어서,
상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛의 상기 각각의 디코딩을 위하여, 디코딩 유닛 인터리빙 플래그(806)에 의존하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(808) 또는 제 3 타이밍 제어 정보를 포함하며, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되며,
상기 방법은:
만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 2 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들(206)의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우거나, 또는
만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 3 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 3 타이밍 제어 정보를 사용하여 상기 디코딩 유닛들의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우도록,
상기 디코딩 유닛 인터리빙 플래그(806)에 응답하는 단계를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
[실시예 31]
제 2 타이밍 제어 정보를 사용하여 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 1실시예 내지 4실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하기 위한 방법.
[실시예 32]
제 1 타이밍 제어 정보를 사용하고 제 2 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼를 비우는 단계를 포함하는 것을 특징으로 하는 제 5실시예 내지 7실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하기 위한 방법.
[실시예 33]
제 2 타이밍 제어 정보를 사용하고 제 1 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 5실시예 내지 7실시예 중 어느 한 실시예의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하기 위한 방법.
[실시예 34]
디코더가 제 2 타이밍 제어 정보를 처리할 수 있는 것으로서 자격을 주는 정보를 수신하는 단계;
만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있으면, 전달의 예정(scheduling)을 위하여, 제 1 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하는 단계; 및
만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 없으면, 상기 전달의 예정을 위하여, 제 2 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하는 단계;를 포함하는 것을 특징으로 하는 제 1실시예 내지 4실시예 중 어느 한 실시예의 다계층식 비디오 데이터 스트림들 중 어느 하나를 디코더의 코딩된 화상 버퍼로 전달하기 위한 방법.
[실시예 35]
컴퓨터 상에 구동할 때, 제 26실시예 내지 34실시예 중 어느 한 실시예에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
10 : 인코더
12 : 화상
14 : 비디오
15 : 화상
16 : 입력
18 : 예측기
20 : 예측 잔류
22 : 잔류 결정기
24 : 변환/양자화 모듈
26 : 변환되고 양자화된 예측 잔류
28 : 엔트로피 코더
30 : 역양자화되고 재변환된 잔류 신호
31 : 재변환/재양자화 모듈
32 : 예측 신호
33 : 결합기
39, 40, 41 : 블록
40 : 비트스트림
42 : 엔트로피 디코더
50 :디코더
54 : 재변환/역양자화 모듈
56 : 결합기
58 : 필터
60 : 예측기
62 : 잔류 데이터
64 : 디코딩 파라미터
65 : 잔류 신호
66 : 예측 신호
68 : 재구성된 신호
80, 82 : 타일
90 : 블록
92 : 래스터 스캔 코딩/디코딩 순서
98a, 98b, 98c, 98d : 파면 병렬 처리 서브스트림
100 : 파면 병렬 처리 서브스트림
101 : 가장 큰 코딩 유닛
102 : 순서
108 : 파면
94a, 94b : 슬라이스
200 : 다계층식 비디오 스트림
201 : 다계층식 비디오 자료
202 : 네트워크 추상 계층 유닛
204 : 화상
206 : 액세스 유닛
208 : 디코딩 유닛
700 : 디코더
702, 704 : 버퍼
706 : 멀티플렉서
708 : 디코딩 유닛
720 : 인코더
722 : 인코딩 순서
724 : 시그널링
800 : 타이밍 제어 정보
802 : 제 1 타이밍 제어 정보
804 : 제 3 타이밍 제어 정보
806 : 디코딩 유닛 인터리빙 플래그
808 : 타이밍 제어 정보

Claims (35)

  1. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  2. 제 1항에 있어서, 상기 제 2 타이밍 제어 정보(802)는 각각 각각의 타이밍 제어 패킷이 관련된 디코딩 유닛을 선행하는 몇몇 타이밍 제어 패킷들 상으로 확산되고, 상기 각각의 타이밍 제어 패킷이 선행하는 상기 디코딩 유닛을 위한 제 2 디코더 검색 버퍼 시간을 나타내는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  3. 제 1항에 있어서, 상기 각각의 액세스 유닛은 상기 각각의 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 제 3 디코더 버퍼 검색 시간을 시그널링하는 제 3 타이밍 제어 정보(804)를 더 포함하고, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 디코딩 유닛이 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛도 따르지 않도록, 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되는(ordered) 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  4. 제 3항에 있어서, 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들이 순서화되어, 각각의 계층에 대하여, 상기 각각의 계층과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛들은 상기 액세스 유닛 내에서 그것들이 서로 따르는 순서를 유지하도록 구성되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  5. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  6. 제 5항에 있어서, 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 1 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들이 순서화되고 따라서 각각의 계층에 대하여, 상기 각각의 계층과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛들은 상기 액세스 유닛 내에서 그것들이 서로 따르는 순서를 유지하도록 구성되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  7. 제 5항에 있어서, 각각이 상기 각 타이밍 제어 패킷이 선행하는 상기 디코딩 유닛을 위한 상기 제 1 및 제 2 디코더 검색 버퍼 시간을 나타내고, 상기 각 타이밍 제어 패킷이 관련된 디코딩 유닛을 선행하는 몇몇 타이밍 제어 패킷들 상으로 상기 제 1 및 제 2 타이밍 제어 정보가 확산되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  8. 제 1항 또는 5항에 있어서, 상기 디코더 버퍼 검색 시간들은 디코더 버퍼 제거 시간들을 사용하여 명시적으로 시그널링되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  9. 제 1항 또는 5항에 있어서, 상기 디코더 버퍼 검색 시간들은 디코더 버퍼 가장 이른-도착 시간들을 사용하여 명시적으로 시그널링되는 것을 특징으로 하는 다계층식 비디오 데이터 스트림.
  10. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 인코더
  11. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
    각각의 서브-부분이 각각 비디오 데이터 스트림의 하나 이상의 페이로드 패킷(202) 내로 인코딩되고, 각각의 상기 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 상기 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(204)의 상기 서브-부분들의 유닛들 내의 그 안에 인코딩되는 상기 비디오 콘텐츠를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 인코더에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛도 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 인코더
  12. 제 10항 또는 11항에 있어서, 계층-우선-서브-부분들-나중(layer-first-and-sub-portions-later) 횡단 순서로 상기 공통 시간 인스턴트를 가로지르고 인코딩함으로써 엔드-투-엔드 지연을 감소시키기 위하여 상기 액세스 유닛 내의 상기 디코딩 유닛들의 상기 인터리빙을 제어하도록 구성되는 것을 특징으로 하는 인코더.
  13. 상기 제 1 타이밍 제어 정보(800)를 사용하고 상기 제 2 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 1항의 상기 다계층식 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  14. 상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 3항의 상기 다계층식 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  15. 제 13항 또는 14항에 있어서, 상기 디코더의 버퍼(702, 704)를 비움(emptying)에 있어서, 상기 계층 순서에 따라 역-인터리빙함으로써, 상기 액세스 유닛의 디코딩 유닛들을 제거하도록 구성되는 것을 특징으로 하는 디코더.
  16. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 디코더에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛의 상기 각각의 디코딩을 위하여, 디코딩 유닛 인터리빙 플래그(806)에 의존하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(808) 또는 제 3 타이밍 제어 정보를 포함하며, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되며,
    상기 디코더는:
    만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 2 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들(206)의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우거나, 또는
    만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 3 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 3 타이밍 제어 정보를 사용하여 상기 디코딩 유닛들의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우도록, 상기 디코딩 유닛 인터리빙 플래그(206)에 응답하도록 구성되는 것을 특징으로 하는 디코더.
  17. 제 16항에 있어서, 액세스 유닛들의 유닛들 내의 상기 디코더의 버퍼를 비움에 있어서, 상기 계층 순서에 따라 역-인터리빙에 의해, 상기 액세스 유닛의 디코딩 유닛들을 제거하도록 구성되는 것을 특징으로 하는 디코더.
  18. 제 2 타이밍 제어 정보를 사용하여 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 1항의 상기 다계층식 비디오 데이터 스트림 중 어느 하나를 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  19. 제 18항에 있어서, 상기 제 2 타이밍 제어정보를 위한 오프셋으로서 상기 제 1 타이밍 제어 정보를 사용하도록 구성되는 것을 특징으로 하는 디코더.
  20. 제 1 타이밍 제어 정보를 사용하고 제 2 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼를 비우도록 구성되는 제 5항의 상기 다계층식 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  21. 제 2 타이밍 제어 정보를 사용하고 제 1 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우도록 구성되는 제 5항의 상기 다계층식 비디오 데이터 스트림을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  22. 제 14항 또는 16항 또는 18항 또는 20항 또는 21항에 있어서, 상기 디코더의 버퍼는 각각의 계층을 위한 하나의 부분 버퍼(702, 704)로 구성되고, 상기 디코더는 상기 각각의 계층에 대하여, 상기 각각의 계층을 위한 상기 부분 버퍼 내의 상기 각각의 계층과 관련된 패킷들을 포함하는 상기 디코딩 유닛들을 버퍼링하도록 구성되는 것을 특징으로 하는 디코더.
  23. 제 14항 또는 16항 또는 18항 또는 20항 또는 21항에 있어서, 상기 디코더의 버퍼는 상기 계층들의 서브셋과 관련되는, 복수의 부분 버퍼로 구성되고, 상기 디코더는 상기 각각의 계층에 대하여, 각각의 계층이 속하는 상기 계층들의 서브셋을 위한 상기 부분 버퍼 내의 상기 각각의 계층과 관련된 패킷들을 포함하는 상기 디코딩 유닛들을 버퍼링하도록 구성되는 것을 특징으로 하는 디코더.
  24. 제 23항에 있어서, 상기 디코더는 하나의 부분 버퍼가 나머지 부분 버퍼들을 동기화하도록 구성되는 것을 특징으로 하는 디코더.
  25. 제 1항의 상기 다계층식 데이터 스트림을 디코더의 상기 코딩된 화상 버퍼로 전달하도록 구성되는 중간 네트워크 장치에 있어서,
    상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있는 것으로서 자격을 주는 정보를 수신하고;
    만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있으면, 전달의 예정(scheduling)을 위하여, 제 1 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하며; 그리고
    만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 없으면, 상기 전달의 예정을 위하여, 제 2 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하도록; 구성되는 것을 특징으로 하는 중간 네트워크 장치.
  26. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 방법에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛(206)의 각각의 상기 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 그것의 디코딩 유닛들의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림 내로 비디오 콘텐츠(201)를 인코딩하기 위한 방법.
  27. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림 내로 상기 비디오 콘텐츠(201)를 인코딩하기 위한 방법에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛이 두 개 이상의 디코딩 유닛으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛의 상기 각각의 디코딩을 위하여, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되도록 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(804), 및 상기 액세스 유닛의 상기 각각의 디코딩 유닛을 위하여, 상기 다계층식 비디오 데이터 스트림 내의 디코딩 유닛들의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(802)를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림 내로 비디오 콘텐츠(201)를 인코딩하기 위한 방법.
  28. 제 1 타이밍 제어 정보(800)를 사용하고 제 2 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 1항의 상기 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  29. 제 1 타이밍 제어 정보(800)를 사용하고 제 2 및 제 3 타이밍 제어 정보(802)와 관계없이 액세스 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 3항의 상기 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  30. 각각의 서브-부분은 비디오 데이터 스트림의 패킷들의 시퀀스의 하나 이상의 페이로드 패킷(202) 내로 각각 인코딩되고, 각각의 패킷은 복수의 계층 중 하나와 관련되며, 상기 패킷들의 시퀀스는 각각의 액세스 유닛이 공통 시간 인스턴트에 대한 상기 페이로드 패킷들(202)을 수집하도록 상기 액세스 유닛들(206)의 시퀀스로 세분되며, 복수의 계층에 대하여, 계층간 예측을 사용하여 비디오 콘텐츠의 화상들(12, 15)의 서브-부분들로 그 안에 인코딩되는 상기 비디오 콘텐츠(201)를 갖는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법에 있어서,
    상기 액세스 유닛들(206)은 각각의 상기 액세스 유닛(206)이 두 개 이상의 디코딩 유닛(208)으로 세분되도록 디코딩 유닛들(208)로 세분되고, 각각의 상기 디코딩 유닛(208)은 단지 상기 복수의 계층 중 어느 하나와 관련된 페이로드 패킷들(202)을 포함하고, 상이한 계층들과 관련된 페이로드 패킷들(202)을 포함하는 상기 디코딩 유닛(208)은 서로 인터리빙되며, 상기 각각의 액세스 유닛(206)은 상기 각각의 액세스 유닛(206)을 위한 제 1 디코더 버퍼 검색 시간을 시그널링하는 제 1 타이밍 제어 정보(800), 및 상기 액세스 유닛의 상기 각각의 디코딩을 위하여, 디코딩 유닛 인터리빙 플래그(806)에 의존하여, 상기 다계층식 비디오 데이터 스트림 내의 상기 디코딩 유닛의 순차적 순서와 상응하는 제 2 디코더 버퍼 검색 시간을 시그널링하는 제 2 타이밍 제어 정보(808) 또는 제 3 타이밍 제어 정보를 포함하며, 따라서 상기 각각의 액세스 유닛의 디코딩 유닛들을 위한 상기 제 3 디코더 버퍼 검색 시간에 따라, 상기 각각의 액세스 유닛 내의 상기 디코딩 유닛들은 제 1 계층과 관련된 패킷들을 포함하는 어떠한 디코딩 유닛도 상기 계층 순서에 따라 상기 제 1 계층을 뒤따르는 제 2 계층과 관련된 패킷들을 포함하는, 상기 각각의 액세스 유닛 내의 어떠한 디코딩 유닛을 따르지 않도록 하기 위하여 상기 복수의 계층 중에서 정의된 계층 순서에 따라 순서화되며,
    상기 방법은:
    만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 2 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 1 타이밍 제어 정보를 사용하고 상기 제 2 및 제 3 타이밍 제어 정보와 관계없이 액세스 유닛들(206)의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우거나, 또는
    만일 상기 제 2 타이밍 제어 정보(808)가 각각의 디코딩 유닛을 위한 상기 제 3 디코더 버퍼 검색 시간을 시그널링하면, 상기 제 3 타이밍 제어 정보를 사용하여 상기 디코딩 유닛들의 유닛들 내의 상기 다계층식 데이터 스트림의 버퍼링을 위하여 상기 디코더의 버퍼를 비우도록,
    상기 디코딩 유닛 인터리빙 플래그(806)에 응답하는 단계를 포함하는 것을 특징으로 하는 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  31. 제 2 타이밍 제어 정보를 사용하여 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 1항의 상기 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  32. 제 1 타이밍 제어 정보를 사용하고 제 2 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼를 비우는 단계를 포함하는 것을 특징으로 하는 제 5항의 상기 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  33. 제 2 타이밍 제어 정보를 사용하고 제 1 타이밍 제어 정보와 관계없이 상기 디코딩 유닛들의 유닛들 내의 다계층식 데이터 스트림을 버퍼링하기 위하여 디코더의 버퍼(702, 704)를 비우는 단계를 포함하는 것을 특징으로 하는 제 5항의 상기 다계층식 비디오 데이터 스트림을 디코딩하기 위한 방법.
  34. 디코더가 제 2 타이밍 제어 정보를 처리할 수 있는 것으로서 자격을 주는 정보를 수신하는 단계;
    만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 있으면, 전달의 예정(scheduling)을 위하여, 제 1 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하는 단계; 및
    만일 상기 디코더가 상기 제 2 타이밍 제어 정보를 처리할 수 없으면, 상기 전달의 예정을 위하여, 제 2 계산 규칙에 따라 상기 제 1 및 상기 제 2 타이밍 제어 정보로부터 가장 이른 도착 또는 제거 시간들을 유도하는 단계;를 포함하는 것을 특징으로 하는 제 1항의 다계층식 비디오 데이터 스트림을 디코더의 코딩된 화상 버퍼로 전달하기 위한 방법.
  35. 컴퓨터 상에 구동할 때, 제 26항 또는 27항 또는 28항 또는 29항 또는 30항 또는 31항 또는 32항 또는 33항 또는 34항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
KR1020247012081A 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념 KR20240052886A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361846479P 2013-07-15 2013-07-15
US61/846,479 2013-07-15
KR1020227022202A KR102657916B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
PCT/EP2014/065185 WO2015007754A1 (en) 2013-07-15 2014-07-15 Low delay concept in multi-layered video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022202A Division KR102657916B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념

Publications (1)

Publication Number Publication Date
KR20240052886A true KR20240052886A (ko) 2024-04-23

Family

ID=51177089

Family Applications (26)

Application Number Title Priority Date Filing Date
KR1020247011653A KR20240055089A (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187031313A KR102162120B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링
KR1020227045645A KR20230003460A (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020217006065A KR102416235B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020207000840A KR102310866B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020227022202A KR102657916B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020227028472A KR102652871B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020207027744A KR102223536B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020167003648A KR20160032168A (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020187036223A KR102162124B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020207000920A KR102249228B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020167003703A KR101914659B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링
KR1020217013229A KR102435018B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020167003788A KR101921646B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020167003789A KR101930817B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020187031306A KR102067048B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187036575A KR102067231B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020207027743A KR102388631B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020207027742A KR102344387B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링
KR1020247012081A KR20240052886A (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020247010117A KR20240046281A (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020217031763A KR102495846B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020227012654A KR102482747B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020237003648A KR102656946B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187033436A KR102162121B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020167002764A KR20160027978A (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링

Family Applications Before (19)

Application Number Title Priority Date Filing Date
KR1020247011653A KR20240055089A (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187031313A KR102162120B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링
KR1020227045645A KR20230003460A (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020217006065A KR102416235B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020207000840A KR102310866B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020227022202A KR102657916B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020227028472A KR102652871B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020207027744A KR102223536B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020167003648A KR20160032168A (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020187036223A KR102162124B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020207000920A KR102249228B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020167003703A KR101914659B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링
KR1020217013229A KR102435018B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020167003788A KR101921646B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020167003789A KR101930817B1 (ko) 2013-07-15 2014-07-15 다계층식 비디오 코딩에서의 저지연 개념
KR1020187031306A KR102067048B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187036575A KR102067231B1 (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020207027743A KR102388631B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020207027742A KR102344387B1 (ko) 2013-07-15 2014-07-15 다계층식 코딩에서의 계층 특성 시그널링

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020247010117A KR20240046281A (ko) 2013-07-15 2014-07-15 네트워크 장치 및 오류 처리
KR1020217031763A KR102495846B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020227012654A KR102482747B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020237003648A KR102656946B1 (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링
KR1020187033436A KR102162121B1 (ko) 2013-07-15 2014-07-15 확장 메커니즘을 사용하는 계층 식별 시그널링
KR1020167002764A KR20160027978A (ko) 2013-07-15 2014-07-15 클러스터 기반 의존 시그널링

Country Status (6)

Country Link
US (23) US10142639B2 (ko)
EP (13) EP3022919B1 (ko)
JP (22) JP6514197B2 (ko)
KR (26) KR20240055089A (ko)
CN (9) CN111510725B (ko)
WO (5) WO2015007752A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
KR20140122202A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치
US9609339B2 (en) 2013-04-08 2017-03-28 Arris Enterprises, Inc. Individual buffer management in video coding
JP6514197B2 (ja) 2013-07-15 2019-05-15 ジーイー ビデオ コンプレッション エルエルシー ネットワーク装置およびエラー処理の方法
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
EP3050300B1 (en) * 2013-09-26 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Hybrid codec scalable video
EP3084968A4 (en) * 2013-12-16 2017-11-29 McAfee, LLC Process efficient preprocessing for an encryption standard
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US10057582B2 (en) * 2014-05-21 2018-08-21 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
JP6388531B2 (ja) * 2014-06-17 2018-09-12 株式会社ダイセル 油性化粧料
US10250884B2 (en) * 2014-06-20 2019-04-02 Qualcomm Incorporated Systems and methods for signaling information for layer sets in a parameter set
US9807419B2 (en) * 2014-06-25 2017-10-31 Qualcomm Incorporated Recovery point SEI message in multi-layer video codecs
US10244242B2 (en) 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
EP3148200B1 (en) * 2014-06-30 2020-06-17 Sony Corporation Information processing device and method selecting content files based on encoding parallelism type
EP3165544B1 (en) * 2014-07-04 2020-03-18 Zeon Corporation Acrylic rubber, acrylic rubber composition, cross-linked acrylic rubber product, and use of cross-linked acrylic rubber product for seal member
JP6801662B2 (ja) * 2015-08-25 2020-12-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3412032A1 (en) * 2016-02-02 2018-12-12 Fraunhofer Gesellschaft zur Förderung der Angewand Scene section and region of interest handling in video streaming
US10230948B2 (en) * 2016-02-03 2019-03-12 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
CN109565611B (zh) * 2016-05-26 2021-12-21 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流
JP6812149B2 (ja) * 2016-06-30 2021-01-13 オリンパス株式会社 走査型顕微鏡、及び、走査型顕微鏡の制御方法
SG11201909450WA (en) * 2017-04-11 2019-11-28 Vid Scale Inc 360-degree video coding using face continuities
CN111434120A (zh) * 2017-10-02 2020-07-17 弗劳恩霍夫应用研究促进协会 高效的沉浸式流传输
US10810077B1 (en) * 2018-06-11 2020-10-20 Ambarella International Lp Rapid soft-error detection
JP2020022087A (ja) * 2018-08-01 2020-02-06 日本放送協会 映像／パケット変換装置、パケット／映像変換装置、及びプログラム
EP3932069A1 (en) * 2019-03-01 2022-01-05 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Hypothetical reference decoder
JP7430779B2 (ja) 2020-03-31 2024-02-13 富士フイルム株式会社 情報処理装置、放射線画像撮影装置、情報処理方法、及び情報処理プログラム
GB202007000D0 (en) * 2020-05-12 2020-06-24 V Nova Int Ltd Low latency communication system and method of operation
CN111338744B (zh) * 2020-05-22 2020-08-14 北京小米移动软件有限公司 图像显示方法及装置、电子设备、存储介质
CN113158623A (zh) * 2020-12-27 2021-07-23 中国电建集团华东勘测设计研究院有限公司 一种编码管理的方法及系统
WO2023089340A1 (en) * 2021-11-22 2023-05-25 V-Nova International Ltd Processing a multi-layer video stream
GB2613015A (en) * 2021-11-22 2023-05-24 V Nova Int Ltd Decoding a multi-layer video stream using a joint packet stream

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
US6498865B1 (en) * 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
JP2001203749A (ja) * 2000-01-20 2001-07-27 Mitsubishi Electric Corp 高効率データ送信装置及び高効率データ伝送システム
US7095729B2 (en) * 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
JP4317403B2 (ja) * 2002-08-09 2009-08-19 パナソニック株式会社 ヘッダ圧縮装置及びヘッダ圧縮方法
EP1443774A1 (en) * 2003-01-24 2004-08-04 Alcatel A method of encoding and decoding of data packets
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
CN101283401A (zh) * 2005-10-05 2008-10-08 Lg电子株式会社 信号处理的方法和装置以及编码和解码方法及其装置
US9635396B2 (en) * 2005-10-11 2017-04-25 Nokia Technologies Oy System and method for efficient scalable stream adaptation
CN103096078B (zh) * 2006-01-09 2015-10-21 Lg电子株式会社 用于视频信号的层间预测方法和装置
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US20080036854A1 (en) * 2006-08-08 2008-02-14 Texas Instruments Incorporated Method and system of communicating and rendering stereoscopic and dual-view images
WO2008085433A2 (en) 2007-01-05 2008-07-17 Thomson Licensing Hypothetical reference decoder for scalable video coding
RU2426267C2 (ru) 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
CN101543018B (zh) 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
US20090125636A1 (en) * 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
CN101431675B (zh) * 2008-12-09 2010-12-08 青岛海信电子产业控股股份有限公司 一种像素运动估计方法和装置
GB0905184D0 (en) * 2009-03-26 2009-05-06 Univ Bristol Encryption scheme
US8908758B2 (en) 2010-01-06 2014-12-09 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
JP5768332B2 (ja) 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
CN103168473B (zh) * 2010-10-16 2016-09-28 Lg电子株式会社 数字接收机以及用于处理数字接收机中的3d 内容的方法
TW201230818A (en) 2010-11-26 2012-07-16 Panasonic Corp Image encoding method, image decoding method, image encoding device, image decoding device, program, and integrated circuit
US9113172B2 (en) * 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
CA2824741C (en) 2011-01-14 2016-08-30 Vidyo, Inc. Improved nal unit header
BR112014000368A2 (pt) * 2011-08-25 2017-02-14 Panasonic Corp métodos e aparelhos para codificação, extração e de-codificação de vídeo com o uso de esquemas de codificação de recorte
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
TWI527466B (zh) 2012-04-13 2016-03-21 Ｇｅ影像壓縮有限公司 低延遲圖像編碼技術
TWI737990B (zh) * 2012-06-29 2021-09-01 美商Ｇｅ影像壓縮有限公司 視訊資料串流概念技術
WO2014006266A1 (en) * 2012-07-02 2014-01-09 Nokia Corporation Method and apparatus for video coding
US9479782B2 (en) 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
KR101835358B1 (ko) 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩
WO2014092407A1 (ko) * 2012-12-10 2014-06-19 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9807421B2 (en) 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US20140301477A1 (en) 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
CN110225356B (zh) 2013-04-08 2024-02-13 Ge视频压缩有限责任公司 多视图解码器
EP3007454A4 (en) * 2013-06-05 2016-06-01 Panasonic Ip Corp America DATA DECODING METHOD, DATA DECODING DEVICE AND DATA TRANSMISSION METHOD
US9578142B2 (en) 2013-07-01 2017-02-21 Cisco Technology, Inc. System and method for improving resilience in transmission of data fragments
JP6514197B2 (ja) 2013-07-15 2019-05-15 ジーイー ビデオ コンプレッション エルエルシー ネットワーク装置およびエラー処理の方法
WO2015101716A1 (en) 2014-01-03 2015-07-09 Nokia Technologies Oy Parameter set coding

Also Published As

Publication number Publication date
CN110139110A (zh) 2019-08-16
KR20200116539A (ko) 2020-10-12
US10595027B2 (en) 2020-03-17
US20210250593A1 (en) 2021-08-12
JP6514197B2 (ja) 2019-05-15
US20190238871A1 (en) 2019-08-01
CN110139110B (zh) 2021-11-05
US20200195941A1 (en) 2020-06-18
JP2016525312A (ja) 2016-08-22
EP3926957C0 (en) 2023-10-18
US20160134895A1 (en) 2016-05-12
US11546618B2 (en) 2023-01-03
JP2024012407A (ja) 2024-01-30
KR102067231B1 (ko) 2020-01-17
KR102656946B1 (ko) 2024-04-16
JP2022184978A (ja) 2022-12-13
JP2018186529A (ja) 2018-11-22
CN105532002A (zh) 2016-04-27
KR102162124B1 (ko) 2020-10-06
KR102652871B1 (ko) 2024-04-01
CN105532002B (zh) 2020-03-24
EP4325858A3 (en) 2024-05-15
JP2022008511A (ja) 2022-01-13
JP2016527794A (ja) 2016-09-08
US20200145678A1 (en) 2020-05-07
KR20160032168A (ko) 2016-03-23
CN105532003B (zh) 2020-10-02
EP3614676C0 (en) 2023-11-08
EP3022931B1 (en) 2019-07-10
US20210044814A1 (en) 2021-02-11
CN112104877A (zh) 2020-12-18
US20160156914A1 (en) 2016-06-02
US10609399B2 (en) 2020-03-31
CN105637876B (zh) 2019-04-02
CN105637877B (zh) 2019-04-05
US20220141474A1 (en) 2022-05-05
EP3022918A1 (en) 2016-05-25
KR102435018B1 (ko) 2022-08-22
KR20220119766A (ko) 2022-08-30
US20210243460A1 (en) 2021-08-05
EP3614671A1 (en) 2020-02-26
JP6675979B2 (ja) 2020-04-08
US20240007657A1 (en) 2024-01-04
JP2016528799A (ja) 2016-09-15
EP3614676B1 (en) 2023-11-08
EP3614671B1 (en) 2023-06-07
KR20160032176A (ko) 2016-03-23
JP2019165455A (ja) 2019-09-26
KR20180121677A (ko) 2018-11-07
KR102223536B1 (ko) 2021-03-08
JP6966414B2 (ja) 2021-11-17
KR20240055089A (ko) 2024-04-26
US20210211687A1 (en) 2021-07-08
KR102482747B1 (ko) 2022-12-30
CN112104877B (zh) 2022-12-20
US10349065B2 (en) 2019-07-09
CN111510725A (zh) 2020-08-07
EP3905683A1 (en) 2021-11-03
US20160156935A1 (en) 2016-06-02
KR102249228B1 (ko) 2021-05-10
CN105637867B (zh) 2019-08-30
KR20220098279A (ko) 2022-07-11
CN110225358B (zh) 2021-10-12
KR102310866B1 (ko) 2021-10-07
JP6792020B2 (ja) 2020-11-25
JP7229969B2 (ja) 2023-02-28
EP3022918B1 (en) 2019-07-10
CN105637867A (zh) 2016-06-01
WO2015007753A1 (en) 2015-01-22
US10869047B2 (en) 2020-12-15
CN110225358A (zh) 2019-09-10
US20240114157A1 (en) 2024-04-04
EP4325858A2 (en) 2024-02-21
US10142639B2 (en) 2018-11-27
WO2015007752A1 (en) 2015-01-22
KR20230003460A (ko) 2023-01-05
JP2019071633A (ja) 2019-05-09
CN105637877A (zh) 2016-06-01
US20190327478A1 (en) 2019-10-24
US10425651B2 (en) 2019-09-24
JP6951405B2 (ja) 2021-10-20
JP6749365B2 (ja) 2020-09-02
KR101930817B1 (ko) 2018-12-19
US10349066B2 (en) 2019-07-09
JP7389168B2 (ja) 2023-11-29
KR20220053045A (ko) 2022-04-28
EP3022920A1 (en) 2016-05-25
US20240129499A1 (en) 2024-04-18
KR20160027978A (ko) 2016-03-10
JP6445552B2 (ja) 2018-12-26
JP2020167717A (ja) 2020-10-08
EP3022930B1 (en) 2021-03-24
KR102495846B1 (ko) 2023-02-06
JP2019075792A (ja) 2019-05-16
JP2024020424A (ja) 2024-02-14
KR20180127524A (ko) 2018-11-28
US11025929B2 (en) 2021-06-01
JP6453874B2 (ja) 2019-01-16
KR20230022261A (ko) 2023-02-14
KR20200116541A (ko) 2020-10-12
US20160156936A1 (en) 2016-06-02
JP7060650B2 (ja) 2022-04-26
KR20180137592A (ko) 2018-12-27
KR20160032191A (ko) 2016-03-23
CN105637876A (zh) 2016-06-01
KR102162120B1 (ko) 2020-10-06
KR20240046281A (ko) 2024-04-08
EP4362466A2 (en) 2024-05-01
CN111510725B (zh) 2022-12-16
KR101914659B1 (ko) 2018-11-05
KR20180136572A (ko) 2018-12-24
WO2015007754A1 (en) 2015-01-22
EP3614676A1 (en) 2020-02-26
JP2020167718A (ja) 2020-10-08
JP2016527795A (ja) 2016-09-08
JP2023089026A (ja) 2023-06-27
US20190082187A1 (en) 2019-03-14
US10523954B2 (en) 2019-12-31
KR102657916B1 (ko) 2024-04-15
JP2024028978A (ja) 2024-03-05
EP3022931A1 (en) 2016-05-25
JP2016531475A (ja) 2016-10-06
CN105532003A (zh) 2016-04-27
KR20200007086A (ko) 2020-01-21
EP3614671C0 (en) 2023-06-07
US20190387236A1 (en) 2019-12-19
KR102344387B1 (ko) 2021-12-28
JP2018186530A (ja) 2018-11-22
EP4294018A1 (en) 2023-12-20
US11012700B2 (en) 2021-05-18
KR102416235B1 (ko) 2022-07-05
EP4373092A1 (en) 2024-05-22
EP3926957B1 (en) 2023-10-18
US20230156203A1 (en) 2023-05-18
US11616964B2 (en) 2023-03-28
US20190253725A1 (en) 2019-08-15
KR101921646B1 (ko) 2018-11-23
KR20200007088A (ko) 2020-01-21
US10616591B2 (en) 2020-04-07
EP3022919A1 (en) 2016-05-25
KR20160034336A (ko) 2016-03-29
WO2015007751A1 (en) 2015-01-22
KR20210027512A (ko) 2021-03-10
KR20210054027A (ko) 2021-05-12
EP3022919B1 (en) 2021-05-05
US20200195942A1 (en) 2020-06-18
US11792415B2 (en) 2023-10-17
KR102067048B1 (ko) 2020-01-17
JP2021048591A (ja) 2021-03-25
KR102388631B1 (ko) 2022-04-20
WO2015007750A1 (en) 2015-01-22
KR20180121675A (ko) 2018-11-07
US11647209B2 (en) 2023-05-09
US11006136B2 (en) 2021-05-11
US20230254495A1 (en) 2023-08-10
JP2020065268A (ja) 2020-04-23
KR102162121B1 (ko) 2020-10-06
EP3022930A1 (en) 2016-05-25
EP3926957A1 (en) 2021-12-22
JP2022023888A (ja) 2022-02-08
EP3905683B1 (en) 2023-12-13
JP2022106784A (ja) 2022-07-20
JP6637149B2 (ja) 2020-01-29
KR20210121317A (ko) 2021-10-07
EP3905683C0 (en) 2023-12-13
KR20200116540A (ko) 2020-10-12
US20160134896A1 (en) 2016-05-12
US11252422B2 (en) 2022-02-15
JP7405808B2 (ja) 2023-12-26

Similar Documents

Publication Publication Date Title
KR102657916B1 (ko) 다계층식 비디오 코딩에서의 저지연 개념
JP7126332B2 (ja) 効率的なスケーラブル符号化概念
JP7485639B2 (ja) 効率的なマルチビュー／レイヤ符号化を可能とする符号化コンセプト
US9936207B2 (en) Indication of parallel processing in video coding
JP2023506876A (ja) 仮想参照デコーダ及び出力レイヤセットのためのビデオデータストリーム、ビデオエンコーダ、装置及び方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination