KR102659283B1 - 비디오 데이터 스트림 개념 - Google Patents

비디오 데이터 스트림 개념 Download PDF

Info

Publication number
KR102659283B1
KR102659283B1 KR1020227022147A KR20227022147A KR102659283B1 KR 102659283 B1 KR102659283 B1 KR 102659283B1 KR 1020227022147 A KR1020227022147 A KR 1020227022147A KR 20227022147 A KR20227022147 A KR 20227022147A KR 102659283 B1 KR102659283 B1 KR 102659283B1
Authority
KR
South Korea
Prior art keywords
packets
sequence
slice
packet
tiles
Prior art date
Application number
KR1020227022147A
Other languages
English (en)
Other versions
KR20220098273A (ko
Inventor
토마스 쉬를
발레리 게오르게
아나스타샤 헨켈
데트레브 마르페
카르스텐 그륀버그
로베르트 스쿠핀
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48782303&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102659283(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Publication of KR20220098273A publication Critical patent/KR20220098273A/ko
Application granted granted Critical
Publication of KR102659283B1 publication Critical patent/KR102659283B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

디코더 검색 타이밍 정보, 관심 영역 정보 및 타일 식별 정보가 미디어 인식 네트워크 요소들 또는 디코더와 같은 네트워크 엔티티들에 의해 쉬운 접근을 허용하는 레벨에서 비디오 데이터 스트림 내에 전달된다. 그러한 레벨에 도달하기 위하여, 그러한 형태의 정보가 비디오 데이터 스트림의 액세스 유닛의 패킷들 내에 배치되는 패킷들에 의해 비디오 데이터 스트림 내에 전달된다. 일 실시 예에 따르면, 배치된 패킷들은 제거가능한 패킷 형태인데, 즉 이러한 배치된 패킷들은 비디오 데이터 스트림을 거쳐 전달되는 비디오 콘텐츠를 완전히 복구하는 디코더의 능력을 유지한다.

Description

비디오 데이터 스트림 개념{VIDEO DATA STREAM CONCEPT}
본 발명은 특히 저 지연 적용들과 관련하여 바람직한 비디오 데이터 스트림 개념들에 관한 것이다.
고효율 비디오 코딩(High Efficiency Video Coding, HEVC)[2]은 적용 층에 대한 서로 다른 수단의 고 레벨 구문 시그널링을 허용한다. 그러한 수단들은 네트워크 추상 계층(Network Abstraction Layer, NAL) 유닛 헤더, 파라미터 세트들 및 보조 향상 정보(supplemental enhancement information, SEI) 메시지들이다. 후자는 디코딩 과정에서 사용되지 않는다. 고 레벨 구문 시그널링의 다른 수단들은 MPEG2 전송 프로토콜[3] 또는 실시간 전송 프로토콜과 같은, 각각의 전송 프로토콜 명세들, 및 그것의 페이로드 상세 명세(payload specific specification)들, 예를 들면, H.264/AVC[5], 스케일러블 비디오 코딩(SVC)[6] 또는 고효율 비디오 코딩[7]으로부터 기원한다. 그러한 전송 프로토콜들은 각각의 적용 층 코덱 스펙의 고 레벨 시그널링과 유사한 구조들과 메커니즘을 사용하는 고 레벨 시그널링, 예를 들면, 고효율 비디오 코딩[2]을 도입할 수 있다. 그러한 시그널링의 일례가 전송 층을 위한 보충 정보를 제공하는 [6]에서 설명된 것과 같은 페이로드 콘텐츠 스케일러빌리티 정보(Payload Content Scalability Information, PASCI) 네트워크 추상 계층 유닛이다.
파라미터 세트들을 위하여, 고효율 비디오 코딩은 단일 및 중심 위치에서 적용 층에 의해 사용되는 가장 중요한 스트림 정보를 뒤따르게 하는, 비디오 파라미터 세트(VPS)를 포함한다. 초기 접근법들에서, 이러한 정보는 다중 파라미터 세트들 및 네트워크 추상 계층 유닛 헤더들로부터 수집될 필요가 있었다.
본 발명 이전에, 가상 참조 디코더(Hypothetical Reference Decoder, HRD)의 코딩된 화상 버퍼(Coded Picture Buffer, CPB) 연산들, 및 화상 파라미터 세트(PPS)/비디오 사용성 정보(Video usability information, VUI), 화상 타이밍 보조 향상 정보, 버퍼링 기간 보조 향상 정보뿐만 아니라 슬라이스 헤더 내에 제공되는 모든 관련 구문 및 화상 파라미터 세트(PPS) 내에 존재하는 것과 같은 종속 슬라이스(dependent slice)의 서브-화상(sub-picture)과 구문을 설명하는, 디코딩 유닛의 정의에 대한 표준 현황은 다음과 같았다.
서브-화상 레벨에 대한 저 지연 코딩된 화상 버퍼 연산을 허용하기 위하여, 코딩된 화상 버퍼 연산들이 제안되었고 고효율 비디오 코딩 표준 7 JCTVC-11003[2]과 통합되었다. 여기서 특히, [2]의 섹션 3에서 디코딩 유닛이 정의되었다.
decoding unit: 액세스 유닛 또는 액세스 유닛의 서브셋. 만일 SubPicCpbFlag가 0과 동일하면, 디코딩 유닛은 액세스 유닛이다. 그렇지 않으면, 디코딩 유닛은 액세스 유닛 내의 하나 또는 그 이상의 비디오 코딩 계층(Video Coding Layer, VCL) 네트워크 추상 계층 유닛 및 관련 비-비디오 코딩 계층 네트워크 추상 계층 유닛들로 구성된다. 액세스 유닛 내의 제 1 비디오 코딩 계층 네트워크 추상 계층 유닛을 위하여, 관련 비-비디오 코딩 계층 네트워크 추상 계층 유닛들은 만일 있다면, 제 1 비디오 코딩 계층 네트워크 추상 계층 유닛 및 제 1 비디오 코딩 계층 네트워크 추상 계층 유닛을 선행하는 액세스 유닛 내의 모든 비-비디오 코딩 계층 네트워크 추상 계층 유닛 바로 뒤의 필러 데이터(filler data) 네트워크 추상 계층 유닛들이다. 액세스 유닛 내의 제 1 비디오 코딩 계층 네트워크 추상 계층 유닛이 아닌 비디오 코딩 계층 네트워크 추상 계층 유닛을 위하여, 관련 비-비디오 코딩 계층 네트워크 추상 계층 유닛들은 만약 있다면, 비디오 코딩 계층 네트워크 추상 계층 유닛 바로 뒤의 필러 데이터 네트워크 추상 계층 유닛이다.
그때까지 정의된 표준에서, "디코딩 유닛 제거의 타이밍 및 디코딩 유닛의 디코딩"이 설명되었고 부록 C "가상 참조 디코더"에 추가되었다. 서브-화상 타이밍을 시그널링하기 위하여, 버퍼링 기간 보조 향상 정보 메시지 및 화상 타이밍 보조 향상 정보 메시지뿐만 아니라 비디오 사용성 정보 내의 가상 참조 디코더 파라미터들은 서브-화상 유닛들로서 디코딩 유닛들을 지원하도록 확장되었다.
[2]의 버퍼링 기간 보조 향상 정보 메시지가 도 1에 도시된다.
NalHrdBpPresentFlag 또는 VclHrdBpPresentFlag가 1과 동일할 때, 버퍼링 기간 보조 향상 정보 메시지는 비트스트림 내의 어떠한 액세스 유닛과 관련될 수 있고, 버퍼링 기간 보조 향상 정보 메시지는 각각의 랜덤 액세스 위치(Random Access Position, RAP) 액세스 유닛, 및 복구 지점(recovery point) 보조 향상 정보 메시지와 관련된 각각의 액세스 유닛과 관련되어야만 한다.
일부 적용들을 위하여, 버퍼링 기간 보조 향상 정보 메시지의 빈번한 존재가 바람직할 수 있다.
버퍼링 기간은 디코딩 순서 내의 버퍼링 기간 보조 향상 정보 메시지의 두 개의 인스턴스(instance) 사이의 액세스 유닛의 세트로서 지정되었다.
시멘틱들은 다음과 같았다:
seq_parameter_set_id는 시퀀스 가상 참조 디코더 속성들을 포함하는 시퀀스 파라미터 세트를 지정한다. seq_parameter_set_id의 값은 버퍼링 기간 보조 향상 정보 메시지와 관련된 일차 코딩된 화상에 의해 참조되는 화상 파라미터 세트 내의 seq_parameter_set_id의 값과 동일해야만 한다. seq_parameter_set_id의 값은 0 내지 31의 범위 내에 존재하여야만 한다.
1과 동일한 rap_cpb_params_present_flag는 initial_alt_cpb_removal_delay[SchedSelIdx] 및 initial_alt_cpb_removal_delay_offset[SchedSelIdx] 구문 요소들의 존재를 지정한다. 존재하지 않을 때, rap_cpb_params_present_flag의 값은 0과 동일하도록 추론된다. 관련된 화상이 클린 랜덤 액세스(Clean Random Access, CRA) 화상이 아니고 끊어진 링크 액세스(broken link access, BLA) 화상도 아닐 때, rap_cpb_params_present_flag의 값은 0과 동일해야만 한다.
initial_cpb_removal_delay[SchedSelIdx] 및 initial_alt_cpb_removal_delay[SchedSelIdx]는 SchedSelIdx번째 코딩된 화상 버퍼를 위한 초기 코딩된 화상 버퍼 제거 지연들을 지정한다. 구문 요소들은 initial_cpb_removal_delay_length_minus1 + 1에 의해 주어진 비트들의 길이를 가지며, 90 ㎑ 클록의 유닛들 내에 존재한다. 구문 요소들의 값들은 0과 동일해서는 안 되며 90000*(CpbSize[SchedSelIdx])/BitRate[SchedSelIdx]), 90 ㎑ 클록 유닛들 내의 코딩된 화상 버퍼 크기의 시간-등가를 초과해서는 안 된다.
initial_cpb_removal_delay_offset[SchedSelIdx] 및 initial_alt_cpb_removal_delay_offset[SchedSelIdx]는 코딩된 화상 버퍼에 코딩된 데이터 유닛들의 초기 전달 시간을 지정하기 위한 SchedSelIdx번째 코딩된 화상 버퍼를 위하여 사용된다. 구문 요소들은 initial_cpb_removal_delay_length_minus1 + 1에 의해 주어진 비트들의 길이를 가지며, 90 ㎑ 클록의 유닛들 내에 존재한다. 이러한 구문 요소들은 디코더들에 의해 사용되지 않으며 전달 스케줄러(delivery scheduler, 가상 스트림 스케줄러(hypothetical Stream Scheduler, HSS))를 위해서만 필요할 수 있다.
전체 코딩된 비디오 시퀀스에 대하여, initial_cpb_removal_delay[SchedSelIdx] 및 initial_cpb_removal_delay_offset[SchedSelIdx]의 합계는 SchedSelIdx의 각각의 값을 위하여 일정해야만 하고, initial_alt_cpb_removal_delay[SchedSelIdx] 및 initial_alt_cpb_removal_delay_offset[SchedSelIdx]의 합계는 SchedSelIdx의 각각의 값을 위하여 일정해야만 한다.
[2]의 화상 타이밍 보조 향상 정보 메시지 구문이 도 2에 도시된다.
화상 타이밍 보조 향상 정보 메시지의 구문은 화상 타이밍 보조 향상 정보 메시지와 관련된 코딩된 구문을 위하여 활성인 시퀀스 파라미터 세트의 콘텐츠에 의존하였다. 그러나, 동시 디코딩 리프레시(instantaneous decoding refresh, IDR) 또는 끊어진 링크 액세스(BLA) 액세스 유닛의 화상 타이밍 보조 향상 정보 메시지가 동일한 액세스 유닛 내의 버퍼링 기간 보조 향상 정보 메시지에 의해 선행되지 않는 한, 관련 시퀀스 파라미터 세트의 활성(및, 비트스트림 내의 제 1 화상이 아닌 동시 디코딩 리프레시 또는 끊어진 링크 액세스 화상들 위하여 코딩된 화상이 동시 디코딩 리프레시 화상 또는 끊어진 링크 액세스 화상이라는 결정)은 코딩된 화상의 제 1 코딩된 슬라이스 네트워크 추상 계층 유닛의 디코딩 때까지 발생하지 않는다. 코딩된 화상의 코딩된 슬라이스 네트워크 추상 계층 유닛은 네트워크 추상 계층 유닛 순서 내의 화상 타이밍 보조 향상 정보 메시지를 따르기 때문에, 코딩된 화상을 위하여 활성이 될 시퀀스 파라미터의 파라미터들을 결정할 때까지 디코더가 화상 타이밍 보조 향상 정보 메시지를 포함하는 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP)를 저장하고, 그리고 나서 화상 타이밍 보조 향상 정보 메시지의 파싱(parsing)을 실행하는 것이 필요한 경우들이 존재할 수 있다.
비트스트림 내의 화상 타이밍 보조 향상 정보 메시지의 존재는 다음과 같이 지정되었다.
- 만일 CpbDpbDelaysPresentFlag가 1과 동일하면, 코딩된 비디오 시퀀스의 모든 액세스 유닛 내에 하나의 화상 타이밍 보조 향상 정보 메시지가 존재하여야만 한다.
- 그렇지 않으면(CpbDpbDelaysPresentFlag가 0과 동일하면), 코딩된 비디오 시퀀스의 어떠한 액세스 유닛 내에도 화상 타이밍 보조 향상 정보 메시지가 존재해서는 안 된다.
시멘틱들은 다음과 같이 정의되었다:
cpb_removal_delay는 버퍼로부터 화상 타이밍 보조 향상 정보 메시지와 관련된 액세스 유닛 데이터를 제거하기 전까지 선행 액세스 유닛 내의 가장 최근의 버퍼링 기간 보조 향상 정보 메시지와 관련된 액세스 유닛의 코딩된 화상 버퍼로부터의 제거 후에 얼마나 많은 클록 틱(clock tick)들이 대기하는지를 지정한다. 이러한 값은 또한 가상 스트림 스케줄러를 위한 코딩된 화상 버퍼 내로의 액세스 유닛 데이터의 가장 빠른 가능한 도착 시간을 계산하는데 사용된다. 구문 요소는 cpb_removal_delay_length_minus1 + 1에 의해 비트의 길이가 주어지는 고정된 길이 코드이다. cpb_removal_delay는 모듈로(modulo) 2(cpb_removal_delay_length_minus1 + 1) 카운터의 나머지이다.
구문 요소 cpb_removal_delay의 길이(비트로 표시되는)를 결정하는 cpb_removal_delay_length_minus1의 값은 cpb_removal_delay가 서로 다른 코딩된 비디오 시퀀스의 액세스 유닛일 수 있는, 버퍼링 기간 보조 향상 정보 메시지를 포함하는 선행 액세스 유닛의 제거 시간에 대하여 다수의 클록 틱을 지정하더라도, 화상 타이밍 보조 향상 정보 메시지와 관련된 일차 코딩된 화상을 위하여 활성인 시퀀스 파라미터 내에 코딩된 cpb_removal_delay_length_minus1의 값이다.
dpb_output_delay는 화상의 디코딩된 화상 버퍼(decoded picture buffer, DPB) 출력 시간을 계산하도록 사용된다. 이는 디코딩된 화상이 디코딩된 화상 버퍼로부터 출력되기 전에 코딩된 화상 버퍼로부터 액세스 유닛 내의 마지막 디코딩 유닛의 제거 후에 얼마나 많은 클록 틱이 대기하는지를 지정한다.
화상은 "단기간 참조를 위하여 사용되는" 또는 장기간 참조를 위하여 사용되는"으로서 표시될 때, 그것의 출력 시간으로서 디코딩된 화상 버퍼로부터 제거되지 않는다.
디코딩된 화상을 위하여 하나의 dpb_output_delay만이 지정된다.
구문 요소 dpb_output_delay의 길이는 dpb_output_delay_length_minus1 +1에 의해 비트로 주어진다.
sps_max_pic_buffering[max_temporal_layers_minus1]은 0과 동일하고, dpb_output_delay는 0과 동일해야만 한다.
출력 타이밍 적합성 디코더로부터 출력되는 어떠한 화상의 dpb_output_delay로부터 유도되는 출력 시간은 디코딩 순서 내의 어떠한 뒤따르는 코딩된 비디오 시퀀스 내의 모든 화상의 dpb_output_delay로부터 유도되는 출력 시간을 선행하여야만 한다.
이러한 구문 요소의 값들에 의해 달성되는 화상 출력 순서는 PicOrderCntVal의 값들에 의해 달성된 것과 동일한 순서이어야만 한다.
화상들이 디코딩 순서로, 1과 동일하거나 또는 1과 동일한 것으로 추론되는 no_output_of_pics_flag를 갖는 동시 디코딩 리프레시 또는 끊어진 링크 액세스 화상을 선행하기 때문에 "범핑(bumping)" 과정에 의해 출력되지 않는 화상들을 위하여, dpb_output_delay로부터 유도되는 출력 시간은 동일한 코딩된 비디오 시퀀스 내의 모든 화상에 대하여 PicOrderCntVal의 값이 증가함에 따라 증가하여야만 한다.
num_decoding_units_minus1 plus 1은 화상 타이밍 보조 향상 정보 메시지가 관련된 액세스 유닛 내의 디코딩 유닛들의 수를 지정한다. num_decoding_units_minus1의 값은 0 내지 PicWidthInCtbs*PicHeightInCtbs-1의 범위 내에 존재하여야만 한다.
num_nalus_in_du_minus1[i] + 1은 화상 타이밍 보조 향상 정보 메시지가 관련된 액세스 유닛의 i번째 디코딩 유닛 내의 네트워크 추상 계층 유닛들의 수를 지정한다. num_nalus_in_du_minus1[i]의 값은 0 내지 PicWidthInCtbs*PicHeightInCtbs-1의 범위 내에 존재하여야만 한다.
액세스 유닛의 제 1 디코딩 유닛은 액세스 유닛 내의 디코딩 순서 내의 제 1 num_nalus_in_du_minus1[0] + 1의 연속적인 네트워크 추상 계층 유닛들로 구성된다. 액세스 유닛의 i번째(0보다 큰 i를 갖는) 디코딩 유닛은 디코딩 순서로, 액세스 유닛의 이전의 디코딩 유닛 내의 마지막 네트워크 추상 계층 유닛 바로 뒤의 num_nalus_in_du_minus1[i] + 1의 연속적인 네트워크 추상 계층 유닛들로 구성된다. 각각의 디코딩 유닛 내에 적어도 하나의 비디오 코딩 계층 네트워크 추상 계층 유닛이 존재하여야만 한다. 비디오 코딩 계층 네트워크 추상 계층 유닛과 관련된 모든 비-비디오 코딩 계층 네트워크 추상 계층 유닛은 동일한 디코딩 유닛 내에 포함되어야만 한다.
du_cpb_removal_delay[i]는 코딩된 화상 버퍼로부터 화상 타이밍 보조 향상 정보 메시지와 관련된 액세스 유닛 내의 i번째 디코딩 유닛을 제거하기 전에 선행 액세스 유닛 내의 가장 최근의 버퍼링 기간 보조 향상 정보 메시지와 관련된 액세스 유닛 내의 제 1 디코딩 유닛의 코딩된 화상 버퍼로부터의 제거 후에 얼마나 많은 클록 틱들이 대기하는지를 지정한다. 이러한 값은 또한 가상 스트림 스케줄러를 위한 코딩된 화상 버퍼 내로의 디코딩 유닛 데이터의 가장 빠른 가능한 도착 시간을 계산하는데 사용된다. 구문 요소는 cpb_removal_delay_length_minus1 + 1에 의해 비트의 길이가 주어지는 고정된 길이 코드이다. du_cpb_removal_delay[i]는 모듈로 2(cpb_removal_delay_length_minus1 + 1) 카운터의 나머지이다.
구문 요소 du_cpb_removal_delay[i]의 길이(비트로 표시되는)를 결정하는 cpb_removal_delay_length_minus1의 값은 비록 du_cpb_removal_delay[i]가 서로 다른 코딩된 비디오 시퀀스의 액세스 유닛일 수 있는, 버퍼링 기간 보조 향상 정보 메시지를 포함하는 선행 액세스 유닛의 제거 시간에 대하여 다수의 클록 틱을 지정하더라도, 화상 타이밍 보조 향상 정보 메시지와 관련된 코딩된 화상을 위하여 활성인 시퀀스 파라미터 세트 내에 코딩된 cpb_removal_delay_length_minus1의 길이의 값이다.
일부 정보는 [2]의 비디오 사용성 정보 구문 내에 포함되었다. [2]의 비디오 사용성 정보 파라미터 구문이 도 3에 도시된다. [2]의 가상 참조 디코더 파라미터 구문은 도 4에 도시된다. 시멘틱들은 다음과 같이 정의되었다:
1과 동일한 sub_pic_cpb_params_present_flag는 서브-화상 레벨 코딩된 화상 버퍼 제거 지연 파라미터들이 존재하고 코딩된 화상 버퍼가 액세스 유닛 레벨 또는 서브-화상 레벨에서 연산할 수 있다는 것을 지정한다. 0과 동일한 sub_pic_cpb_params_present_flag는 서브-화상 레벨 코딩된 화상 버퍼 제거 지연 파라미터들이 존재하지 않고 코딩된 화상 버퍼가 액세스 유닛 레벨에서 연산한다는 것을 지정한다. sub_pic_cpb_params_present_flag가 존재하지 않을 때, 그것의 값은 0과 동일한 것으로 추론된다.
num_unit_in_sub_tick는 서브-화상 클록 틱 카운터의 하나의 증가(increment, 서브-화상 클록 틱으로 불리는)와 상응하는 주파수 time_scale ㎐에서 작동하는 클록의 시간 유닛들의 수이다. num_unit_in_sub_tick는 0보다 커야만 한다. 서브-화상 클록 틱은 sub_pic_cpb_params_present_flag가 1과 동일할 때 코딩된 데이터 내에서 표현될 수 있는 시간의 최소 간격이다.
1과 동일한 tiles_fixed_structure_flag는 코딩된 비디오 시퀀스 내에서 활성인 각각의 화상 파라미터 세트가 구문 요소들 num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag, column_width[i], row_height[i], 및 loop_filter_across_tiles_enabled_flag의 동일한 값을 갖는다는 것을 나타내고, 존재할 때, 0과 동일한 tiles_fixed_structure_flag는 서로 다른 화상 파라미터 세트들 내의 구문 요소들이 동일한 값을 갖거나 또는 갖지 않을 수 있다는 것을 나타낸다. tiles_fixed_structure_flag가 존재하지 않을 때, 이는 0과 동일한 것으로 추론된다.
1과 동일한 tiles_fixed_structure_flag의 시그널링은 코딩된 비디오 시퀀스 내의 각각의 화상이 멀티-스레드(multi-threaded) 디코딩의 경우에서 작업량 할당을 위하여 유용할 수 있는 동일한 방법으로 분포되는 동일한 수의 타일을 갖는 디코더에 대한 보장이다.
[2]의 필러 데이터는 도 5에 도시된 필터 데이터 원시 바이트 시퀀스 페이로드 구문을 사용하여 시그널링되었다.
비트스트림 및 디코더 적합성을 검사하기 위하여 사용되는 [2]의 가상 참조 디코더는 다음과 같이 정의되었다:
두 가지 형태의 비트스트림이 이러한 권고/국제 표준(recommendation/international standard)을 위한 가상 참조 디코더 적합성 검사의 대상이 된다. Ⅰ형(Type Ⅰ) 비트스트림으로 불리는, 그러한 형태의 첫 번째 비트스트림은 비트스트림 내의 모든 액세스 유닛을 위하여 비디오 코딩 계층 네트워크 추상 계층 유닛들 및 필러 데이터 네트워크 추상 계층 유닛들만을 포함하는 네트워크 추상 계층 유닛 스트림이다. Ⅱ형 비트스트림으로 불리는, 그러한 형태의 첫 번째 비트스트림은 비트스트림 내의 모든 액세스 유닛을 위하여 비디오 코딩 계층 네트워크 추상 계층 유닛들 및 필러 데이터 네트워크 추상 계층 유닛들에 더하여, 다음 중 적어도 하늘 포함한다:
- 필러 데이터 네트워크 추상 계층 유닛들 이외의 부가적인 비-비디오 코딩 계층 네트워크 추상 계층 유닛들
- 네트워크 추상 계층 유닛 스트림으로부터 바이트를 형성하는 모든 leading_zero_8bits, zero_byte, start_code_prefix_one_3bytes, 및 trailing_zero_8bits 구문 요소
도 6은 [2]의 가상 참조 디코더에 의해 검사되는 비트스트림 적합성 지점들의 형태들을 도시한다.
두 가지 형태의 가상 참조 디코더 파라미터 세트(네트워크 추상 계층 가상 참조 디코더 파라미터들 및 비디오 코딩 계층 가상 참조 디코더 파라미터들)가 사용된다. 가상 참조 디코더 파라미터 세트들은 시퀀스 파라미터 세트 구문 구조의 일부분인, 비디오 사용성 정보를 통하여 시그널링된다.
비디오 코딩 계층 네트워크 추상 계층 유닛들 내에 언급되는 모든 시퀀스 파라미터 세트와 화상 파라미터 세트, 및 상응하는 버퍼링 기간 및 화상 타이밍 보조 향상 정보 메시지들은 비트스트림 내에 또는 다른 수단들에 의해, 시기적절한 방식으로 가상 참조 디코더로 전달되어야만 한다.
예로서, 비트스트림 내에 존재하는 네트워크 추상 계층 유닛들과 함께, 비트스트림 내의 존재 이외의 수단에 의해 전달되는, 비-비디오 코딩 계층 네트워크 추상 계층 유닛의 동기화는 비트스트림 내에 두 지점을 표시함으로써 달성될 수 있으며, 그 사이에 비트스림 내에 존재했을 수 있는 비-비디오 코딩 계층 네트워크 추상 계층 유닛은 비트스트림 내에 전달하도록 결정된 인코더를 가졌다.
비트스트림 내의 존재 이외의 일부 수단에 의한 적용을 위하여 비-비디오 코딩 계층 네트워크 추상 계층 유닛의 콘텐츠가 전달될 때, 이러한 부록에 지정된 동일한 구문을 사용하기 위하여 비-비디오 코딩 계층 네트워크 추상 계층 유닛의 콘텐츠의 표현은 필요하지 않다.
가상 참조 디코더 정보가 비트스트림 내에 포함될 때, 비트스트림 내에 포함된 정보만을 기초로 하여 이러한 하위조항(subclause)의 요구에 대하여 비트스트림의 적합성을 입증하는 것이 가능하다는 것에 유의하여야 한다. 모든 "독립형(stand-alone)" Ⅰ형 비트스트림에서 그렇듯이, 가상 참조 디코더 정보가 비트스트림 내에 존재하지 않을 때, 이러한 권고/국제 표준 내에 지정되지 않은 일부 다른 수단에 의해 가상 참조 디코더 데이터가 공급될 때에만 적합성이 입증될 수 있다.
가상 참조 디코더는 도 7에 도시된 것과 같이 코딩된 화상 버퍼(CPB), 즉각적인 디코딩 과정, 디코딩된 화상 버퍼(DPB), 및 출력 크로핑(output cropping)을 포함한다.
코딩된 화상 버퍼 크기(비트의 수)는 CpbSize[SchedSelIdx]이다. 시간 계층(X)을 위한 디코딩된 화상 버퍼(화상 저장 버퍼의 수)는 0 내지 sps_temporal_layers_minus1 범위 내의 각각의 X를 위하여 sps_max_dec_pic_buffering[X]이다.
가변 SubPicCpbPreferredFlag는 외부 수단들에 의해 지정되거나, 또는 외부 수단들에 의해 지정되지 않을 때, 0으로 설정된다.
가변 SubPicCpbFlag는 다음과 같이 유도된다:
SubPicCpbFlag = SubPicCpbPreferredFlag&&sub_pic_cpb_params_present_flag
만일 SubPicCpbFlag가 0과 동일하면, 코딩된 화상 버퍼는 액세스 유닛 레벨에서 작동하고 각각의 디코딩 유닛은 액세스 유닛이다. 그렇지 않으면 코딩된 화상 버퍼는 서브-화상 레벨에서 작동하고 각각의 디코딩 유닛은 액세스 유닛의 서브셋이다.
가상 참조 디코더는 다음과 같이 작동한다.
지정된 도착 스케줄에 따라 코딩된 화상 버퍼 내로 흐르는 디코딩 유닛들과 관련된 데이터는 가상 스트림 스케줄러에 의해 전달된다. 각각의 디코딩 유닛과 관련된 데이터는 제거되고 코딩된 화상 버퍼 제거 시간들에서 각각의 디코딩 과정에 의해 즉각적으로 디코딩된다. 각각의 디코딩된 화상은 디코딩된 화상 버퍼 내에 위치된다. 디코딩된 화상은 디코딩된 화상 버퍼 출력 시간 또는 인터(inter)-예측 참조를 위하여 더 이상 필요하지 않은 시간 뒤에 디코딩된 화상 버퍼로부터 제거된다.
가상 참조 디코더는 버퍼링 기간 보조 향상 정보에 의해 지정된 것과 같이 초기화된다. 코딩된 화상 버퍼로부터 디코딩 유닛들의 제거 타이밍 및 디코딩된 화상 버퍼로부터 디코딩된 화상들의 출력 타이밍은 화상 타이밍 보조 향상 정보 메시지 내에 지정된다. 특정 디코딩 유닛에 대한 모든 타이밍 정보는 디코딩 유닛의 코딩된 화상 버퍼 제거 시간 이전에 도착하여야만 한다.
가상 참조 디코더는 비트스트림들 및 디코더들의 적합성을 검사하도록 사용된다.
비트스트림을 발생시키도록 사용되는 모든 프레임-비율 및 클록은 비트스트림 내에 시그널링되는 값들과 정확하게 일치한다는 가정 하에서 적합성이 보장되나, 실제 시스템에서 이들 각각은 시그널링되거나 또는 지정된 값에서 벗어날 수 있다.
모든 산술은 실제 값들로 실행되고, 따라서 어떠한 반올림 오류도 전파할 수 없다. 예를 들면, 디코딩 유닛의 제거 바로 전 또는 이후의 코딩된 화상 버퍼 내의 비트들의 수는 반드시 정수일 필요는 없다.
변수(tc)는 다음과 같이 유도되고 클록 틱으로 불린다.
tc = num_units_in_tick / time_scale
변수(tc_sub)는 다음과 같이 유도되고 클록 틱으로 불린다.
tc_sub = num_units_in_sub_tick / time_scale
제약(constraint)들을 표현하기 위하여 다음이 지정된다:
- 액세스 유닛(n)이 디코딩 순서 내의 n번째 액세스 유닛이 되고 제 1 액세스 유닛은 액세스 유닛(0)이 되도록 한다.
- 화상(n)이 액세스 유닛(n)의 코딩된 화상 디코딩된 화상이 되도록 한다.
- 디코딩 유닛(m)이 디코딩 순서 내의 m번째 디코딩 유닛이 되고 제 1 디코딩 유닛은 디코딩 유닛(0)이 되도록 한다.
[2]에서, 슬라이스 헤더 구문은 이른바 종속 슬라이스들을 허용하였다.
도 8은 [2]의 슬라이스 헤더 구문을 도시한다.
슬라이스 헤더 시멘틱들은 다음과 같이 정의되었다:
1과 동일한 dependent_slice_flag는 존재하지 않는 각각의 슬라이스 헤더 구문 요소의 값이 코딩 트리블록 주소가 SliceCtbAddrRS-1인 코딩 트리블록을 포함하는 선행 슬라이스 내의 상응하는 슬라이스 헤더 구문 요소의 값과 동일하도록 추론되는 것을 지정한다.
slice_address는 슬라이스가 시작하는 입상 해상도 내의 슬라이스 주소를 지정한다. slice_address 구문 요소의 길이는 (Ceil(Log2(PicWidthInCtbs *PicHeightInCtbs))+SliceGranularity) 비트이다.
슬라이스가 코딩 트리블록 래스터 스캔 순서로 시작하는 코딩 트리블록을 지정하는, 변수 SliceCtbAddrRS는 다음과 같이 도출된다.
SliceCtbAddrRS = (slice_address ≫ SliceGranularity)
Z-스캔 순서로 최소 코딩 블록 입상도로 슬라이스 내의 첫 번째 코딩 블록의 주소를 지정하는, 변수 SliceCtbAddrZS는 다음과 같이 도출된다.
SliceCbAddrZS = slice_address
≪ ((log2_diff_max_min_coding_block_size-SliceGranularity) ≪ 1).
슬라이스 디코딩은 슬라이스 시작 좌표에서 가능한 가장 큰 코딩 유닛과 함께 시작한다.
first_slice_in_pic_flag는 슬라이스가 화상의 첫 번째 슬라이스인지를 나타낸다. 만일 first_slice_in_pic_flag가 1과 동일하면, 변수들 SliceCbAddrZS 및 SliceCtbAddrRS는 모두 0으로 설정되고 디코딩은 화상 내의 첫 번째 코딩 트리블록으로 시작한다.
pic_parameter_set_id는 사용중인 화상 파라미터 세트를 지정한다. pic_parameter_set_id의 값은 0 내지 255의 범위 내에 존재하여야만 한다.
num_entry_point_offsets는 슬라이스 헤더 내의 entry_point_offset[i] 구문 요소들의 수를 지정한다. tiles_or_entropy_coding_sync_idc가 1과 동일할 때, num_entry_point_offsets의 값은 0 내지 (num_tile_columns_minu1 + 1)*(num_tile_rows_minus1 + 1) - 1의 범위 내에 존재하여야만 한다. tiles_or_entropy_coding_sync_idc가 2와 동일할 때, num_entry_point_offsets의 값은 0 내지 PicHeightInCtbs-1의 범위 내에 존재하여야만 한다. 존재하지 않을 때, num_entry_point_offsets의 값은 0과 동일한 것으로 추론된다.
offset_len_minus1 + 1은 entry_point_offset[i] 구문 요소들의 비트들 내의 길이를 지정한다.
entry_point_offset[i]는 바이트들 내의 i번째 엔트리 지점 오프셋을 지정하며, offset_len_minu1 plus 1 비트들에 의해 표현되어야만 한다. 슬라이스 헤더 이후의 코딩된 슬라이스 데이터는 0부터 num_entry_point_offsets까지 범위의 지수 값을 갖는, num_entry_point_offsets + 1 서브셋들로 구성된다. 서브셋 0은 코딩된 슬라이스 데이터의 바이트 0 내지 entry_point_offset[0]-1로 구성되고, 1 내지 num_entry_point_offsets-1의 범위 내의 k를 갖는, 서브셋 k는 바이트들 entry_point_offset[k-1] 내지 entry_point_offset[k]+entry_point_offset[k-1]-1로 구성되며, 마지막 서브셋(num_entry_point_offsets와 동일한 서브셋 지수를 갖는)은 코딩된 슬라이스 데이터의 나머지 바이트들로 구성된다.
tiles_or_entropy_coding_sync_idc가 1과 동일하고 num_entry_point_offsets가 0보다 클 때, 각각의 서브셋은 정확하게 하나의 타일의 모든 코딩된 비트를 포함하여야만 하며, 서브셋들의 수(즉, num_entry_point_offsets + 1의 값)는 슬라이스 내의 타일들의 수와 동일하거나 또는 적어야만 한다.
tiles_or_entropy_coding_sync_idc가 1과 동일할 때, 각각의 슬라이스는 반드시 하나의 타일(이 경우에 있어서 엔트로피 지점들의 시그널링이 불필요한)의 서브셋 또는 완전한 타일들의 정수를 포함하여야만 한다.
tiles_or_entropy_coding_sync_idc가 2와 동일하고 num_entry_point_offsets가 0보다 클 때, 0 내지 num_entry_point_offsets - 1의 범위 내의 k를 갖는 각각의 서브셋 k는 코딩 트리블록들이 정확하게 하나의 열의 모든 코딩된 비트를 포함해야만 하고, 마지막 서브셋(num_entry_point_offsets와 동일한 서브셋 지수를 갖는)은 슬라이스 내에 포함된 나머지 코딩 블록들의 모든 코딩된 비트를 포함해야만 하며, 나머지 코딩 블록들은 코딩 트리블록들의 정확하게 하나의 열 또는 코딩 트리블록들의 하나의 열의 하나의 서브셋으로 구성되며, 서브셋들의 수(즉, num_entry_point_offsets + 1의 값)는 슬라이스 내의 코딩 트리 블록들의 열들의 수와 동일해야만 하고, 슬라이스 내의 코딩 트리 블록들의 하나의 열의 서브셋이 또한 계수된다.
tiles_or_entropy_coding_sync_idc가 2와 동일할 때, 슬라이스는 코딩 트리 블록들의 다수의 열 및 코딩 트리 블록들의 하나의 열의 하나의 서브셋을 포함할 수 있다. 예를 들면, 만일 하나의 슬라이스가 코딩 트리 블록들의 2½ 열을 포함하면, 서브셋들의 수(즉, num_entry_point_offsets + 1의 값)는 3과 동일해야만 한다.
도 9는 [2]의 화상 파라미터 세트 원시 바이트 시퀀스 페이로드 구문을 도시하며, [2]의 화상 파라미터 세트 원시 바이트 시퀀스 페이로드 시멘틱들은 다음과 같이 정의된다:
1과 동일한 dependent_slice_enabled_flag는 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 슬라이스 헤더 내의 구문 요소(dependent_slice_flag)의 존재를 지정한다. 0과 동일한 dependent_slice_enabled_flag는 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 슬라이스 헤더 내의 구문 요소(dependent_slice_flag)의 부재를 지정한다. tiles_or_entropy_coding_sync_idc가 3과 동일할 때, dependent_slice_enabled_flag의 값은 모두 1과 동일해야만 한다.
0과 동일한 tiles_or_entropy_coding_sync_idc는 화상 파라미터 세트를 언급하는 각각의 화상 내에 단지 하나의 타일만이 존재하고 화상 파라미터 세트를 언급하는 각각의 화상 내의 코딩 트리 블록들의 열의 첫 번째 코딩 블록을 디코딩하기 전에 적용되는 콘텍스트 변수들을 위한 어떠한 특정 동기화 과정이 존재해서는 안 되며, 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 cabac_independent_flag 및 dependent_slice_flag의 값은 모두 1과 동일해서는 안 된다는 것을 지정한다.
cabac_independent_flag 및 de[pendent_slice_flag가 슬라이스를 위하여 모두 1과 동일할 때, 슬라이스는 엔트로피 슬라이스이다.
1과 동일한 tiles_or_entropy_coding_sync_idc는 화상 파라미터 세트를 언급하는 각각의 화상 내에 하나 이상의 타일이 존재할 수 있는 것을 지정하고, 화상 파라미터 세트를 언급하는 각각의 화상 내의 코딩 트리 블록들의 하나의 열의 첫 번째 코딩 트리 블록을 디코딩하기 전에 적용되는 콘텍스트 변수들을 위한 어떠한 특정 동기화 과정도 존재해서는 안 되며, 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 cabac_independent_flag 및 dependent_slice_flag의 값들은 모두 1과 동일해서는 안 된다.
2와 동일한 tiles_or_entropy_coding_sync_idc는 화상 파라미터 세트를 언급하는 각각의 화상 내에 하나의 타일만이 존재해야만 한다는 것을 지정하고, 화상 파라미터 세트를 언급하는 각각의 화상 내의 코딩 트리 블록들의 하나의 열의 첫 번째 코딩 트리 블록을 디코딩하기 전에 콘텍스트 변수들을 위한 특정 동기화 과정이 적용되어야만 하며, 화상 파라미터 세트를 언급하는 각각의 화상 내의 코딩 트리 블록들의 하나의 열의 두 개의 코딩 트리 블록을 디코딩한 후에 콘텍스트 변수들을 위한 특정 기억 과정이 적용되어야만 하며, 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 cabac_independent_flag 및 dependent_slice_flag의 값들은 모두 1과 동일해서는 안 된다.
3과 동일한 tiles_or_entropy_coding_sync_idc는 화상 파라미터 세트를 언급하는 각각의 화상 내에 하나의 타일만이 존재해야만 한다는 것을 지정하고,
화상 파라미터 세트를 언급하는 각각의 화상 내의 코딩 트리 블록들의 하나의 열의 첫 번째 코딩 트리 블록을 디코딩하기 전에 적용되는 콘텍스트 변수들을 위한 어떠한 특정 동기화 과정도 존재해서는 안 되며, 화상 파라미터 세트를 언급하는 코딩된 화상들을 위한 cabac_independent_flag 및 dependent_slice_flag의 값들은 모두 1과 동일할 수 있다.
dependent_slice_enabled_flag가 0과 동일해야만 할 때, tiles_or_entropy_coding_sync_idc는 3과 동일해서는 안 된다.
tiles_or_entropy_coding_sync_idc의 값이 코딩된 비디오 시퀀스 내에서 작동되는 모든 회상 파라미터 세트를 위하여 동일해야만 하는 것이 비트스트림 적합성의 요구조건이다.
화상 파라미터 세트를 언급하는 각각의 슬라이스를 위하여, tiles_or_entropy_coding_sync_idc가 2와 동일하고 슬라이스 내의 첫 번째 코딩 블록이 코딩 트리 블록들의 하나의 열의 첫 번째 코딩 트리 블록 내의 첫 번째 코딩 블록이 아닐 때, 슬라이스 내의 마지막 코딩 블록은 슬라이스 내의 첫 번째 코딩 블록과 동일한 코딩 트리 블록들의 열에 속해야만 한다.
num_tile_column_minus1 + 1은 화상을 분할하는 타일 행들의 수를 지정한다.
num_tile_rows_minus1 + 1은 화상을 분할하는 타일 열들의 수를 지정한다.
num_tile_column_minus1이 0과 동일할 때, num_tile_rows_minus1은 0과 동일해서는 안 된다.
1과 동일한 uniform_spacing_flag는 행 경계들과 유사한 열 경계들이 화상을 가로질러 균일하게 분포되는 것을 지정한다. 0과 동일한 uniform_spacing_flag는 행 경계들과 유사한 열 경계들이 화상을 가로질러 균일하게 분포되지 않으나, 구문 요소들 column_width[i] 및 row_height[i]를 사용하여 분명하게 시그널링되는 것을 지정한다.
column_width[i]는 코딩 트리블록들의 유닛들 내의 i번째 타일 행의 폭을 지정한다.
row_height[i]는 코딩 트리블록들의 유닛들 내의 i번째 타일 열의 높이를 지정한다.
벡터 colWidth[i]는 0부터 num_tile_columns_minus1까지의 범위의 행(i)을 갖는 코딩 트리 블록(CTB)들의 유닛들 내의 i번째 타일의 폭을 지정한다.
벡터 CtbAddrRStoTS[ctbAddrRS]는 래스터 스캔 순서 내의 코딩 트리 블록 주소로부터 0부터 (picHeightInCtbs*picWidthInCtbs) - 1까지 범위의 지수(ctbAddrRS)를 갖는 타일 스캔 순서 내의 코딩 트리 블록 주소까지의 대화를 지정한다.
벡터 CtbAddrRStoTS[ctbAddrTS]는 래스터 스캔 순서 내의 코딩 트리 블록 주소로부터 0부터 (picHeightInCtbs*picWidthInCtbs) - 1까지 범위의 지수(ctbAddrTS)를 갖는 타일 스캔 순서 내의 코딩 트리 블록 주소까지의 대화를 지정한다.
벡터 TileId[ctbAddrTS]는 0부터 (picHeightInCtbs*picWidthInCtbs) - 1까지 범위의 지수(ctbAddrTS)를 갖는 타일 스캔 순서 내의 코딩 트리 블록 주소로부터 타일 식별까지의 대화를 지정한다.
colWidth, CtbAddrRStoTS, CtbAddrTStoRS 및 TileId의 값들은 하위조항 6.5.1에 지정된 것과 같이 입력들로서 PicHeightInCtbs 및 PicWidthInCtbs를 갖는 코딩 트리 블록 래스터 및 타일 스캐닝 대화 과정을 적용시킴으로써 유래되고, 출력은 colWidth, CtbAddrRStoTS 및 TileId에 지정된다.
루마 샘플들 내의 유닛들의 i번째 타일 행의 폭을 지정하는 ColumnWidthInLumaSamples[i]의 값들은 colWidth[i]≪Log2CtbSize와 동일하게 설정된다.
0 내지 picWidthInMinCbs -1까지의 범위를 갖는 x와 0 내지 picHeightInMinCbs -1까지의 범위를 갖는 y를 갖는, 최소 코딩 블록들의 유닛들 내의 위치(x. y)로부터 z-스캔 순서 내의 최소 코딩 블록 주소까지의 대화를 지정하는, 어레이 MinCbAddrZS[x][y]는 하위조항 6.5.1에 지정된 것과 같이 입력으로서 Log2MinCbSize, Log2CtbSize, PicHeightInCtbs, PicWidthInCtbs, 및 벡터 CtbAddrRStoTS를 갖는 Z 스캐닝 순서 어레이 초기화 과정을 적용시킴으로써 유래되고, 출력은 MinCbAddrZS에 지정된다.
1과 동일한 loop_filter_across_tiles_enabled_flag는 타일 경계들을 가로질러 인-루프(in-loop) 필터링 연산들이 실행되는 것을 지정한다. 0과 동일한 loop_filter_across_tiles_enabled_flag는 타일 경계들을 가로질러 인-루프 필터링 연산들이 실행되지 않는 것을 지정한다. 인-루프 필터링 연산들은 블록화 제거 필터, 샘플 적응적 오프셋, 및 적응적 루프 필터 연산들을 포함한다. 존재하지 않을 때, loop_filter_across_tiles_enabled_flag의 값은 1과 동일한 것으로 추론된다.
1과 동일한 cabac_independent_flag는 슬라이스 내의 코딩 블록들의 콘텍스트 적응적 이진 산술 코딩(Context Adaptive Binary Arithmetic Coding, CABAC) 디코딩이 이전에 디코딩된 슬라이스의 어떠한 상태와도 독립적인 것을 지정한다. 1과 동일한 cabac_independent_flag는 슬라이스 내의 코딩 블록들의 콘텍스트 적응적 이진 산술 코딩 디코딩이 이전에 디코딩된 슬라이스의 어떠한 상태에 의존한다는 것을 지정한다. 존재하지 않을 때, cabac_independent_flag의 값은 0과 동일한 것으로 추론된다.
최소 코딩 블록 주소를 갖는 코딩 블록의 이용가능성을 위한 유도 과정은 다음과 같이 설명되었다:
이러한 과정에 대한 입력들은 다음과 같다:
- z-스캔 순서 내의 최소 코딩 블록 주소 minCbAddrZS
- z-스캔 순서 내의 현재 최소 코딩 블록 주소 currminCBAddrZS
이러한 과정의 출력은 z-스캔 순서(cbAvailable) 내의 최소 코딩 블록 주소(cbAddrZS)를 갖는 코딩 블록의 이용가능성이다.
이용가능성의 의미는 이러한 과정이 적용될 때 결정된다는 것에 유의하여야 한다.
그것의 크기와 관계없이, 어떠한 코딩 블록이 z-스캔 순서 내의 최소 코딩 블록 크기를 갖는 코딩 블록의 주소인, 최소 코딩 블록 주소와 관련된다는 것에 유의하여야 한다.
- 만일 다음의 조건들 중 하나 또는 그 이상이 사실이면, cbAvailable은 거짓(FALSE)으로 설정된다.
- minCbAddrZS는 0보다 작다.
- minCbAddrZS는 currMinCBAddrZS보다 크다.
- 최소 코딩 블록 주소(minCbAddrZS)를 갖는 코딩 블록은 현재 최소 코딩 블록(currMinCBAddrZS)을 갖는 코딩 블록과 다른 주소에 속하며 현재 최소 코딩 블록(currMinCBAddrZS)을 갖는 코딩 블록을 포함하는 슬라이스의 dependent_slice_flag는 0과 동일하다.
- 그렇지 않으면, cbAvailable은 사실(TRUE)로 설정된다.
[2]의 슬라이스 데이터를 위한 콘텍스트 적응적 이진 산술 코딩 파싱 과정은 다음과 같았다:
이러한 과정은 기술자 ae(v)를 갖는 특정 구문 요소들을 파싱할 때 적용된다.
이러한 과정에 대한 입력들은 구문 요소의 값 및 이전에 파싱된 구문 요소들의 값들의 요구이다.
이러한 과정의 출력은 구문 요소의 값이다.
슬라이스의 슬라이스 데이터의 파싱을 시작할 때, 콘텍스트 적응적 이진 산술 코딩 파싱 과정의 초기화 과정이 적용된다.
공간적 이웃 블록(T, 도 23)을 포함하는 코딩 트리 블록의 최소 코딩 블록 주소, ctbMINCbAddrT는 다음과 같이 현재 코딩 트리 블록이 상부-왼쪽 루마 샘플의 위치(x0, y0)를 사용하여 도출된다.
x= x0 + 2 ≪ Log2CtbSize - 1
y = y0 - 1
ctbMinCbAddrT = MinCbAddrZS[x ≫ Log2MinCbSize][y ≫ Log2MinCbSize]
변수(availableFlagT)는 입력으로서 ctbMinCbAddrT를 갖는 코딩 블록 이용가능성을 적용시킴으로써 획득된다.
코딩 트리의 파싱을 시작할 때, 다음의 순서화된 단계들이 적용된다.
1. 산술 디코딩 엔진은 다음과 같이 초기화된다.
- 만일 CtbAddrRS가 slice_address와 동일하면, dependent_slice_flag는 1과 동일하고 wntropy_config_reser_flag는 0과 동일하며, 다음이 적용된다.
- 콘텍스트 적응적 이진 산술 코딩 파싱 과정의 동기화 과정은 입력으로서 TableStateIdxDS 및 TableMPSValDS와 함께 적용된다.
- 종료 이전에 이진 결정들을 위한 디코딩 과정이 적용되고, 산술 디코딩 엔진을 위한 초기화 과정이 뒤따른다.
- 그렇지 않고 만일 tiles_or_entropy_coding_sync_idc가 2와 동일하고, CtbAddrRS%PicWidthInCtbs가 0과 동일하면, 다음이 적용된다.
- availableFlagT가 1과 동일할 때, 콘텍스트 적응적 이진 산술 코딩 파싱 과정을 위한 동기화 과정은 입력으로서 TableStateIdxWPP 및 TableMPSValWPP와 함께 적용된다.
- 종료 이전에 이진 결정들을 위한 디코딩 과정이 적용되고, 산술 디코딩 엔진을 위한 초기화 과정이 뒤따른다.
2. cabac_indenpendent_flag가 0과 동일하고 dependent_slice_flag가 1과 동일할 때, 또는 tiles_or_entropy_coding_sync_idc가 2와 동일할 때, 기억 과정은 다음과 같이 적용된다.
- tiles_or_entropy_coding_sync_idc가 2와 동일하고 CtbAddrRS%PicWidthInCtbs가 2와 동일할 때, 콘텍스트 적응적 이진 산술 코딩 파싱 과정의 기억 과정은 출력으로서 TableStateIdxWPP 및 TableMPSValWPP와 함께 적용된다.
- cabac_independent_flaf가 0과 동일하고, dependent_slice_flag가 1과 동일하며, 둥_of_slice_flag가 1과 동일하면, 콘텍스트 적응적 이진 산술 코딩 파싱 과정의 기억 과정은 출력으로서 TableStateIdxDS 및 TableMPSValDS와 함께 적용된다.
구문 요소들의 파싱은 다음과 같이 진행된다:
각각의 구문 요소의 요구된 값을 위하여 이진화가 도출된다.
구문 요소를 위한 이진화 및 파싱된 빈(bin)들의 시퀀스는 디코딩 과정 흐름을 결정한다.
변수(binIdx)에 의해 인덱싱되는, 구문 요소의 이진화의 각각의 빈을 위하여, 콘텍스트 지수(ctxIdx)가 유도된다.
각각의 ctxIdx를 위하여, 산술 디코딩 과정이 적용된다.
파싱된 빈들의 결과로서 생기는 시퀀스(b0..bbinIdx)는 각각의 빈의 디코딩 후에 이진화 과정에 의해 주어지는 빈 스트링(bin string)들의 세트와 비교된다. 시퀀스가 주어진 세트 내의 빈 스트링과 일치할 때, 상응하는 값이 구문 요소에 지정된다.
구문 요소의 값을 위한 요구가 구문 요소(pcm_flag)를 위하여 진행되고 pcm_flag의 디코딩된 값이 1과 동일한 경우에, 디코딩 엔진은 어떠한 pcm_alighment_zero_bit, num_subsequent_pcm, 및 모든 pcm_sample_luma와 pcm_sample_chroma 데이터의 디코딩 후에 초기화된다.
지금까지 설명된 디자인 프레임워크에서 다음의 문제점이 발생하였다.
디코딩 유닛들의 타이밍은 네트워크 추상 계층 유닛들이 인코더에 의해 이미 보내질, 저 지연 시나리오에서 데이터의 코딩과 전송 이전에 알려질 필요가 있으며, 인코더는 여전히 화상의 코딩 부분들, 즉 다른 서브-화상 디코딩 유닛들이다. 이는 액세스 유닛 내의 네트워크 추상 계층 유닛 순서만이 보조 향상 정보 메시지가 액세스 유닛 내의 비디오 코딩 계층(비디오 코딩 네트워크 추상 계층 유닛들)을 선행하도록 허용하기 때문이나, 그러한 저 지연 시나리오에서, 비-비디오 코딩 계층 네트워크 추상 계층 유닛들은 만일 인코더가 디코딩 유닛들의 인코딩을 시작하면, 이미 전송될 필요가 있다. 도 10b는 [2]에서 정의된 것과 같은 액세스 유닛의 구조를 도시한다. [2]는 아직 시퀀스 또는 스트림의 말단을 지정하지 않았으며, 따라서 액세스 유닛 내의 그것들의 존재는 잠정적이다.
게다가, 서브-화상과 관련된 네트워크 추상 계층 유닛들의 수는 또한 저 지연 시나리오에서 사전에 알려질 필요가 있는데, 그 이유는 화상 타이밍 보조 향상 정보 메시지가 이러한 정보를 포함하고 순응되어야만 하며 실제 화상을 인코딩하기 시작하기 전에 전송하기 때문이다. 화상 타이밍 보조 향상 정보 내의 디코딩 유닛 당 스그널링되는 것과 같이, 잠재적으로 네트워크 추상 계층 유닛 수를 따르기 위한 어떠한 필러 데이터 없이, 필러 데이터 네트워크 추상 계층 유닛들을 삽입하기를 꺼리는 애플리케이션 디자이너는 서브-화상 레벨에 대한 이러한 정보를 시그널링하기 위한 수단들이 필요하다. 이는 타이밍 보조 향상 정보 메시지 내에 주어진 파라미터들에 의해 액세스 유닛의 존재에서 현재 고정되는, 서브-화상 타이밍에도 적용된다.
드래프트 명세[2]의 또 다른 단점은 관심 영역(Region of Interest, ROI) 시그널링 또는 타일 크기 시그널링과 같은, 특정 애플리케이션을 위하여 필요한, 서브-화상 레벨의 많은 시그널링을 포함한다.
위에 설명된 문제점들은 고효율 비디오 코딩에 특정되지 않는다. 오히려, 이러한 문제점은 또한 비디오 코덱과 관련하여 발생한다. 도 11은 더 일반적으로, 짧은 종단간 지연에서 인코더(10)로부터 디코더(12)로 비디오(16)를 전송하기 위하여 한 쌍의 인코더(10)와 디코더(12)가 네트워크(14)를 거쳐 연결되는 비디오 전송 배경을 도시한다. 위에 이미 설명된 문제점은 다음과 같다. 인코더(10)는 실질적으로, 그러나 반드시는 아닌, 프레임들(18)의 재생 순서(20)를 뒤따르게 하는 특정 디코딩 순서에 따라 비디오(16)의 프레임들(18)의 시퀀스를 인코딩하고, 각각의 프레임(18) 내에 예를 들면 프레임들(18)의 타일-섹셔닝(tile-sectioning)을 갖거나 또는 갖지 않는 래스터 스캔 방식에서와 같은, 일부 정의된 방식으로 프레임들(18)의 프레임 영역을 통하여 이동한다. 디코딩 순서는 예를 들면, 예측 및/또는 엔트로피 코딩과 같은 인코더(10)에 의해 사용되는 코딩 기술들을 위한 정보의 이용가능성, 즉, 예측 또는 콘텍스트 선택을 위한 기초의 역할을 하는데 이용가능한 비디오(16)의 공간적으로 및/또는 시간적으로 이웃하는 부분들에 대한 정보의 이용가능성을 제어한다. 비록 인코더(10)가 비디오(16)의 프레임들(18)을 인코딩하기 위하여 병렬 처리를 사용할 수 있더라도, 인코더(10)는 현재 프레임과 같은, 특정 프레임(18)을 인코딩하기 위한 일부 시간이 반드시 필요하다. 도 11은 예를 들면, 인코더(10)가 현재 프레임(18)의 인코딩 부분(18a)을 이미 완료하였으나 현재 프레임(18)의 또 다른 부분(18b)은 아직 인코딩되지 않은 시간 순간을 도시한다. 인코더(10)가 아직 인코딩된 부분(18b)을 갖지 않기 때문에, 인코더(10)는 예를 들면, 레이트/왜곡 의미와 관련하여 최적을 달성하기 위하여 현재 프레임(18)의 인코딩을 위하여 이용가능한 비트레이트가 어떻게 현재 프레임(18)에 걸쳐 분포되어야만 하는지를 예측할 수 없다. 따라서, 인코더(10)는 단지 두 가지 선택만을 갖는다: 인코더(10)는 현재 프레임(18)을 위하여 이용가능한 비트레이트의 현재 프레임(18)이 미리 공간적으로 세분되는 슬라이스들 상으로의 거의 최적 분포를 추정하며, 따라서 추정이 틀릴 수 있다는 것을 수용하거나, 혹은 인코더(10)는 인코더(10)로부터 디코더(12)로 슬라이스들을 포함하는 패킷들을 전송하기 전에 현재 프레임(18)의 인코딩을 완결한다. 어떠한 경우에 있어서, 그것의 인코딩의 완결 이전에 현재 코딩된 프레임(18)의 슬라이스 패킷들의 어떠한 전송을 이용할 수 있도록 하기 위하여, 네트워크(14)는 코딩된 화상 버퍼 검색 시간들 형태의 각각의 그러한 슬라이스 패킷과 관련된 비트레이트들에 대해 알고 있어야만 한다. 그러나, 위에 나타낸 것과 같이, 비록 고효율 비디오 코딩의 현재 버전에 따라 인코더(10)가 서브-화상 영역들을 위한 디코더 버퍼 검색 시간(decoder buffer retrieval time)들의 정의를 사용함으로써 프레임들(18)에 걸쳐 분포된 비트레이트를 변경할 수 있더라도, 인코더(10)는 현재 프레임에 대하여 모든 데이터를 수집하는 각각의 액세스 유닛의 시작에서 네트워크(14)를 거쳐 디코더(12)로 그러한 정보를 전송하거나 또는 보낼 필요가 있으며, 이에 의해 인코더(10)가 방금 설명된 두 가지 대안, 저 지연에 이르게 하나 악화된 레이트/왜곡을 갖는 한 가지, 최적 레이트/왜곡에 이르게 하나 증가된 종단간 지연을 갖는 나머지 중에서 선택하도록 권고한다.
따라서, 지금까지 인코더가 현재 프레임의 나머지 부분(18b)을 인코딩하기 전에 현재 프레임의 부분들(18)에 대한 패킷들을 전송하기 시작할 수 있는 그러한 저 지연의 달성을 가능하게 하는 비디오 코덱은 존재하지 않으며, 디코더는 인코더(10)로부터 디코더(12)로 보내진 비디오 데이터 스트림 내에 전달되는 디코딩 버퍼 검색 타이밍을 뒤따르게 하는, 네트워크(14)에 의해 예비 부분들(18a)에 대한 패킷들의 이러한 중간 전송을 이용할 수 있다. 예를 들면 그러한 저 지연을 이용할 수 있는 애플리케이션들은 바람직하게는 예를 들면, 자동화 또는 검사 목적 등을 위한 가공물 또는 제조 감시와 같은, 산업용 애플리케이션들을 포함한다. 지금까지, 네트워크(14) 내의 중간 네트워크 엔티티들이 패킷들의 내부, 즉 슬라이스 구문을 깊이 검사할 필요 없이 데이터 스트림으로부터 그러한 정보를 수집할 수 있도록 하기 위하여 현재 프레임이 구조화되는 타일들에 대한 패킷들의 관련성 상의 디코딩 면, 및 현재 프레임의 관심 있는 영역들을 알리기 위한 만족스런 해결책이 존재하지 않는다.
따라서, 본 발명의 목적은 낮은 종단간(end-to-end) 지연을 허용하는데 더 효율적이거나 및/또는 관심 있는 영역 또는 특정 타일들에 대한 데이터 스트림의 부분들의 식별을 더 쉽게 제공하는 비디오 데이터 스트림 코딩 개념을 제공하는 것이다.
본 발명의 목적은 첨부된 독립항들의 주제에 의해 달성된다.
본 발명이 기초로 하는 한 가지 개념은 디코더 검색 타이밍 정보, 관심 영역 정보 및 타일 식별 정보가 미디어 인식 네트워크 요소(media-aware network element, MANE)들 또는 디코더들과 같은 네트워크 엔티티들에 의한 쉬운 접근을 허용하는 레벨에서 비디오 데이터 스트림 내에 전달되어야만 하고, 그러한 레벨에 도달하기 위하여, 그러한 형태들의 정보는 비디오 데이터 스트림의 액세스 유닛들의 패킷 내로 배치된(interspersed) 패킷들에 의해 비디오 데이터 스트림 내에 전달되어야만 한다는 것을 기초로 한다. 일 실시 예에 따르면, 배치된 패킷들은 제거가능한 패킷 형태인데, 즉 이러한 배치된 패킷들의 제거는 비디오 데이터 스트림을 거쳐 전달되는 비디오 콘텐츠를 완전하게 복원하는 디코더의 능력을 유지시킨다.
본 발명의 일 양상에 따르면, 현재 액세스 유닛 내의 비디오 데이터 스트림 내의 각각의 타이밍 제어 패킷을 뒤따르게 하는 페이로드 패킷들에 의해 형성되는 유닛들을 디코딩하기 위한 디코더 버퍼 검색 시간들에 대한 정보를 전달하기 위하여 배치된 패킷들을 사용함으로써 낮은 종단간 지연의 달성이 더 효율적으로 제공된다. 이러한 측정에 의해, 인코더는 현재 프레임을 인코딩하는 동안에 디코더 버퍼 검색 시간들을 그때그때 결정할 수 있고, 이에 의해 한편으로는 현재 프레임을 인코딩하는 동안에 실제로 타이밍 제어 패킷들과 함께 프리픽스된(prefixed), 이미 페이로드 패킷들로 인코딩되었거나 전송되었거나, 또는 보내진 현재 프레임의 부분을 위하여 이용된 타이밍 제어 패킷들을 연속적으로 결정할 수 있고 따라서 아직 인코딩되지 않은 현재 프레임의 나머지 부분에 걸쳐 현재 프레임을 위하여 이용가능한 나머지 비트레이트의 분포를 적용할 수 있다. 이러한 측정에 의해, 이용가능한 비트레이트가 효율적으로 이용되고 그럼에도 불구하고 지연은 짧게 유지되는데 그 이유는 인코더가 현재 프레임의 완전한 디코딩을 완료하는 것을 기다릴 필요가 없기 때문이다.
본 발명의 또 다른 양상에 따르면, 액세스 유닛의 페이로드 패킷 내로 배치되는 패킷들은 관심 있는 영역들에 대한 정보를 전달하도록 이용되고, 이에 의해 위에 설명된 것과 같이 네트워크 엔티티들에 의해 이러한 정보의 쉬운 접근을 가능하게 하는데 그 이유는 중간 페이로드 패킷들을 검사할 필요가 없기 때문이다. 또한, 인코더는 서브-부분(sub-portion)들 및 각각의 페이로드 패킷들로의 현재 프레임의 세분을 미리 결정할 필요 없이 그때그때 현재 프레임을 인코딩하는 동안에 관심 영역에 속하는 패킷들을 여전히 자유롭게 결정한다. 게다가, 배치된 패킷들이 제거가능한 패킷 형태인 실시 예에 따르면, 관심 영역 정보는 관심 영역 정보에 관심이 없거나, 또는 이를 처리할 수 없는 비디오 데이터 스트림의 수신자(recipient)에 의해 무시될 수 있다.
배치된 패킷들이 액세스 유닛 내의 타일 특정 패킷들이 속하는 정보를 전달하는 또 따른 양상에 따라 유사한 개념들이 본 발명에서 사용된다.
본 발명의 바람직한 구현들이 종속항들의 주제이다. 본 발명의 바람직한 실시 예들이 도면들을 참조하여 아래에 더 상세히 설명된다.
도 1 내지 10b는 고효율 비디오 코딩의 현황을 도시하는데, 도 1은 버퍼링 기간 보조 향상 정보 메시지 구문을 도시하고, 도 2는 화상 타이밍 보조 향상 정보 메시지 구문을 도시하며, 도 3은 비디오 사용성 정보 파라미터 구문을 도시하며, 도 4는 가상 참조 디코더 파라미터 구문을 도시하며, 도 5는 필러 데이터 원시 바이트 시퀀스 페이로드 구문을 도시하며, 도 6은 가상 참조 디코더 적합성 검사를 위한 바이트 스트림들과 네트워크 추상 계층 유닛 스트림들의 구조를 도시하며, 도 7은 가상 참조 디코더 버퍼 모델을 도시하며, 도 8은 슬라이스 헤더 구문을 도시하며, 도 9는 화상 파라미터를 도시하며, 도 10a는 가능하게는 현재 코딩 트리 블록에 대한 코딩 트리 블록 이용가능성 유도 과정을 적용하는데 사용되는 공간적으로 이웃하는 코드 트리 블록(T)을 개략적으로 도시하며 도 10b는 액세스 유닛의 구조의 정의를 도시한다.
도 11은 비디오 데이터 스트림 전송에서 발생하는 문제점들을 설명하기 위하여 네트워크를 거쳐 연결된 한 쌍의 인코더와 디코더를 개략적으로 도시한다.
도 12는 타이밍 제어 패킷들을 사용하는 일 실시 예에 따른 인코더의 개략적인 블록 다이어그램을 도시한다.
도 13은 일 실시 예에 따라 도 12의 인코더의 연산 방식을 나타내는 플로우 다이어그램을 도시한다.
도 14는 도 12에 따른 인코더에 의해 발생된 비디오 데이터 스트림과 관련하여 그것의 기능성을 설명하기 위하여 디코더의 일 실시 예의 블록 다이어그램을 도시한다.
도 15는 관심 영역 패킷들을 사용하는 또 다른 실시 예에 따른 인코더, 네트워크 엔티티 및 비디오 데이터 스트림을 나타내는 개략적인 블록 다이어그램을 도시한다.
.도 16은 타일 식별 패킷들을 사용하는 또 다른 실시 예에 따른 인코더, 네트워크 엔티티 및 비디오 데이터 스트림을 나타내는 개략적인 블록 다이어그램을 도시한다.
도 17은 일 실시 예에 따른 액세스 유닛의 구조를 도시한다. 쇄선은 임의 슬라이스 프리픽스(slice prefix) 네트워크 추상 계층 유닛의 경우를 반영한다.
도 18은 관심 있는 시그널링의 영역 내의 타일들의 사용을 도시한다.
도 19는 제 1 간단한 구문/버전 1을 도시한다.
도 20은 보조 향상 정보 메시지 개념을 제외하고 tile_id 시그널링, 디코딩 유닛 출발 식별자, 슬라이드 프리픽스 식별자 및 슬라이스 헤더 데이터를 포함하는 확장된 구문/버전 2를 도시한다.
도 21은 네트워크 추상 계층유닛 형태 코드 및 네트워크 추상 계층 유닛 형태 계급들을 도시한다.
도 22는 현재 버전에 따라 슬라이스 헤더 내에 존재하는 특정 구문 요소들이 slice_header_data()로 언급되는, 낮은 계층 구문 요소로 이동되는, 슬라이스 헤더를 위한 가능한 구문을 도시한다.
도 23은 슬라이스 헤더로부터 제거된 모든 구문 요소가 구문 요소 슬라이스 헤더 데이터를 통하여 시그널링되는 테이블을 도시한다.
도 24는 보조 향상 정보 메시지 구문을 도시한다.
도 25는 새로운 슬라이스 또는 서브-화상 보조 향상 정보 메시지 형태들을 도입하기 위하여 적응된 보조 향상 정보 페이로드 구문을 도시한다.
도 26은 서브-화상 버퍼링 보조 향상 정보 메시지를 위한 일례를 도시한다.
도 27은 서브-화상 타이밍 보조 향상 정보 메시지를 위한 일례를 도시한다.
도 28은 서브-화상 슬라이스 정보 보조 향상 정보 메시지가 어떻게 보이는지를 도시한다.
도 29는 서브-화상 타일 정보 보조 향상 정보 메시지를 위한 일례를 도시한다.
도 30은 서브-화상 타일 크기 정보 보조 향상 정보 메시지를 위한 구문 예를 도시한다.
도 31은 각각의 관심 영역이 개별 보조 향상 정보 메시지 내에 시그널링되는 관심 있는 보조 향상 정보 메시지의 영역을 위한 구문 예의 제 2 변형을 도시한다.
도 32는 모든 관심 영역이 단일 보조 향상 정보 메시지 내에 시그널링되는 관심 있는 보조 향상 정보 메시지의 영역을 위한 구문 예의 제 2 변형을 도시한다.
도 33은 일 실시 예에 따른 타이밍 제어 패킷을 위한 가능한 구문을 도시한다.
도 34는 일 실시 예에 따른 타일 식별 패킷을 위한 가능한 구문을 도시한다.
도 35 내지 38은 일 실시 예에 따라 서로 다른 세분 설정들에 따른 화상의 가능한 세분들을 도시한다.
도 39는 액세스 유닛의 페이로드 패킷들 사이에 배치되는 타이밍 제어 패킷들을 사용하는 일 실시 예에 따라 비디오 데이터 스트림 중에서의 일부분의 일례를 도시한다.
도 12와 관련하여, 본 발명의 일 실시 예에 따른 인코더(10) 및 그것의 운용 방식이 설명된다. 인코더(10)는 비디오 콘텐츠(16)를 비디오 데이터 스트림(22)으로 인코딩하도록 구성된다. 인코더는 비디오 콘텐츠(16)의 프레임들/화상들(18)의 서브-부분들의 유닛들로 이를 수행하도록 구성되며, 서브-부분들은 예를 들면, 화상들(18)이 분할되는 슬라이스들(24), 또는 예를 들면, 타일들(26) 또는 파면 병렬 처리(WPP) 서브스트림들(28)과 같은, 일부 다른 공간적 세그먼트들일 수 있으며, 이들 모두는 인코더(10)가 타일 또는 파면 병렬 처리를 지원할 수 있거나, 또는 서브-부분들이 슬라이스들일 필요가 있다는 가정보다는 단지 설명의 목적을 위하여 도 12에 도시된다.
서브-부분들(24)의 유닛들로 비디오 콘텐츠(16)를 인코딩하는데 있어서, 인코더(10)는 래스터 스캔 순서에 따라, 예를 들면 화상들(18) 중에서 정의되는 재생 순서(20)와 반드시 일치하지는 않는 화상 디코딩 순서에 따라 비디오(16)의 화상들(18)을 가로지르고 화상들(18)이 분할되는 각각의 화상(18) 블록들 내에서 가로지르는, 서브-부분들(24) 중에서 정의되는 디코딩 순서(또는 코딩 순서)를 따를 수 있으며, 서브-부분들(24)은 디코딩 순서를 따라 그러한 블록들의 연속적인 런(run)을 표현한다. 특히, 인코더(10)는 예를 들면 예측 및/또는 엔트로피 콘텍스트를 결정하기 위한 것과 같이, 예측 코딩 및/또는 엔트로피 코딩 내의 그러한 이웃하는 부분들을 설명하는 속성들을 사용하기 위하여 현재 인코딩되려는 부분들의 공간적으로 및/또는 시간적으로 이웃하는 부분들의 이용가능성을 결정하는데 있어서 이러한 디코딩 순서를 따르도록 구성될 수 있다: 단지 비디오의 이전에 방문된(코딩된/디코딩된) 부분들만이 이용가능하다. 그렇지 않으면, 방금 언급된 속성들은 디폴트 값들로 설정되거나 또는 일부 다른 대체 측정들이 이루어진다.
다른 한편으로, 인코더(10)는 디코딩 순서를 따라 서브-부분들(24)을 순차적으로 인코딩할 필요가 없다. 오히려, 인코더(10)는 인코딩 고장의 속도를 높이거나, 또는 더 많은 복잡한 인코딩을 실시간으로 실행할 수 있도록 하기 위하여 병렬 처리를 사용할 수 있다. 유사하게, 인코더(10)는 디코딩 순서를 따라 서브-부분들을 인코딩하는 데이터를 전송하거나 보내도록 구성될 수 있거나 또는 구성될 수 없다. 예를 들면, 인코더(10)는 예를 들면, 병렬 처리 때문에 방금 언급된 디코딩 순서로부터 벗어날 수 있는 인코더(10)에 의해 서브-부분들의 인코딩이 완결되는 순서에 따른 것과 같은, 일부 다른 순서에서 인코딩된 데이터를 출력/전송할 수 있다.
네트워크를 통한 전송에 적합한 서브-부분들(24)의 인코딩된 버전들을 제공하기 위하여, 인코더(10)는 각각의 서브-부분(24)을 비디오 데이터 스트림(22)의 패킷들의 시퀀스들의 하나 또는 그 이상의 페이로드 패킷들로 인코딩한다. 서브-부분들(24)이 슬라이스들인 경우에, 인코더(10)는 예를 들면, 각각의 슬라이스 데이터, 즉 각각의 인코딩된 데이터를 네트워크 추상 계층 유닛과 같은 하나의 페이로드 패킷으로 표현하도록 구성될 수 있다. 이러한 패킷화는 네트워크를 통한 전송에 적합한 비디오 데이터 스트림(22)을 제공하는 역할을 한다. 따라서, 패킷들은 비디오 데이터 스트림(22)이 발생할 수 있는 가장 작은 유닛들, 즉 네트워크를 거쳐 수신자로의 전송을 위하여 인코더(10)에 의해 개별적으로 보내질 수 있는 가장 작은 유닛들을 표현할 수 있다.
그것들 사이에 배치되고 아래에 언급되는 페이로드 패킷들과 타이밍 제어 패킷들 이외에, 다른 패킷들, 즉, 필 데이터 패킷(fill data packet)들, 드물게 변하는 구문 요소들을 전달하기 위한 화상 또는 시퀀스 파라미터 세트 패킷들 혹은 파일 끝(end of file, EOF) 또는 액세스 유닛 끝(AUE) 패킷들 등과 같은, 다른 형태의 패킷들이 또한 존재할 수 있다.
인코더는 패킷들의 시퀀스가 액세스 유닛들(30)의 시퀀스로 세분되고 각각의 액세스 유닛이 비디오 콘텐츠(16)의 하나의 화상(18)과 관련하여 페이로드 패킷들(32)을 수집하는 것과 같이 페이로드 패킷들의 인코딩을 실행한다. 즉, 비디오 데이터 스트림(22)을 형성하는 패킷들의 시퀀스(34)는 화상들(18) 중의 각각의 하나와 관련된, 액세스 유닛들(30)로 불리는, 비-오버래핑 부분들로 각각 세분된다. 액세스 유닛들(30)의 시퀀스는 액세스 유닛들(30)이 관련되는 화상들(18)의 디코딩 순서를 따를 수 있다. 도 12는 예를 들면, 도시된, 데이터 스트림(22)의 부분의 중간에 배치되는 액세스 유닛(30)이 화상(18)이 세분되는 서브-부분(24) 당 하나의 페이로드 패킷을 포함하는 것을 나타낸다. 즉, 각각의 페이로드 패킷(32)은 상응하는 서브-부분(24)을 지닌다. 인코더(10)는 도 12에 도시된 중간 액세스 유닛과 같은, 적어도 일부 액세스 유닛(30)이 두 개 또는 그 이상의 디코딩 유닛으로 세분되도록 하기 위하여 타이밍 제어 패킷들이 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하도록 타이밍 제어 패킷들(36)을 패킷들의 시퀀스(34) 내로 배치하도록 구성될 수 있으며, 각각의 타이밍 제어 패킷은 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 시그널링하고, 이들의 페이로드 패킷들(32)은 패킷들의 시퀀스(34) 내의 각각의 타이밍 제어 패킷을 따른다. 바꾸어 말하면, 인코더(10)는 각각의 타이밍 제어 패킷(36)에 의해 프리픽스된 페이로드 패킷들의 각각의 서브시퀀스를 위하여 시그널링하고 디코딩 유닛(38)을 형성하는 각각의 타이밍 제어 패킷(36)을 갖는 하나의 액세스 유닛(30) 내의 페이로드 패킷들(32)의 시퀀스의 서브시퀀스들을 프리픽스한다. 도 12는 예를 들면, 각각의 패킷(32)이 액세스 유닛(30)의 디코딩 유닛(38)의 제 1 페이로드 패킷을 표현하는 경우를 도시한다. 도 12에 도시된 것과 같이, 각각의 디코딩 유닛(38)을 위하여 소비된 데이터 또는 비트레이트의 양은 다양하며 디코더 버퍼 검색 시간은 디코딩 유닛(38)의 디코더 버퍼 검색 시간이 바로 선행하는 디코딩 유닛(38)의 시간 제어 패킷(36) 및 이러한 바로 선행하는 디코딩 유닛(38)을 위하여 소비된 비트레이트와 상응하는 시간 간격에 의해 시그널링된 디코더 버퍼 검색 시간을 따를 수 있다는 점에서 디코딩 유닛들(38) 중에서의 이러한 비트레이트 변경과 관련될 수 있다.
즉, 인코더(10)는 도 13에 도시된 것과 같이 작동할 수 있다. 특히, 위에서 언급된 것과 같이, 인코더(10)는 단계 40에서, 현재 화상(18)의 현재 서브-부분(24)을 인코딩하도록 만들 수 있다. 이미 언급된 것과 같이, 인코더(10)는 화살표(42)에 의해 도시된 것과 같이 앞서 언급된 디코딩 순서로 서브-부분들(24)을 통하여 순차적으로 순환할 수 있거나, 또는 인코더(10)는 몇몇 "현재 서브-부분들(24)"을 동시에 인코딩하기 위하여 파면 병렬 처리 및/또는 타일 처리와 같은 일부 병렬 처리를 사용할 수 있다. 병렬 처리의 사용과 관계없이, 인코더(10)는 단계 40에서 방금 인코딩된 하나 또는 몇몇의 서브-부분들 중에서 디코딩 유닛을 형성하고 인코더(10)가 이러한 디코딩 유닛에 대한 디코더 버퍼 검색 시간을 설정하고 이러한 디코딩 유닛을 위하여 방금 설정된 디코더 버퍼 검색 시간을 시그널링하는 시간 제어 패킷으로 프리픽스된 이러한 디코딩 유닛을 전송하는 단계 44로 진행된다. 예를 들면, 인코더(10)는 예를 들면, 만약 있다면, 이러한 디코딩 유닛 내의 모든 다른 중간 패킷, 즉 "프리픽스 패킷들"을 포함하는 현재 디코딩 유닛을 형성하는 페이로드 패킷들로 인코딩된 서브-부분들을 인코딩하기 위하여 소비된 비트레이트를 기초로 하여 단계 44에서 디코더 버퍼 검색 시간을 결정할 수 있다.
그리고 나서, 단계 46에서, 인코더(10)는 단계 44에서 방금 전송된 디코딩 유닛을 위하여 소비된 비트레이트를 기초로 하여 이용가능한 비트레이트를 적용할 수 있다. 만일 예를 들면 단계 44에서 방금 전송된 디코딩 유닛 내의 화상 콘텐츠가 압축 비율과 관련하여 상당히 복잡하였으면, 그때 인코더(10)는 예를 들면, 비디오 데이터 스트림(22)을 전송하는 네트워크와 관련하여 직면한 현재 대역폭 상황을 기초로 하여 결정된 일부 외부에 설정된 타겟 비트레이트를 따르기 위하여 그 다음 디코딩 유닛을 위하여 이용가능한 비트레이트를 감소시킬 수 있다. 단계 40 내지 46은 그리고 나서 반복된다. 이러한 측정에 의해, 화상들(18)이 인코딩되고 각각 상응하는 타이밍 제어 패킷들에 의해 프리픽스된, 디코딩 유닛의 유닛들로 전송, 즉 보내진다.
바꾸어 말하면, 인코더(10)는 비디오 콘텐츠(16)의 현재 화상(18)을 인코딩하는 동안에, 현재 화상(18)의 현재 서브-부분(24)을 현재 디코딩 유닛(38)의 현재 페이로드 패킷(32)으로 인코딩하고, 제 1 시간 순간에서, 현재 타이밍 제어 패킷(36)에 의해 시그널링된 디코더 버퍼 검색 시간의 설정과 함께 데이터 스트림 내에서, 현재 타이밍 제어 패킷(36)으로 프리픽스된 현재 디코딩 유닛(38)을 전송하며, 단계 46으로부터 단계 40으로 다시 되돌림으로써, 제 1 시간 순간(제 1 시간 방문 단계 44)보다 늦게 제 2 시간 순간(제 2 시간 방문 단계 40)에서 현재 화상(18)의 또 다른 서브-부분(24)을 인코딩한다.
인코더가 이러한 인코딩 유닛이 속하는 현재 화상의 나머지를 인코딩하기 전에 디코딩 유닛을 보낼 수 있기 때문에, 인코더(10)는 종단간 지연을 낮출 수 있다. 다른 한편으로, 인코더(10)는 이용가능한 비트레이트를 낭비할 필요가 없는데, 그 이유는 인코더(10)가 현재 화상의 콘텐츠의 특정 본질 및 복잡도의 공간적 분포에 반응할 수 있기 때문이다.
다른 한편으로, 또한 인코더로부터 디코더로 비디오 데이터 스트림(22)을 전송하는 책임이 있는, 중간 네트워크 엔티티들은 인코더(10)에 의한 디코딩 유닛 방식의 인코딩과 전송의 장점을 획득하도록 비디오 데이터 스트림(22)을 수신하는 어떠한 디코더도 디코딩 유닛들을 시간에 맞게 수신하는 것을 보장하기 위하여 타이밍 제어 패킷들(36)을 사용할 수 있다. 예를 들면, 비디오 데이터 스트림(22)을 디코딩하기 위한 디코더의 일례를 도시한 도 14가 참조된다. 디코더(12)는 인코더(10)가 디코더(12)로 비디오 데이터 스트림(22)을 전송한 네트워크를 거쳐 코딩된 화상 버퍼(CPB, 48)에서 비디오 데이터 스트림(22)을 수신한다. 특히, 네트워크(14)가 저 지연 적용을 지원할 수 있는 것으로 추정되기 때문에, 네트워크(14)는 비디오 데이터 스트림(22)의 시퀀스(34)를 디코더(12)의 코딩된 화상 버퍼(48)로 전달하기 위하여 디코더 버퍼 검색 시간들을 검사하고 따라서 각각의 디코딩 유닛은 각각의 디코딩 유닛을 프리픽싱하는 타이밍 제어 패킷에 의해 시그널링된 디코더 버퍼 검색 시간에 앞서 코딩된 화상 버퍼(48) 내에 존재한다. 이러한 측정에 의해, 디코더는 스톨링(stalling) 없이, 즉 코딩된 화상 버퍼(48) 내의 이용가능한 페이로드 패킷들을 모두 소비하지 않고, 완전한 액세스 유닛들보다 오히려 디코딩 유닛들의 유닛들 내의 디코더의 코딩된 화상 버퍼(48)를 비우기 위하여 시간 제어 패킷들 내의 디코더 버퍼 검색 시간들을 사용할 수 있다. 도 14는 예를 들면, 설명의 목적을 위하여, 입력이 비디오 데이터 스트림(22)을 수신하는, 코딩된 화상 버퍼(48)의 출력에 연결되는 것으로서 처리 유닛(50)을 도시한다. 인코더(10)와 유사하게, 디코더(12)는 예를 들면 병렬 처리/디코딩 및/또는 파면 병렬 처리/디코딩의 사용과 같은, 병렬 처리를 실행할 수 있다.
아래에 더 상세히 설명될 것과 같이, 언급된 디코더 버퍼 검색 시간들은 어느 정도까지는 반드시 디코더(12)의 코딩된 화상 버퍼(48)에 대한 검색 시간들을 적용할 필요는 없다. 오히려, 시간 제어 패킷들은 부가적으로 또는 대안으로서, 디코더(12)의 상응하는 디코딩된 화상 버퍼의 이미 디코딩된 화상 데이터의 검색을 조종할 수 있다. 도 14는 예를 들면 비디오 데이터 스트림(22)에 의한 초리 유닛(50)에 의해 획득되는 것과 같이, 비디오 콘텐츠의 디코딩된 버전이 디코딩 유닛들의 디코딩된 버전들의 유닛들 내에 버퍼링되는, 즉 저장되고 출력되는 디코더 화상 버퍼를 포함하는 것으로서 디코더(12)를 도시한다. 디코더의 디코딩된 화상 버퍼(22)는 따라서 디코더(12)의 출력과 처리 유닛(50)의 출력 사이에 연결될 수 있다. 디코딩된 화상 버퍼(52)로부터 디코딩 유닛들의 디코딩된 버전들을 출력하기 위하여 검색 시간들을 설정하는 능력을 가짐으로써, 인코더(10)는 그때그때, 즉 현재 화상을 인코딩하는 동안에, 심지어 화상 비율 또는 프레임 비율보다 작은 입상도에서도 디코딩 면에서 비디오 콘텐츠의 재생 또는 종단간, 재생의 지연을 제어하기 위한 기회가 주어진다. 명백하게, 인코딩 면에서 각각의 화상(18)의 많은 양의 서브-부분들(24)로의 과-분할(over-segmenting)은 비록 다른 한편으로, 종단간 지연이 최소화될 수 있더라도, 비디오 데이터 스트림(22)을 전송하기 위한 비트레이트에 부정적으로 영향을 미칠 수 있는데 그 이유는 그러한 디코딩 유닛을 인코딩하고 전송하며 디코딩하고 출력하는데 필요한 시간이 최소화될 수 있기 때문이다. 다른 한편으로, 서브-부분들(24)의 크기의 증가는 종단간 지연을 증가시킨다. 따라서 위해(compromise)가 발견되어야만 한다. 디코딩 유닛들의 유닛들 내의 서브-부분들(24)의 디코딩된 버전의 출력 타이밍을 조정하기 위한 방금 언급된 디코더 버퍼 검색 시간들의 사용은 디코딩 면에서 인코더(10) 또는 일부 다른 유닛이 현재 화상의 콘텐츠를 통하여 공간적으로 이러한 위해를 적용하는 것을 가능하게 한다. 이러한 측정에 의해, 현재 화상 콘텐츠를 가로질러 공간적으로 변하는 그러한 방법으로 종단간 지연을 제어하는 것이 가능할 수 있다.
위에 설명된 실시 예들을 구현하는데 있어서, 타이밍 제어 패킷들로서, 제거가능한 패킷 형태의 패킷들을 사용하는 것이 가능하다. 제거가능한 패킷 형태의 패킷들은 반드시 디코딩 면에서 비디오 콘텐츠를 복원하기 위한 것은 아니다. 다음에서, 그러한 패킷들은 보조 향상 정보 패킷들로 불린다. 제거가능한 패킷 형태의 또 다른 패킷들이 또한 존재할 수 있는데, 즉 만일 스트림에서 전송되면, 중복 패킷들과 같은 또 다른 형태의 제거가능한 패킷들이 존재할 수 있다. 또 다른 대안으로서, 타이밍 제어 패킷들은 특정 제거가능한 패킷 형태의 패킷들일 수 있으나, 부가적으로 특정 보조 향상 정보 패킷 형태 필드를 지니는 패킷들일 수 있다.예를 들면, 타이밍 제어 패킷들은 보조 향상 정보 패킷들일 수 있으며, 각각의 보조 향상 정보 패킷은 하나 또는 몇몇 보조 향상 정보 메시지를 지니고, 특정 형태의 보조 향상 정보 메시지를 포함하는 그러한 보조 향상 정보 패킷들은 앞서 언급된 타이밍 제어 패킷들을 형성한다.
따라서, 또 다른 실시 예에 따라 도 12 내지 14와 관련하여 지금까지 설명된 실시 예는 고효율 비디오 코딩 상에 적용되고, 이에 의해 낮은 종단간 지연을 달성하는데 더 효율적인 고효율 비디오 코딩을 제공하기 위한 가능한 개념을 형성한다. 그렇게 하는데 있어서, 위에 언급된 패킷들은 네트워크 추상 계층 유닛들에 의해 형성되고 앞서 언급된 페이로드 패킷들은 위에 언급된 서브-부분들을 형성하는 슬라이스들을 갖는 네트워크 추상 계층 유닛 스트림의 비디오 코딩 계층 네트워크 추상 계층 유닛들이다.
그러나, 그러한 더 상세한 실시 예의 설명 전에, 배치된 패킷들이 효율적인 방식으로 비디오 데이터 스트림을 설명하는 정보를 전달하도록 사용되는 점에서 위에 설명된 실시 예들과 일치하나, 정보의 종류는 타이밍 제어 패킷들이 디코더 버퍼 검색 타이밍 정보를 전달한 위의 실시 예와 다른 또 다른 실시 예들이 설명된다. 아래에 더 설명되는 실시 예들에서, 액세스 유닛에 속하는 페이로드 패킷들 내로 배치된 패킷들을 거쳐 전달되는 정보의 종류는 관심 영역(ROI) 정보 및/또는 타일 식별 정보에 관한 것이다. 아래에 더 설명되는 실시 예들은 도 12 내지 14와 관련하여 설명된 실시 예들과 조합되거나 또는 조합되지 않을 수 있다.
도 15는 타이밍 제어 패킷들의 배치 및 도 15의 인코더(10)에 선택사항인, 도 13과 관련하여 위에서 설명된 기능성을 제외하고는, 도 12와 관련하여 위에서 설명된 것과 유사하게 작동하는 인코더(10)를 도시한다. 그러나, 도 15의 인코더(10)는 마치 도 11과 관련하여 위에서 설명된 것과 같이 비디오 콘텐츠(16)를 비디오 콘텐츠(16)의 화상들(18)의 서브-부분들(24)의 유닛들 내의 비디오 데이터 스트림(22)으로 인코딩하도록 구성된다. 비디오 콘텐츠(16)를 인코딩하는데 있어서, 인코더(10)는 비디오 데이터 스트림(22)과 함께, 관심 영역(ROI, 60) 상의 정보를 디코딩 면에 전달하는데 관심이 있다. 관심 영역(60)은 예를 들면 디코더가 특별히 주목해야만 하는, 현재 화상(18)의 공간적 부-영역이다. 관심 영역(60)의 공간적 위치는 사용자 입력에 의한 것과 같이, 쇄선(62)에 의해 도시된 것과 같이, 외부로부터 인코더(10)로 입력될 수 있거나, 혹은 현재 화상(18)의 인코딩 동안에 그때그때, 인코더(10) 또는 일부 다른 엔티티에 의해 자동으로 결정될 수 있다. 어떠한 경우에도, 인코더(10)는 다음이 문제점에 직면한다: 관심 영역(60)의 위치의 표시는 원칙적으로 인코딩에 문제가 되지 않는다. 이를 수행하기 위하여, 인코더(10)는 데이터 스트림(22) 내의 관심 영역(60)의 위치를 쉽게 표시할 수 있다. 그러나, 이러한 정보를 쉽게 액세스하도록 제공하기 위하여, 도 15의 인코더(10)는 인코더(10)가 공간적으로 관심 영역(60)의 외부 및 내부로, 온라인 기준으로, 현재 화상의 서브-부분들(24) 및/또는 서브-부분들(24)이 패킷화되는 페이로드 패킷들의 수로의 분할을 자유롭게 선택하기 위하여 액세스 유닛의 페이로드 패킷들 사이의 관심 영역 패킷들의 배치를 사용한다. 배치되는 관심 영역 패킷들을 사용하여, 어떠한 네트워크 엔티티도 관심 영역에 속하는 페이로드 패킷들을 쉽게 식별할 수 있다. 다른 한편으로, 이러한 관심 영역 패킷들을 위하여 제거가능한 패킷 형태를 사용하는 경우에, 어떠한 네트워크 엔티티에 의해서도 패킷들은 쉽게 무시될 수 있다.
도 15는 액세스 유닛(30)의 페이로드 패킷들(32) 사이의 관심 영역 패킷들(64)의 배치를 위한 일 실시 예를 도시한다. 관심 영역 패킷(64)은 인코딩된 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34) 내에 관심 영역(60)과 관련된, 즉 관심 영역을 인코딩하는 데이터가 포함되는 것을 나타낸다. 관심 영역 패킷(64)이 관심 영역(60)의 위치를 표시하는 방법은 다양한 방법으로 구현될 수 있다. 예를 들면, 관심 영역 패킷(64)의 순수한 존재/발생은 시퀀스(34)의 순차적 순서를 뒤따르게 하는, 즉, 프리픽스된 페이로드 패킷들에 속하는, 하나 또는 그 이상의 다음의 페이로드 패킷 내의 관심 영역(60)에 대하여 인코딩된 데이터의 통합을 나타낼 수 있다. 대안으로서, 관심 영역 패킷(64) 내부의 구문 요소는 하나 또는 그 이상의 다음의 페이로드 패킷(32)이 관심 영역(60)에 속하는지, 즉 관심 영역(60)을 인코딩하는지를 나타낼 수 있다. 많은 수의 분산이 또한 각각의 관심 영역 패킷(64)의 "범위"에 대한 가능한 변이들, 즉 하나의 관심 영역 패킷(64)에 의해 프리픽스된 페이로드 패킷들의 수에서 유래한다. 예를 들면, 하나의 관심 영역 패킷 내의 관심 영역(60)에 대한 어떠한 인코딩된 데이터의 통합 또는 비-통합의 표시는 그 다음의 관심 영역 패킷(64)의 발생까지 시퀀스(34)의 순차적 순서를 뒤따르게 하는 모든 페이로드 패킷(32)과 관련될 수 있거나, 또는 단지 바로 다음의 페이로드 패킷(32), 즉 시퀀스(34)의 순차적 순서로 각각의 관심 영역 패킷(64) 바로 다음의 페이로드 패킷(32)과 관련될 수 있다. 도 15에서, 그래프(66)는 바람직하게는 패킷들의 시퀀스를 따라 초기에 발생하는 무엇이든 그 다음의 관심 영역 패킷(64)의 발생까지 각각의 관심 영역 패킷(64) 하류에 발생하는 모든 페이로드 패킷(32) 또는 현재 액세스 유닛(30)의 단부에 관하여, 관심 영역 패킷들(64)이 관심 영역 관련성, 즉 관심 영역(60)에 대한 어떠한 인코딩된 데이터의 통합, 또는 관심 영역 비-관련성, 즉 관심 영역(60)에 대한 어떠한 인코딩된 데이터의 부재를 나타내는 경우를 도시한다. 특히, 도 15는 관심 영역 패킷(64)이 내부에 패킷 시퀀스(34)의 순차적 순서를 뒤따르게 하는 페이로드 패킷들(32)이 관심 영역(60)에 대하여 어떠한 인코딩된 데이터를 내부에 갖는지를 나타내는, 구문 요소를 갖는 경우를 도시한다. 그러한 실시 예는 또한 이후에 설명된다. 그러나, 방금 언급된 것과 같이, 또 다른 가능성은 각각의 관심 영역 패킷(64)이 단지 각각의 관심 영역 패킷(64)의 "범위"에 속하는 페이로드 패킷(34)이 내부에 데이터에 대한 관심 영역(60), 즉 관심 영역(60)과 관련된 데이터를 갖는 패킷 시퀀스(34) 내의 그것의 존재에 의해 나타내는 것이다. 이후에 더 상세히 설명되는 실시 예에 따르면, 관심 영역 패킷(64)은 심지어 그것의 "범위"에 속하는 페이로드 패킷(들)(32) 내로 인코딩되는 관심 영역(60)의 부분의 위치를 표시한다.
비디오 데이터 스트림(22)을 수신하는 어떠한 네트워크 엔티티(68)는 예를 들면 패킷 시퀀스(34)의 다른 부분들보다 높은 우선권을 갖는 패킷들의 시퀀스(34)의 관심 영역 관련 부분들을 처리하기 위하여 관심 영역 패킷들(64)의 사용에 의해 실현되는 것과 같이 관심 영역 관련성의 표시를 이용할 수 있다. 대안으로서, 네트워크 엔티티(68)는 예를 들면 비디오 데이터 스트림(22)의 전송에 대한 다른 작업들을 실행하기 위하여 관심 영역 관련성 정보를 사용할 수 있다. 네트워크 엔티티(68)는 예를 들면, 미디어 인식 네트워크 요소 또는 비디오 데이터 스트림(22, 28)을 거쳐 전달되는 것과 같이 비디오 콘텐츠(60)를 디코딩하고 재생하기 위한 디코더일 수 있다. 바꾸어 말하면, 네트워크 엔티티(68)는 비디오 데이터 스트림을 포함하는 전송 작업들에 대하여 결정하기 위하여 관심 영역 패킷들의 식별의 결과를 사용할 수 있다. 전송 작업들은 결함 패킷들에 대한 재-전송 요구들을 포함한다. 네트워크 엔티티(68)는 증가된 우선권으로 관심 영역(70)을 처리하고 관심 영역 패킷들(72)과 그것들과 관련된 페이로드 패킷들, 즉 관심 영역 패킷들 및 관심 영역을 오버레이(overlay)하지 않는 것으로서 시그널링되는, 그것들과 관련된 페이로드 패킷들과 비교하는 것보다, 관심 영역을 오버레이하는 것으로서 시그널링되는, 그것에 의해 프리픽스된 패킷들에 더 높은 우선권을 할당하도록 구성될 수 있다. 네트워크 엔티티(68)는 거기에 할당된 낮은 우선권을 갖는 페이로드 패킷들이 어떠한 재전송을 요구하기 전에, 거기에 할당된 더 높은 우선권을 갖는 페이로드 패킷들의 재전송을 먼저 요구할 수 있다.
도 15의 실시 예는 도 12 내지 14와 관련하여 이전에 설명된 실시 예와 쉽게 조합될 수 있다. 예를 들면, 위에 언급된 관심 영역 패킷들(64)은 또한 그 안에 포함된 특정 형태의 보조 향상 정보 메시지, 즉 관심 영역 보조 향상 정보 메시지를 갖는 보조 향상 정보 패킷들일 수 있다. 즉, 보조 향상 정보 패킷은 예를 들면, 만일 각각의 보조 향상 정보 패킷이 타이밍 제어 정보와 관심 영역 표시 정보 모두를 포함하면, 타이밍 제어 패킷 및 동시에 관심 영역 패킷일 수 있다. 대안으로서, 보조 향상 정보 패킷은 다른 것보다 타이밍 제어 패킷과 관심 영역 패킷 중 하나일 수 있거나, 혹은 관심 영역 패킷과 타이밍 제어 패킷 어느 것도 아닐 수 있다.
도 16에 도시된 실시 예에 따르면, 액세스 유닛들의 페이로드 패킷들 사이의 패킷들의 배치는 비디오 데이터 스트림(22)을 처리하는 네트워크 엔티티들(66)을 위하여 쉽게 접근가능한 방식으로, 현재 액세스 유닛이 관련되는, 현재 화상(18)의 어떠한 타일 또는 타일들이 각각의 패킷들이 프리픽스로서 역할을 하는 페이로드 패킷들 중 어느 하나로 인코딩되는 어떠한 서브-부분들에 의해 오버레이되는지를 표시하도록 사용된다. 도 16에서, 예를 들면, 현재 화상(18)은 여기서는 바람직하게는 현재 화상(18)의 4개의 사분면(quadrant)에 의해 형성되는, 4개의 타일(70)로 세분되도록 도시된다. 현재 화상(18)의 타일들(70)로의 세분은 예를 들면, 또한 패킷들의 시퀀스 내에 배치되는 비디오 파라미터 세트 또는 시퀀스 파라미터 세트 패킷들 내에서와 같은, 화상들의 시퀀스들을 포함하는 유닛들 내의 비디오 데이터 스트림 내에 시그널링될 수 있다. 아래에 더 상세히 설명될 것과 같이, 현재 화상(18)의 타일 세분은 타일들의 행과 열들로의 규칙적인 세분일 수 있다. 타일들의 행들의 수와 열들의 수뿐만 아니라 타일들의 행들의 폭과 열들의 높이는 다양할 수 있다. 특히, 타일들의 행들/열들의 폭과 높이는 각각, 서로 다른 열과 서로 다른 행들을 위하여 다를 수 있다. 도 16은 부가적으로 서브-부분들(18)이 화상(18)의 슬라이스들인 예를 도시한다. 슬라이스들(24)은 화상(18)을 세분한다. 아래에 더 상세히 설명될 것과 같이, 화상(18)의 슬라이스들(24)로의 세분은 각각의 슬라이스(24)가 하나의 단일 타일(70) 내에 완전히 포함되거나, 또는 두 개 또는 그 이상의 타일(70)을 완전히 커버할 수 있는 제약의 대상이 될 수 있다. 도 16은 화상(18)이 5개의 슬라이스(24)로 세분된 경우를 도시한다. 이러한 슬라이스들(24)의 첫 번째 4개는 앞서 언급된 디코딩 순서로 첫 번째 두 개의 타일(70)을 커버하고, 5번째 슬라이스는 3번째 및 4번째 타일을 완전히 커버한다. 또한, 도 16은 각각의 슬라이스가 개별적으로 각각의 페이로드 패킷(32)으로 인코딩되는 경우를 나타낸다. 또한, 도 16은 바람직하게는 각각의 페이로드 패킷(32)이 선행 타일 식별 패킷(72)에 의해 프리픽스된 경우를 나타낸다. 각각의 타일 식별 패킷(72)은 차례로, 그것의 바로 다음의 페이로드 패킷(32)을 위하여 어떠한 타일들(70)이 이러한 페이로드 패킷들(32)로 인코딩되는 서브-부분(24)을 오버레이하는지에 대하여 나타낸다. 따라서, 현재 화상(18)과 관련하여 액세스 유닛(30) 내의 첫 번째 두 개의 타일 식별 패킷(72)은 제 1 타일을 나타내고, 제 3 및 제 4 타일 식별 패킷(72)은 화상(18)의 제 2 타일(70)을 나타내며, 제 5 타일 식별 패킷(72)은 제 3 및 제 4 타일(70)을 나타낸다. 도 16의 실시 예와 관련하여, 예를 들면 도 15와 관련하여 위에 설명된 것과 같이 동일한 변이들이 실현 가능하다. 즉, 타일 식별 패킷들(72)의 "범위"는 예를 들면, 단지 첫 번째 바로 다음의 페이로드 패킷을 포함하거나 또는 그 다음의 타일 식별 패킷의 발생까지 바로 다음의 페이로드 패킷(32)을 포함할 수 있다.
타일들과 관련하여, 인코더(10)는 경계들을 가로질러, 어떠한 공간적 예측 또는 어떠한 콘텍스트 선택도 발생하지 않는 것과 같이 각각의 타일을 인코딩하도록 구성될 수 있다. 인코더(10)는 예를 들면 타일(70)을 병렬로 인코딩할 수 있다. 유사하게, 네트워크 엔티티(68)와 같은 어떠한 디코더는 타일들(70)을 병렬로 디코딩할 수 있다.
네트워크 엔티티(68)는 미디어 인식 네트워크 요소 또는 디코더 또는 인코더(10)와 디코더 사이의 일부 다른 장치일 수 있으며, 특정 전송 작업들을 결정하기 위하여 타일 식별 패킷들(72)에 의해 전달되는 정보를 사용하도록 구성될 수 있다. 예를 들면, 네트워크 엔티티(68)는 높은 우선권을 갖는 비디오(16)의 현재 화상(18)의 특정 타일을 처리할 수 있는데, 즉, 초기에 또는 안전한 순방향 오류 정정 보호(forward error correction(FEC) protection) 등을 사용하여 그러한 타일과 관련하여 표시되는 각각의 페이로드 패킷들을 전달할 수 있다. 바꾸어 말하면, 네트워크 엔티티(68)는 비디오 데이터 스트림에 관련된 전송 작업들을 결정하기 위하여 식별의 결과를 사용할 수 있다. 전송 작업들은 결함 상태에서 수신되는, 즉 만약 있다면, 비디오 데이터 스트림의 순방향 오류 정정 보호를 초과하는 패킷들에 관하여 재-전송 요구들을 포함할 수 있다. 네트워크 엔티티는 예를 들면, 서로 다른 우선권을 갖는 서로 다른 타일들을 처리할 수 있다. 이를 위하여, 네트워크 엔티티는 타일 식별 패킷들(72)과 그것들의 페이로트 패킷들, 즉 프리픽스된 패킷들에 높은 우선권을 할당할 수 있으며 이에 의해 낮은 우선권 타일들과 관련된 그것들의 페이로드 패킷들과의 비교보다, 높은 우선권 타일들과 관련될 수 있다. 네트워크 엔티티(68)는 예를 들면 거기에 할당된 낮은 우선권을 갖는 페이로드 패킷들의 어떠한 재전송을 요구하기 전에, 먼저 거기에 할당된 높은 우선권을 갖는 페이로드 패킷들의 재전송을 요구할 수 있다.
지금까지 설명된 실시 예들은 아래에서 설명되는 것과 같이 본 발명의 명세서의 도입부에서 설명된 것과 같은 고효율 비디오 코딩에서 만들어질 수 있다.
특히, 보조 향상 정보 메시지들은 서브-화상 코딩된 화상 버퍼/가상 참조 디코더 경우에서 디코딩 유닛들의 슬라이스들에 할당될 수 있다. 즉, 버퍼링 기간 및 타이밍 보조 향상 정보 메시지들은 디코딩 유닛의 슬라이스들을 포함하는 네트워크 추상 계층 유닛들에 할당될 수 있다. 이는 디코딩 유닛의 하나 또는 그 이상의 슬라이스/비디오 코딩 계층 네트워크 추상 계층 유닛을 직접적으로 선행하는 비-비디오 코딩 계층 네트워크 추상 계층 유닛인 새로운 네트워크 추상 계층 유닛 형태에 의해 달성될 수 있다. 이러한 새로운 네트워크 추상 계층 유닛은 슬라이스 프리픽스 네트워크 추상 계층 유닛으로 불릴 수 있다. 도 17은 시퀀스와 스트림의 단부를 위하여 어떠한 잠정 네트워크 추상 계층 유닛들을 누락한 액세스 유닛의 구조를 도시한다.
도 17에 따르면, 액세스 유닛(30)은 다음과 같이 구성된다: 패킷들의 시퀀스(34)의 패킷들의 순차적 순서로, 액세스 유닛(30)은 특별한 형태의 패킷, 즉, 액세스 유닛 구분자(access unit delimiter, 80)의 발생과 함께 시작할 수 있다. 그리고 나서 전체 액세스 유닛과 관련하여 보조 향상 정보 패킷 형태의 하나 또는 그 이상의 보조 향상 정보 패킷(82)이 액세스 유닛(30) 내에 따를 수 있다. 패킷 형태들(80 및 82) 모두 선택적이다. 즉, 이러한 형태의 어떤 패킷도 액세스 유닛(30) 내에 발생하지 않을 수 있다. 그리고 나서 디코딩 유닛들(38)의 시퀀스가 뒤따른다. 각각의 디코딩 유닛(38)은 선택적으로 예를 들면 그 안에 타이밍 제어 정보 또는 도 15 혹은 16의 실시 예에 따라 관심 영역 정보 또는 타일 정보, 또는 훨씬 더 일반적으로 각각의 서브-화상 보조 향상 정보 메시지(86)를 포함하는, 슬라이스 프리픽스 네트워크 추상 계층 유닛(84)과 함께 시작할 수 있다. 그리고 나서, 각각의 페이로드 패킷들 또는 비디오 코딩 계층 네트워크 추상 계층 유닛들 내의 실제 슬라이스 데이터(88)가 88에 도시된 것과 같이 뒤따른다. 따라서, 각각의 디코딩 유닛은 슬라이스 프리픽스 네트워크 추상 계층 유닛(84)을 포함하고 각각의 슬라이스 데이터 네트워크 추상 계층 유닛(들)(88)이 뒤따른다. 슬라이스 프리픽스 네트워크 추상 계층 유닛을 우회하는, 도 17의 우회 화살표(90)는 현재 액세스 유닛(30)의 어떠한 디코딩 유닛 세분도 없는 경우에 어떠한 슬라이스 프리픽스 네트워크 추상 계층 유닛(84)도 존재하지 않을 수 있다는 것을 표시하여야만 한다.
위에서 이미 설명된 것과 같이, 슬라이스 프리픽스 내에 시그널링되는 모든 정보 및 관련 화상 보조 향상 정보 메시지는 슬라이스 프리픽스 네트워크 추상 계층 유닛 내에 주어진 플래그에 따라, 액세스 유닛 내의 모든 비디오 코딩 계층 네트워크 추상 계층 유닛을 위하여 또는 제 2 프리픽스 네트워크 추상 계층 유닛의 발생까지 또는 디코딩 순서 내의 다음의 비디오 코딩 계층-네트워크 추상 계층 유닛을 위하여 유효할 수 있다.
슬라이스 프리픽스 내에 시그널링된 정보가 유효한 슬라이스 비디오 코딩 계층 네트워크 추상 계층 유닛은 다음에서 프리픽스된 슬라이스들로서 언급된다. 프리픽스된 단일 슬라이스와 관련된 프리픽스된 슬라이스들은 반드시 완전한 디코딩 유닛을 구성할 필요는 없으나 그 일부분일 수는 있다. 그러나, 단일 슬라이스 프리픽스는 다중 디코딩 유닛들(서브-화상들)을 위하여 유효할 수 없고 디코딩 유닛의 시작은 슬라이스 프리픽스 내에 시그널링된다. 만일 시그널링을 위한 의미들이 슬라이스 프리픽스 구문(아래에 표시되는 "간단한 구문/버전 1에서와 같이)을 통하여 주어지지 않으면, 슬라이스 프리픽스 네트워크 추상 계층 유닛의 발생은 디코딩 유닛의 시작을 시그널링한다. 특정 보조 향상 정보 메시지들(아래의 구문 설명에서 payloadType을 거쳐 식별되는)만이 슬라이스 프리픽스 네트워크 추상 계층 유닛 내의 서브-화상 레벨 상에 독점적으로 보내질 수 있으며, 일부 보조 향상 정보 메시지들은 서브-화상 레벨 상의 슬라이스 프리픽스 네트워크 추상 계층 유닛 내에 또는 액세스 유닛 레벨 상에 규칙적인 보조 향상 정보 메시지로서 보내질 수 있다.
도 16과 관련하여 설명된 것과 같이, 부가적으로 또는 대안으로서, 타일 식별 보조 향상 정보 메시지/타일 식별 시그널링은 고 레벨 구문에서 실현될 수 있다. 고효율 비디오 코딩의 초기 디자인들에서, 슬라이스 헤더/슬라이스 데이터는 각각의 슬라이스 내에 포함된 타일을 위하여 식별자를 포함하였다. 예를 들면, 슬라이스 데이터 시멘틱들은 다음과 같이 판독한다:
tile_idx_minus_1은 래스터 스캔 순서로 TileID를 지정한다. 화상 내의 제 1 타일은 0의 TileID를 가져야만 한다. tile_idx_minus_1의 값은 0 내지 (num_tile_columns_minus1 + 1)*(num_tile_rows_minus1 + 1)-1의 범위 내에 존재하여야만 한다.
그러나 이러한 파라미터는 유용한 것으로 고려되지 않는데 그 이유는 이러한 식별이 만일 tiles)or_entropy_sync_idc가 1과 동일하면 화상 파라미터 세트 내에 시그널링되는 것과 같이 슬라이스 주소 및 슬라이스 크기들로부터 쉽게 유도될 수 있기 때문이다.
비록 타일 식별이 분명하게 디코딩 과정에서 유도될 수 있더라도, 적용 층 상의 이러한 파라미터의 지식은 또한 예를 들면, 재생을 위한 서로 다른 우선권을 가질 수 있는 서로 다른 타일들(그러한 타일들은 일반적으로 대화 사용 경우에서 스피커를 포함하는 관심 영역을 형성한다)이 다른 타일들보다 높은 우선권을 가질 수 있는 비디오 회의 시나리오에서와 같은, 서로 다른 사용 경우들을 위하여 중요하다. 다중 타일들의 전송에서 네트워크 패킷들의 손실의 경우에 있어서, 관심 영역을 표현하는 타일들을 포함하는 그러한 네트워크 패킷들은 어떠한 우선권 순서 없이 타일들을 재전송하는 경우에서보다 높은 수신 단말기에서 경험의 품질을 유지하기 위하여 높은 우선권으로 재전송될 수 있다. 또 다른 사용 경우는 만일 크기들과 그것들의 위치가 알려지면, 타일들을 예를 들면 비디오 홰의 시나리오에서 서로 다른 스크린들에 할당할 수 있다.
그러한 적용 층이 전송 시나리오들에서 특정 우선권을 갖는 타일들을 처리하도록 허용하기 위하여, tile_id는 서브-화상 또는 슬라이스-특이 보조 향상 정보 메시지로서 혹은 타일의 하나 또는 그 이상의 네트워크 추상 계층 유닛의 앞의 특별한 네트워크 추상 계층 유닛 내에 또는 타일에 속하는 네트워크 추상 계층 유닛의 특별한 헤더 섹션 내에 제공될 수 있다.
도 15와 관련하여 위에 설명된 것과 같이, 관심 영역 보조 향상 정보 메시지가 또한 부가적으로 또는 대안으로서 제공될 수 있다. 그러한 보조 향상 정보 메시지는 관심 영역(ROI)의 시그널링, 특히 특정 tile_id/타일이 속하는 관심 영역의 시그널링을 허용할 수 있다. 메시지는 관심 영역 식별들과 관심 영역의 우선권을 주도록 허용할 수 있다.
도 18은 관심 영역 시그널링에서의 타일들의 사용을 도시한다.
위에 설명된 내용에 더하여, 슬라이스 헤더 시그널링이 구현될 수 있다. 슬라이스 프리픽스 네트워크 추상 계층 유닛은 또한 그 다음의 독립 슬라이스들, 즉 각각의 슬라이스 프리픽스에 의해 프리픽스된 슬라이스들을 위한 슬라이스 헤더를 포함할 수 있다. 만일 슬라이스 헤더가 슬라이스 프리픽스 네트워크 추상 계층 유닛 내에만 제공되면, 실제 슬라이스 형태는 각각의 종속 슬라이스를 포함하는 네트워크 추상 계층 유닛의 네트워크 추상 계층 유닛 형태에 의하거나 또는 그 다음의 슬라이스 데이터가 랜덤 액세스 지점으로서 역할을 하는 슬라이스 형태인지를 시그널링하는 슬라이스 프리픽스 내의 플래그에 의해 도출될 필요가 있다.
다음에서, 슬라이스 프리픽싱의 위에 설명된 개념을 구현하기 위한 가능한 구문이 설명된다. 특히, 기본으로서 본 명세서의 도입부에서 설명된 것과 같은 고효율 비디오 코딩 상태를 사용할 때 슬라이스 레벨 상에서 충분할 수 있는 변화들이 설명된다.
특히, 다음에서, 두 가지 버전의 가능한 슬라이스 프리픽스 구문이 설명되는데, 하나는 보조 향상 정보 메시징만의 기능성을 가지며, 다른 하나는 그 다음의 슬라이스들을 위한 슬라이스 헤더의 일부분의 시그널링의 확장된 기능성을 갖는다. 첫 번째 간단한 구문/버전 1이 도 19에 도시된다.
우선, 도 19는 따라서 도 11 내지 16과 관련하여 위에 설명된 실시 예들 중 어느 하나를 구현하기 위한 가능한 구현을 도시한다. 그 안에 도시된 배치된 패킷들은 도 19에 도시된 것과 같이 구성될 수 있으며 이는 다음에서 특정 구현 예들과 함께 더 상세히 설명된다.
보조 향상 정보 메시지 개념을 제외하고 tile_id 시그널링, 디코딩 유닛 시작 식별자, 슬라이스 프리픽스 식별 및 슬라이스 헤더 데이터를 포함하는 확장된 구문/버전 2가 도 20의 테이블에 주어진다.
시멘틱들은 다음과 같이 정의될 수 있다:
1의 값을 갖는 rap_flag는 슬라이스 프리픽스를 포함하는 액세스 유닛이 랜덤 액세스 위치 화상인 것을 나타낸다. 0의 값을 갖는 rap_flag는 슬라이스 프리픽스를 포함하는 액세스 유닛이 랜덤 액세스 위치 화상이 아닌 것을 나타낸다.
decoding_unit_start_flag는 액세스 유닛 내의 디코딩 유닛의 시작을 나타내며, 따라서 액세스 유닛의 단부까지 그 다음의 슬라이스 또는 또 다른 디코딩 유닛의 시작은 동일한 디코딩 유닛에 속한다.
0의 값을 갖는 single_slice_flag는 프리픽스 슬라이스 네트워크 추상 계층 유닛 내에 제공되는 정보 및 관련 서브-화상 메시지들이 그 다음 액세스 유닛의 시작, 또 다른 슬라이스 피리픽스 또는 또 다른 완전한 슬라이스 헤더의 발생까지 모든 다음의 비디오 코딩 계층-네트워크 추상 계층 유닛을 위하여 유효하다는 것을 나타낸다. 1의 값을 갖는 single_slice_flag는 프리픽스 슬라이스 네트워크 추상 계층 유닛 내에 제공되는 정보 및 관련 서브-화상 메시지들이 디코딩 순서 내의 그 다음 비디오 코딩 계층-네트워크 추상 계층 유닛을 위해서만 유효하다.
tile_idc는 그 다음 슬라이스 내에 존재하는 타일들의 양을 나타낸다. 0과 동일한 tile_idc는 그 다음 슬라이스 내에 어떠한 타일도 사용되지 않는 것을 나타낸다. 1과 동일한 tile_idc는 단일 타일이 그 다음 슬라이스 내에서 사용되고 그것이 타일 식별자가 그에 알맞게 시그널링되는 것을 나타낸다. 2의 값을 갖는 tile_idc는 다중 타일이 그 다음 슬라이스 내에서 사용되고 제 1 타일 식별자가 그에 알맞게 시그널링되는 것을 나타낸다.
prefix_slice_header_data_present_flag는 디코딩 순서를 따르는 슬라이스들과 상응하는, 슬라이스 헤더의 데이터가 주어진 슬라이스 프리픽스 내에 시그널링되는 것을 나타낸다.
slice_header_data()는 뒤에 텍스트로 정의된다. 이는 만일 dependent_slice_flag가 1과 동일하게 설정되면, 슬라이스 헤더의 의해 커버되지 않는, 관련 슬라이스 헤더 정보를 포함한다.
슬라이스 헤더와 실제 슬라이스 데이터의 분리는 헤더와 슬라이스 데이터의 더 유연한 전송 계획들을 허용한다는 것에 유의하여야 한다.
num_tiles_in_prefixed_slices_minus1은 그 다음 디코딩 유닛 -1에서 사용된 타일들의 수를 나타낸다.
first_tile_in_prefixed_slices는 그 다음 디코딩 유닛 내의 제 1 타일의 타일 식별자를 나타낸다.
슬라이스 프리픽스의 간단한 구문/버전 1을 위하여, 그 다음 구문 요소들은 만일 존재하지 않으면, 다음과 같이 디폴트 값들로 설정될 수 있다:
- 1과 동일한 decoding_unit_start, 즉 슬라이스 프리픽스는 항상 디코딩 유닛의 시작을 나타낸다.
- 0과 동일한 single_slice_flag, 즉 슬라이스 프리픽스는 디코딩 유닛 내의 모든 슬라이스를 위하여 유효하다.
슬라이스 프리픽스 네트워크 추상 계층 유닛은 24의 네트워크 추상 계층 유닛 형태 및 도 21에 따라 확장되는 네트워크 추상 계층유닛 형태 개요 테이블을 갖는 것으로 제안된다.
즉, 도 19 내지 21을 간단하게 요약하면, 그 안에 도시된 구문 상세내용은 특정 패킷 형태가 위에 식별된 배치된 패킷들, 여기서는 바람직하게는 네트워크 추상 계층 유닛 형태(24)에 기인하는 것을 나타낸다. 게다가, 특히 도 20의 구문 예는 배치된 패킷들의 "범위"와 관련하여 위에 설명된 대안들, 이러한 배치된 패킷들 자체 내의 각각의 구문 요소에 의해 제어되는 스위칭 메커니즘, 여기서는 바람직하게는 single_slice_flag가 이러한 범위를 제어하기 위하여, 즉 각각 이러한 범위의 정의를 위한 서로 다른 대안들 사이를 스위칭하기 위하여 사용될 수 있다는 것을 명백하게 한다. 게다가, 위에 설명된 도 1 내지 16의 실시 예들은 배치된 패킷들이 또한 각각의 배치된 패킷들의 "범위"에 속하는 패킷들 내에 포함되는 슬라이스들(24)을 위한 공통 슬라이스 헤더 데이터를 포함한다는 점에서 확장될 수 있다는 것이 분명하였다. 즉, 이러한 배치된 패킷들 내의 각각의 플래그에 의해 제어되는 메커니즘이 존재할 수 있으며, 이는 공통 슬라이스 헤더 데이터가 각각의 배치된 패킷 내에 포함되는지를 나타낸다.
물론, 슬라이스 헤더 데이터의 어떤 부분이 슬라이스 헤더 프리픽스 내로 이동되는지에 따를 방금 설명된 개념은 고효율 비디오 코딩의 현재 버전에 명시된 것과 같이 슬라이스 헤더들로의 변화들을 필요로 한다. 도 22의 테이블은 현재 버전에 따른 슬라이스 헤더 내에 존재하는 특정 구문 요소들이 slice_header_data()로서 언급되는, 더 낮은 계층 구문 요소로 이동되는, 그러한 슬라이스 헤더를 위한 가능한 구문을 도시한다. 슬라이스 헤더 및 슬라이스 헤더 데이터의 이러한 구문은 어떠한 확장된 슬라이스 헤더 프리픽스 네트워크 추상 계층 유닛이 사용되는지에 따른 선택사항에만 적용된다.
도 22에서, slice_header_data_present_flag는 현재 슬라이스를 위한 슬라이스 헤더 데이터가 액세스 유닛 내의 마지막 슬라이스 프리픽스 네트워크 추상 계층 유닛, 즉 가장 최근에 발생한 슬라이스 프리픽스 네트워크 추상 계층 유닛 내에 시그널링되는 값들로부터 예측되어야만 한다는 것을 나타낸다.
슬라이스 헤더로부터 제거된 모든 구문 요소는 도 23의 테이블에 주어진 것과 같이 구문 요소 슬라이스 헤더 데이터를 통하여 시그널링된다.
즉, 도 22와 도 23의 개념을 도 12 내지 16의 실시 예들 상으로의 전달에서, 거기에 설명된 배치된 패킷들은 이러한 배치된 패킷들과 통합하는 개념에 의해 확장될 수 있고, 슬라이스들(서브-부분들, 24)의 슬라이스 헤더 구문의 일부분은 페이로드 패킷들, 즉 비디오 코딩 계층 네트워크 추상 계층 유닛들로 인코딩되었다. 통합은 선택사항일 수 있다. 즉, 배치된 패킷 내의 각각의 구문 요소는 그러한 슬라이스 헤더 구문이 각각의 배치된 패킷 내에 포함되는지를 나타낼 수 있다. 만일 통합되면, 각각의 배치된 패킷과 통합된 각각의 슬라이스 헤더 데이터는 각각의 배치된 패킷의 "범위"에 속하는 패킷 내에 포함된 모든 슬라이스에 적용될 수 있다. 배치된 패킷 내에 포함된 슬라이스 헤더 데이터가 이러한 배치된 패킷의 범위에 속하는 페이로드 패킷들 중 어느 하나로 인코딩된 슬라이스에 의해 적용되는지는 도 22의 slice_header_data_present_flag와 같은, 각각의 플래그에 의해 시그널링될 수 있다. 이러한 측정에 의해, 각각의 배치된 패킷의 "범위"에 속하는 패킷들로 인코딩된 슬라이스들의 슬라이스 헤더는 방금 언급된 슬라이스 헤더 내의 플래그를 사용하여 이에 알맞게 축소될 수 있고 위의 도 12 내지 16에 도시된 네트워크 엔티티들과 같은, 비디오 데이터 스트림을 수신하는 어떠한 디코더도 슬라이스 헤더 데이터의 슬라이스 프리픽스, 즉 각각의 배치된 패킷으로의 배치를 시그널링하는 그러한 슬라이스 내의 각각의 플래그의 경우에서 이러한 배치된 패킷의 범위에 속하는 페이로드 패킷으로 인코딩된 슬라이스의 슬라이스 헤더 내에 배치된 패킷과 통합된 슬라이스 헤더 데이터를 복사하기 위하여 방금 언급된 슬라이스 헤더 내의 플래그에 응답할 수 있다.
도 12 내지 16의 실시 예들을 구현하기 위한 구문 예를 더 진행하면, 이는 도 24에 도시된 것과 같이 보조 향상 정보 메시지일 수 있다. 슬라이스 또는 서브-화상 보조 향상 정보 메시지 형태들을 도입하기 위하여, 도 25의 테이블에 존재하는 것과 같이 보조 향상 정보 페이로드 구문이 적용될 수 있다. 180 내지 184의 범위 내의 payloadType를 갖는 보조 향상 정보 메시지만이 독점적으로 슬라이스 프리픽스 네트워크 추상 계층 유닛 내의 서브-화상 레벨 상에 보내질 수 있다. 부가적으로, 140과 동일한 payloadType를 갖는 관심 영역 보조 향상 정보 메시지들은 서브-화상 레벨 상의 슬라이스 프리픽스 네트워크 추상 계층 유닛, 또는 액세스 유닛 레벨 상의 규칙적인 보조 향상 정보 메시지 내에 보내질 수 있다.
즉, 도 25와 24에 도시된 상세내용의 도 12 내지 16과 관련하여 위에 설명된 실시 예들 상으로의 전달에 있어서, 도 12 내지 16의 이러한 실시 예들에 도시된 배치된 패킷들은 예를 들면 슬라이스 프리픽스 네트워크 추상 계층 유닛 내의 각각의 보조 향상 정보 메시지의 시작에서 payloadType에 의해 시그널링되는 특정 형태의 보조 향상 정보 메시지를 포함하는, 특정 네트워크 추상 계층 유닛 형태, 예를 들면 24를 갖는 슬라이스 프리픽스 네트워크 추상 계층 유닛들을 사용함으로써 실현될 수 있다. 지금 설명되는 특정 구문 실시 예에서, payloadType = 180 및 payloadType = 181은 도 11 내지 14의 실시 예들에 따른 타이밍 제어 패킷을 야기하고, 반면에 payloadType = 140은 도 15의 실시 예에 따른 관심 영역 패킷을 야기하며, payloadType = 182는 도 16의 실시 예에 따른 타일 식별 패킷을 야기한다. 아래에 설명되는 특정 구문 예는 단지 하나의 방금 언급된 payloadType 선택사항 또는 이의 서브셋을 포함할 수 있다. 이것 외에, 도 25는 위에서 설명된 도 11 내지 16의 실시 예들 중 어느 하나가 서로 조합될 수 있다는 것을 나타낸다. 심지어, 도 25는 위의 도 12 내지 16의 실시 예들 중 어느 하나, 또는 그것들의 조합이 나중에 payloadType = 184로 설명되는,또 다른 배치된 패킷에 의해 확장될 수 있다는 것을 나타낸다. 위에서 이미 설명된 것과 같이, payloadType = 183과 관련하여 아래에 설명되는 확장은 그것의 범위에 속하는 어떠한 페이로드 패킷으로 인코딩된 슬라이스들의 슬라이스 헤더를 위하여 공통 슬라이스 헤더 데이터와 통합되었을 수 있다는 가능성으로 끝난다.
다음의 도면들의 테이블들은 슬라이스 또는 서브-화상 레벨 상에서 사용될 수 있는 보조 향상 정보 메시지들을 정의한다. 서브-화상 또는 액세스 유닛 레벨 상에서 사용될 수 있는 관심 영역 보조 향상 정보 메시지가 또한 제시된다.
도 26은 예를 들면, 네트워크 추상 계층 유닛 형태(24)의 슬라이스 프리픽스 네트워크 추상 계층 유닛이 그 안에 포함되는 보조 향상 정보 메시지 형태(180)를 가질 때마다 발생하는, 따라서 타이밍 제어 패킷을 형성하는 서브-화상 버퍼링 보조 향상 정보 메시지를 위한 일례를 도시한다.
시멘틱들은 다음과 같이 정의될 수 있다:
seq_parameter_set_id는 시퀀스 가상 참조 디코더 속성들을 포함하는 시퀀스 파라미터 세트를 지정한다. seq_parameter_set_id의 값은 버퍼링 기간 보조 향상 정보 메시지와 관련된 일차 코딩된 화상에 의해 참조되는 화상 파라미터 세트 내의 seq_parameter_set_id의 값과 동일하여야만 한다. seq_parameter_set_id의 값은 0 내지 31의 범위 내에 존재하여야만 한다.
initial_cpb_removal_delay[SchedSelIdx] 및 initial_alt_removal_delay[SchedSelIdx]는 디코딩 유닛(서브-화상)의 SchedSelIdx번째 코딩된 화상 버퍼를 위한 초기 코딩된 화상 버퍼 제거 지연들을 지정한다. 구문 요소들은 initial_cpb_removal_delay_length_minus1 +1에 의해 주어지는 비트로 표시되는 길이를 가지며, 90 ㎑ 클록의 유닛들 내에 존재한다. 구문 요소들의 값들은 0과 동일하여서는 안 되고 90000*(Cpbsize[SchedSelIdx]/BitRate[SchedSelIdx]), 90 ㎑ 클록 유닛들 내의 코딩된 화상 버퍼 크기의 시간-등가를 초과해서는 안 된다.
전체 코딩된 비디오 시퀀스에 걸쳐, 디코딩 유닛 당 initial_cpb_removal_delay[SchedSelIdx]와 initial_cpb_removal_delay_offset [SchedSelIdx]의 합은 각각의 SchedSelIdx의 값을 위하여 일정하여야만 하고 initial_alt_cpb_removal_delay[SchedSelIdx]와 initial_alt_cpb_removal_delay_ offset[SchedSelIdx]의 합은 각각의 SchedSelIdx의 값을 위하여 일정하여야만 한다.
도 27은 유사하게 서브-화상 타이밍 보조 향상 정보 메시지를 위한 일례를 도시하며, 시멘틱들은 다음과 같이 설명될 수 있다:
du_cpb_removal_delay는 만일 존재하면, 동일한 디코딩 유닛(서브-화상) 내의 선행 액세스 유닛 내의 가장 최근의 서브-화상 버퍼링 기간 보조 향상 정보 메시지와 관련된, 그렇지 않으면 서브-화상 타이밍 보조 향상 정보 메시지와 관련된 디코딩 유닛(서브-화상) 데이터의 버퍼로부터의 제거 전에, 선행 액세스 유닛 내의 가장 최근의 서브-화상 버퍼링 기간 보조 향상 정보 메시지와 관련된 디코딩 유닛(서브-화상)의 코딩된 화상 버퍼로부터의 제거 후에 얼마나 많은 클록 틱들이 대기하는지를 지정한다. 이러한 값은 또한 가상 스트림 스케줄러(HSS, [2]0)를 위한 코딩된 화상 버퍼 내로의 디코딩 유닛(서브-화상)의 가장 빠른 가능한 도착 시간을 계산하도록 사용된다. 구문 요소는 cpb_removal_delay_length_minus1 +1에 의해 비트로 표시되는 길이가 주어지는 고정 길이 코드이다. cpb_removal_delay는 모듈로 2(cpb_removal_delay_length_minus1 +1) 카운터의 나머지이다.
du_cpb_output_delay는디코딩 유닛(서브-화상)의 디코딩된 화상 버퍼 출력 시간을 계산하도록 사용된다. 이는 화상의 디코딩 유닛(서브-화상)이 디코딩된 화상 버퍼로부터 출력되기 전에 디코딩된 디코딩 유닛(서브-화상)의 제거 후에 얼마나 많은 클록 틱들이 대기하는지를 지정한다.
이는 서브-화상 업데이트들을 허용한다는 것에 유의하여야 한다. 그러한 시나리오에서, 비-업데이트된 디코딩 유닛들은 마지막 디코딩된 화상의 변하지 않은 채로 남을 수 있는데, 즉 유닛들은 보이는 채로 남아있다.
도 26 및 27을 요약하고 그 안에 포함된 특정 상세내용을 도 12 내지 14의 실시 에 상으로 전달하면, 이는 디코딩 유닛에 대한 디코더 버퍼 검색 시간이 별도로 코딩되는 방식으로, 즉 또 다른 디코딩 버퍼 검색 시간에 대하여 증가적으로 관련 타이밍 제어 패킷 내에 시그널링될 수 있다고 할 수 있다. 즉, 특정 디코딩 유닛에 대한 디코더 버퍼 검색 시간을 획득하기 위하여, 비디오 데이터 스트림을 수신하는 디코더는 특정 디코딩 유닛을 프리픽싱하는 타이밍 제어 패킷으로부터 획득되는 디코더 검색 시간을 바로 선행하는 디코딩 유닛의 디코더 검색 시간, 즉, 특정 디코딩 유닛을 선행하는 하나에 더하며, 이러한 방식으로의 그 다음 디코딩 유닛들을 진행한다. 몇몇 화상들 각각 또는 그것들의 부분들의 코딩된 비디오 시퀀스들의 시작에서, 타이밍 제어 패킷은 부가적으로 또는 대안으로서 어떠한 선행 디코딩 유닛의 디코더 버퍼 검색 시간과 관련하여 전적으로 오히려 다르게 코딩되는 디코더 버퍼 검색 시간 값을 포함할 수 있다.
도 28은 서브-화상 슬라이스 정보 메시지가 어떻게 보이는지를 도시한다. 시멘틱들은 다음과 같이 정의될 수 있다:
1의 값을 갖는 slice_header_data_flag는 슬라이스 헤더 데이터가 보조 향상 정보 메시지 내에 존재한다는 것을 나타낸다. 보조 향상 정보 내에 제공되는 슬라이스 헤더 데이터는 액세스 유닛의 단부, 또 다른 보조 향상 정보 메시지 내의 슬라이스 데이터, 슬라이스 네트워크 추상 계층 유닛, 또는 슬라이스 프리픽스 네트워크 추상 계층 유닛의 발생까지, 디코딩 순서를 따르는 모든 슬라이스를 위하여 유효하다.
도 29는 서브-화상 타일 정보 보조 향상 정보 메시지를 위한 일례를 도시하는데, 시멘틱들은 다음과 같이 정의될 수 있다.
tile_priority는 디코딩 순서를 따르는 프리픽스된 슬라이스 내의 모든 타일의 우선권을 나타낸다. tile_priority의 0 내지 7의 범위 내에 존재할 수 있는데, 2는 가장 높은 우선권을 나타낸다.
1의 값을 갖는 multiple_tiles_in_prefixed_slices_flag는 디코딩 순서를 따르기 위하여 프리픽스된 슬라이스들 내에 하나 이상의 타일이 존재하는 것을 나타낸다. 0의 값을 갖는 multiple_tiles_in_prefixed_slices_flag는 그 다음의 프리픽스 슬라이스들이 단지 하나의 타일만을 포함하는 것을 나타낸다.
num_tiles_in_prefixed_slices_minus1은 디코딩 순서를 따르는 프리픽스 슬라이스들 내의 타일들의 수를 나타낸다.
first_tile_id_in_prefixed_slices는 디코딩 순서를 따르는 프리픽스 슬라이스들 내의 제 1 타일의 tile_id를 나타낸다.
즉, 도 16의 실시 예는 도 16에서 언급된 타일 식별 패킷들을 실현하기 위하여 도 29의 구문을 사용하여 구현될 수 있다. 거기에 도시된 것과 같이, 특정 플래그, 여기서는 multiple_tiles_in_prefixed_slices_flag는 단지 하나의 타일 또는 하나 이상의 타일이 각각의 배치된 타일 식별 패킷의 범위에 속하는 페이로드 패킷들 중 어느 하나로 인코딩되는 현재 화상(18)의 어떠한 서브-부분에 의해 커버되는지를 배치된 타일 식별 패킷 내에 시그널링하도록 사용될 수 있다. 만일 플래그가 하나 이상의 타일의 오버레이를 시그널링하면, 또 다른 구문 요소가 각각의 배치된 패킷, 여기서는 바람직하게는 각각의 배치된 타일 식별 패킷의 범위에 속하는 어떠한 페이로드 패킷의 어떠한 서브-부분에 의해 오버레이된 타일들이 수를 나타내는 num_tiles_in_prefixed_slices_minus1 내에 포함된다. 최종적으로, 또 다른 구문 요소, 여기서는 바람직하게는 first_tile_id_in_prefixed_slices이 디코딩 순서에 따라 첫 번째인, 현재 배치된 타일 식별 패킷에 의해 표시되는 타일들의 수 중에서 타일의 식별을 나타낸다. 도 29의 구문의 도 16의 실시 예 상으로의 전달에서, 제 5 페이로드 패킷(32)을 프리픽싱하는 타일 식별 패킷(72)은 예를 들면, 그렇게 함으로써 두 개의 타일이 현재 범위에 속하는, 1로 설정되는 multiple_tiles_in_prefixed_slices_flag, 1로 설정되는 num_tiles_in_prefixed_slices_minus1, 및 현재 타일 식별 패킷(72)의 범위에 속하는 디코딩 순서 내의 타일들의 런(run)이 제 3 타일(tile_id = 2를 갖는)에서 시작한다는 것을 나타내는, 3으로 설정되는 first_tile_id_in_prefixed_slices을 갖는 방금 설명된 3개의 모든 구문 요소를 가질 수 있다.
도 29는 또한 타일 식별 패킷(72)이 가능하게는 또한 tile_priority, 즉 그것의 범위에 속하는 타일들의 우선권을 나타낼 수 있다는 것을 설명한다. 관심 영역 양상과 유사하게, 네트워크 엔티티(68)는 특정 페이로드 패킷들의 재전송들을 위한 요구와 같은, 전송 작업들을 제어하기 위하여 그러한 우선권 정보를 사용할 수 있다.
도 30은 서브-화상 타일 크기 정보 보조 향상 정보 메시지를 위한 구문 예를 도시하며, 시멘틱들은 다음과 같이 정의될 수 있다:
1의 값을 갖는 multiple_tiles_in_prefixed_slices_flag는 디코딩 순서를 따르기 위하여 프리픽스된 슬라이스들 내에 하나 이상의 타일이 존재하는 것을 나타낸다. 0의 값을 갖는 multiple_tiles_in_prefixed_slices_flag는 그 다음의 프리픽스된 슬라이스들이 단지 하나의 타일만을 포함하는 것을 나타낸다.
num_tiles_in_prefixed_slices_minus1은 디코딩 순서를 따르는 프리픽스된 슬라이스들 내의 타일들의 수를 나타낸다.
tile_horz_start[i]는 화상 내의 픽셀들 내의 i번째 타일의 수평 방향으로의 시작을 나타낸다.
tile_width[i]는 화상 내의 픽셀들 내의 i번째 타일의 폭을 나타낸다.
tile_vert_start[i]는 화상 내의 픽셀들 내의 i번째 타일의 수직 방향으로의 시작을 나타낸다.
tile_height[i]는 화상 내의 픽셀들 내의 i번째 타일의 높이를 나타낸다.
타일 크기 보조 향상 정보 메시지는 예를 들면 다중 스크린 디스플레이 시나리오에서 스크린에 하나의 타일을 할당하기 위하여 디스플레이 작동들에서 사용될 수 있다는 것에 유의하여야 한다.
도 30은 따라서 도 16의 타일 식별 패킷들과 관련하여 도 29의 구현 구문 예가 각각의 타일 식별 패킷의 범위에 속하는 타일들이 타일 식별보다는 현재 화상(18) 내의 그것들의 위치에 의해 표시된다는 점에서 다양할 수 있다는 것을 나타낸다. 즉, 각각의 배치된 타일 식별 패킷의 범위에 속하는 페이로드 패킷 중 어느 하나로 인코딩되는 각각의 서브-부분들에 의해 커버되는 디코딩 순서 내의 제 1 타일의 타일 식별의 시그널링보다, 현재 타일 식별 패킷에 속하는 각각의 타일을 위하여, 그것의 위치는 예를 들면, 각각의 타일(i)의 상부 왼쪽 구석 위치의 시그널링에 의해, 여기서는 바람직하게는 tile_horz_start와 tile_vert_start 및 타일(i)의 폭과 높이, 여기서는 바람직하게는 tile_width와 tile_height에 의해 시그널링될 수 있다.
관심 영역 보조 향상 정보 메시지를 위한 구문 예가 도 31에 도시된다. 더 정확하게 설명하면, 도 32는 제 1 변형을 도시한다. 특히, 관심 영역 보조 향상 정보 메시지는 예를 들면, 하나 또는 그 이상의 관심 영역을 시그널링하기 위하여 액세스 유닛 레벨 상에서 또는 서브-화상 레벨 상에서 사용될 수 있다. 도 32의 제 1 변형에 따르면, 개별 관심 영역은 만일 다수의 관심 영역이 현재 범위 내에 존재하면 하나의 관심 영역 보조 향상 정보 메시지 내의 각각의 관심 영역 패킷의 범위의 모든 관심 영역을 시그널링하기보다는, 관심 영역 보조 향상 정보 메시지 당 한 번 시그널링된다.
도 31에 따르면, 관심 영역 보조 향상 정보 메시지는 각각의 관심 영역을 개별적으로 시그널링한다. 시멘틱들은 다음과 같이 정의될 수 있다:
roi_id는 관심 영역의 식별자를 나타낸다.
roi_priority는 보조 향상 정보 메시지가 서브-화상 레벨 또는 액세스 유닛 레벨 상에서 보내지는지에 따라 디코딩 순서를 따르는 프리픽스된 슬라이스들 또는 모든 슬라이스 내의 관심 영역에 속하는 모든 타일의 우선권을 나타낸다. roi_priority의 값은 0 내지 7의 범위 내에 존재하여야만 하는데, 7은 가장 높은 우선권을 나타낸다. 만일 관심 영역 정보 보조 향상 정보 메시지 내의 roi_priority 및 서브-화상 타일 정보 보조 향상 정보 메시지들 내의 tile_priority 모두 주어지면, 둘 모두의 가장 높은 값은 개별 타일들의 우선권을 위하여 유효하다.
num_tiles_in_roi_minus1은 관심 영역에 속하는 디코딩 순서를 따르는 프리픽스된 슬라이스들 내의 타일들의 수를 나타낸다.
roi_tile_id[i]는 디코딩 순서를 따르는 프리픽스된 슬라이스들 내이 관심 영역에 속하는 i번째 타일의 tile_id를 나타낸다.
즉, 도 31은 도 15에 도시된 것과 같은 관심 영역 패킷이 각각의 관심 영역 패킷 및 그것의 범위에 속하는 페이로드 패킷이 언급하는 관심 영역의 식별을 그 안에 시그널링할 수 있다는 것을 도시한다. 선택적으로, 관심 영역 우선권 지수는 관심 영역 식별과 함께 시그널링될 수 있다. 그러나, 구문 요소들 모두는 선택사항이다. 그때, 구문 요소 num_tiles_in_roi_minus1은 각각의 관심 영역(60)에 속하는 각각의 관심 영역 패킷의 범위 내의 타일들의 수를 나타낸다. 그때, roi_tile_id는 각각의 관심 영역(60)에 속하는 i번째 타일들의 타일 식별을 나타낸다. 예를 들면, 화상(18)이 도 16에 도시된 방법으로 타일들(70)로 세분될 수 있고, 도 15의 관심 영역(60)이 화상(18)의 왼쪽 반에 상응할 수 있고 디코딩 순서 내의 제 1 및 제 3 타일에 의해 형성될 수 있는 것으로 여겨진다. 그때, 관심 영역 패킷은 도 16의 액세스 유닛(30)의 제 1 페이로드 패킷(32)이 앞에 위치될 수 있고, 그 뒤에 이러한 액세스 유닛(30)의 제 4 및 제 5 페이로드 패킷 사이의 또 다른 패킷이 뒤따른다. 그리고 나서, 제 1 관심 영역 패킷은 roi_tile_id[0]이 0인 0으로 설정되는 num_tile_in_roi_minus1을 가질 수 있으며, 제 5 페이로드 패킷(32) 앞의 제 2 관심 영역 패킷은 roi_tile_id[0]이 2로 설정되고(이에 의해 화상(18)의 왼쪽 하부 ¼에서 디코딩 순서 내의 제 3 타일을 표시하는) 0으로 설정되는 num_tile_in_roi_minus1을 가질 수 있다.
제 2 변형에 따르면, 관심 영역 보조 향상 정보 메시지의 구문은 도 32에 도시된 것과 같을 수 있다. 여기서, 단일 보조 향상 정보 메시지 내의 모든 관심 영역이 시그널링된다. 특히, 도 31과 관련하여 위에 설명된 것과 동일한 구문이 사용될 수 있으나, 수를 갖는, 각각의 관심 영역 보조 향상 정보 메시지 또는 관심 영역 패킷이 언급하는 다수의 관심 영역의 각각의 관심 영역들을 위한 구문 요소들의 곱셈이 구문 요소, 여기서는 바람직하게는 num_rois_minus1에 의해 시그널링된다. 선택적으로, 또 다른 구문 요소, 여기서는 바람직하게는 roi_presentation_on_separate_screen이 각각의 관심 영역을 위하여 각각의 관심 영역이 개별 스크린 상에서 표현되는데 적합한지를 시그널링할 수 있다.
시멘틱은 다음과 같을 수 있다:
num_rois_minus1은 프리픽스된 슬라이스 또는 디코딩 순서를 따르는 규칙적인 슬라이스들 내의 관심 영역들의 수를 나타낸다.
roi_id[i]는 i번째 관심 영역의 식별자를 나타낸다.
roi_priority[i]는 보조 향상 정보 메시지가 서브-화상 레벨 또는 액세스 유닛 레벨 상에 보내지는지에 따라 프리픽스된 슬라이스들 또는 디코딩 순서를 따르는 모든 슬라이스 내의 i번째 관심 영역에 속하는 모든 타일의 우선권을 나타낸다. roi_priority의 값은 0 내지 7의 범위 내에 존재하여야만 하며, 7은 가장 높은 우선권을 나타낸다. 만일 roi_info 보조 향상 정보 메시지 내의 roi_priority 및 서브-화상 타일 정보 보조 향상 정보 메시지들 내의 tile_priority 모두가 주어지면, 둘 모두의 가장 높은 값이 개별 타일들의 우선권을 위하여 유효하다.
num_tiles_in_roi_minus1[i]는 i번째 관심 영역에 속하는 디코딩 순서를 따르는 프리픽스된 슬라이스들 내의 타일들의 수를 나타낸다.
roi_tile_id[i][n]은 디코딩 순서를 따르는 프리픽스된 슬라이스들 내의 i번째 관심 영역에 속하는 n번째 타일의 tile_id를 나타낸다.
roi_presentation_on_separate_screen[i]는 i번째 roi_id와 관련된 관심 영역이 개별 스크린 상의 표현을 위하여 적합하다는 것을 나타낸다.
따라서, 지금까지 설명된 다양한 실시 예들을 요약하면, 보조 향상 정보 메시지뿐만 아니라 슬라이스 레벨 상의 네트워크 추상 계층 유닛 헤더 내에 포함되는 것들을 넘어 부가적인 고 레벨 구문 아이템들을 적용하도록 허용하는, 부가적인 고 레벨 구문 시그널링 전략이 제시되었다. 따라서, 본 발명의 발명자들은 슬라이스 프리픽스 네트워크 추상 계층 유닛을 설명하였다. 슬라이스 프리픽스 및 슬라이스 레벨/서브-화상 보조 향상 정보 메시지들의 구문과 시멘틱들이 저 지연/서브-화상 코딩된 화상 버퍼 작동들, 타일 시그널링 및 관심 영역 시그널링을 위한 용도와 함께 설명되었다. 부가적으로 슬라이스 프리픽스 내의 그 다음 슬라이스들이 슬라이스 헤더의 일부분을 시그널링하기 위하여 확장된 구문이 제시되었다.
완전성을 위하여, 도 33은 도 12 내지 14의 실시 예들에 따른 타이밍 제어 패킷을 위하여 사용될 수 있는 구문을 위한 또 다른 예를 도시한다. 시멘틱들은 다음과 같을 수 있다:
du_spt_cpb_removal_delay_increment는 현재 액세스 유닛 및 디코딩 유닛 정보 보조 향상 정보 메시지와 관련된 디코딩 유닛 내의 디코딩 순서 내의 마지막 디코딩 유닛의 명목상의 코딩된 화상 버퍼 시간들 사이의, 클록 서브-틱(sub-tick)들의 유닛들로 표시되는 기간을 지정한다. 이러한 값은 또한 부록 C에서 지정된 것과 같이, 디코딩 유닛 데이터의 가상 스트림 스케줄러를 위한 코딩된 화상 버퍼 내로의 도착의 가장 빠른 가능한 시간을 계산하도록 사용된다. 구문 요소는 비트로 표시되는 길이가 du_cpb_removal_delay_increment_length_minus1 +1에 의해 주어지는 고정된 길이 코드에 의해 표현된다. 디코딩 유닛 정보 보조 향상 정보 메시지와 관련된 디코딩 유닛이 현재 액세스 유닛 내의 마지막 디코딩 유닛일 때, du_spt_cpb_removal_delay_increment의 값은 0과 동일하여야만 한다.
1과 동일한 dpb_output_du_delay_present_flag는 디코딩 유닛 정보 보조 향상 정보 메시지 내의 pic_spt_dpb_output_du_delay 구문 요소의 존재를 지정한다. 0과 동일한 dpb_output_du_delay_present_flag는 디코딩 유닛 정보 보조 향상 정보 메시지 내의 pic_spt_dpb_output_du_delay 구문 요소의 부재를 지정한다.
pic_spt_dpb_output_du_delay는 SubPicHrdFlag가 1과 동일할 때 화상의 디코딩된 화상 버퍼 출력 시간을 계산하도록 사용된다. 이는 디코딩된 화상이 디코딩된 화상 버퍼로부터 출력되기 전에 코딩된 화상 버퍼로부터 액세스 유닛 내의 마지막 디코딩 유닛의 제거 후에 얼마나 많은 서브-클록 틱들이 대기하는지를 지정한다. 존재하지 않을 때, pic_spt_dpb_output_du_delay의 값은 pic_dpb_output_du_delay와 동일한 것으로 추론된다. 구문 요소 pic_spt_dpb_output_du_delay의 길이는 dpb_output_delay_du_length_minus1 +1에 의해 비트로 주어진다.
동일한 액세스 유닛과 관련된 모든 디코딩 유닛 정보 보조 향상 정보 메시지가 동일한 연산 지점에 적용되고, 1과 동일한 dpb_output_du_delay_present_flag가 pic_spt_dpb_output_du_delay의 동일한 값을 가져야만 하는 것이 비트스트림 적합성의 요구사항이다. 출력 시간 적합 디코더로부터 출력되는 어떠한 화상의 pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간은 디코딩 순서 내의 어떠한 뒤따르는 동시 버전 시스템(Concurrent Versions System, CVS) 내의 pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간을 선행하여야만 한다.
이러한 구문 요소의 값들에 의해 달성되는 화상 출력 순서는 PicOrderCntVal의 값들에 의해 달성되는 것과 동일한 순서이어야만 한다.
화상들이 디코딩 순서로, 1과 동일하거나 또는 1과 동일한 것으로 추론되는 no_output_of_prior_pics_flag_를 갖는 1과 동일한 NoRaslOutputFlag를 갖는 인트라 랜덤 액세스 위치(IRAP) 화상을 선행하기 때문에 "범핑" 과정에 의해 출력되지 않는 화상들을 위하여, pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간들은 동일한 동시 버전 시스템 내의 모든 화상과 관련하여 OicOrderCntValdml 값이 증가함에 따라 증가되어야만 한다. 동시 버전 시스템 내의 어떠한 두 화상을 위하여, SubPicHrdFlag가 1과 동일할 때 두 화상의 출력 시간들 사이의 차이는 SubPicHrdFlag가 0과 동일할 때의 동일한 차이와 동일하여야만 한다.
또한, 도 34는 관심 영역 패킷들을 사용하여 관심 영역을 시그널링하기 위한 또 다른 예를 도시한다. 도 34에 따르면, 관심 영역 패킷이 구문은 그것의 범위에 속하는 어떠한 페이로드 패킷(32)으로 인코딩된 화상(18)의 모든 서브-부분이 관심 영역에 속하는지를 나타내는 단지 하나의 플래그만을 포함한다. "범위"는 관심 영역 패킷 또는 region_refresh_info 보조 향상 정보 메시지의 발생까지 확장한다. 만일 플래그가 1이면, 영역은 각각의 뒤따르게 하는 페이로드 패킷(들)으로 인코딩되는 것으로 표시되고, 만일 0이면 반대로 적용되는데, 즉 화상(18)의 각각의 서브-부분들이 관심 영역(60)에 속하지 않는다.
타일, 슬라이스 및 파면 병렬 처리 서브-스트림 부-세분화와 같은, 위에서 사용된 일부 용어들의 부가적인 설명과 함께 다시 위 실시 예들의 일부를 설명하기 전에, 위 실시 예들의 고 레벨 시그널링은 대안으로서 [3-7]과 같은 전송 사양에서 정의될 수 있다는 것을 이해하여야 한다. 바꾸어 말하면, 위에 언급되고 시퀀스(34)를 형성하는 패킷들은 일부는 그 안에 완전히 패킷화되거나 또는 세분화되는 것과 같이 통합되는, 슬라이스들과 같은 작용 층의 서브-부분들을 갖고 일부는 위에 설명된 방식과 목적으로 시퀀스 사이에 배치되는, 전송 패킷들일 수 있다. 바꾸어 말하면, 위에 언급된 배치된 패킷들은 적용 층의 비디오 코덱에서 정의되는, 다른 형태의 네트워크 추상 계층 유닛들의 보조 향상 정보 메시지들로서 정의되는 것에 한정되지 않으나, 대안으로서 전송 프로토콜에서 정의되는 추가의 전송 패킷일 수 있다.
바꾸어 말하면, 본 발명의 일 양상에 따르면, 위 실시 예들은 비디오 콘텐츠의 화상들의 서브-부분들(코딩 트리 블록들 슬라이스들 참조)의 유닛들 내에 인코딩되는 비디오 콘텐츠를 갖는 비디오 데이터 스트림을 설명하였는데, 여기서 각각의 서브-부분이 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 하나 또는 그 이상의 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛 참조)으로 인코딩되고, 패킷들의 시퀀스는 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 페이로드 패킷들을 수집하기 위하여 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 적어도 일부 액세스 유닛이 두 개 또는 그 이상의 디코딩 유닛으로 세분되기 위하여 타이밍 제어 패킷들이 액세스 유닛들을 디코딩 유닛들로 세분화하도록 그 안에 배치되는 타이밍 제어 패킷들(슬라이스 프리픽스)을 가지며, 각각의 타이밍 제어 패킷은 디코딩 유닛에 대한 디코더 버퍼 검색 시간을 시그널링하고, 이의 페이로드 패킷들은 패킷들의 시퀀스 내의 각각의 타이밍 제어 패킷을 뒤따른다.
위에 설명된 것과 같이, 비디오 콘텐츠가 화상들의 서브-부분들의 유닛 내의 데이터 스트림으로 인코딩되는 것과 관련된 도메인은 코딩 방식들(인트라 방식, 인터 방식, 세분 정보 등과 같은), 예측 파라미터들(움직임 벡터, 외삽(extrapolation) 방향 등과 같은) 및/또는 잔류 데이터(변환 계수 레벨들)와 같은 예측 코딩과 관련된 구문 요소들을 커버할 수 있으며, 이러한 구문 요소들은 각각 코딩 트리 블록들, 예측 블록들 및 잔류(변환과 같은) 블록들과 같은 화상의 국부적 부분과 관련된다.
위에 설명된 것과 같이, 페이로드 패킷들은 각각 하나 또는 그 이상의 슬라이스(각각, 완전히)를 포함할 수 있다. 슬라이스들은 독립적으로 디코딩될 수 있거나 또는 그것들의 독립적인 디코딩을 저해하는 상관관계를 나타낼 수 있다. 예를 들면, 엔트로피 슬라이스들은 독립적으로 엔트로피 디코딩될 수 있으나, 슬라이스 경계들을 넘는 예측은 저해될 수 있다. 종속 슬라이스들은 파면 병렬 처리, 즉 시간 오버래핑 방식으로, 그러나 개별 종속 슬라이스들 및 종속 슬라이스들에 의해 언급되는 슬라이스/슬라이스들의 코딩/디코딩 과정의 스태거형 개시(staggered commence) 방식으로 종속 슬라이스들을 병렬로 코딩/디코딩하는 능력으로 슬라이스 경계들을 넘어 엔트로피 및 예측 코딩을 사용하는 코딩/디코딩을 허용한다.
액세스 유닛의 페이로드 패킷들이 각각의 액세스 유닛 내에 배치되는 순차적 순서는 디코더에 미리 알려질 수 있다. 예를 들면, 코딩/디코딩 순서는 위의 예들에서 코딩 트리 블록들 중에서의 스캐닝 순서와 같은 화상들의 서브-부분들 중에서 정의될 수 있다.
예를 들면, 아래의 도면이 참조된다. 현재 코딩/디코딩되는 화상(100)은 예를 들면, 도 35 및 36에서 바람직하게는 화상(110)의 4개의 사분면과 상응하고 참조부호 112a-112d로 표시되는 타일들로 분할될 수 있다. 즉, 전체 화상(110)은 도 37의 경우에서와 같이 하나의 타일을 형성할 수 있거나 또는 하나 이상의 타일로 분할될 수 있다. 타일 분할은 타일들이 행들과 열들 내에만 배치되는 정규 슬라이스들에 한정될 수 있다.
보이는 것과 같이, 화상(100)은 코딩 순서(116)가 정의되는(여기서는 래스터 스캔 순서, 그러나 또한 다를 수 있는) 코딩 (트리) 블록들(도면에서 작은 박스 및 위에서 CTB로 불리는)로 더 세분될 수 있다. 화상의 타일들(112a-d)로의 세분은 타일들이 블록들(114)의 분리 집합(disjoint set)이 되도록 제한될 수 있다. 부가적으로, 블록들(114) 및 타일들(112a-d) 모두 행들과 열들 내의 정규 배치에 제한될 수 있다.
만일 타일들(즉 하나 이상의 타일)이 존재하면, (디)코딩 순서(116)는 첫 번째 완전한 타일을 먼저 래스터 스캔하고 그리고 나서 또한 래스터 스캔 순서로, 타일 순서 내의 그 다음 타일로 이행된다.
타일들이 공간적 예측들 및 공간적 이웃으로부터 추론된 콘텍스트 선택들에 의한 타일 경계들의 비-교차에 기인하여 서로 독립적으로 인/디코딩될 수 있기 때문에, 인코더(10)와 디코더(12)는 서로 독립적으로(예를 들면, 타일 경계들을 교차하도록 허용될 수 있는 인-루프(in-loop) 또는 후-필터링을 제외하고) 병렬로, 타일들(112, 이전에 70으로 표시된)로 세분되는 화상을 인코딩/디코딩할 수 있다.
화상(110)은 슬라이스들(118a-d, 이전에 참조번호 24를 사용하여 표시된)로 더 세분될 수 있다. 슬라이스는 단지 타일의 일부분, 하나의 완전한 타일 또는 하나 이상의 완전한 타일을 포함할 수 있다. 따라서, 슬라이스들로의 세분은 또한 도 35의 경우에서와 같이 타일들을 세분할 수 있다. 각각의 슬라이스는 적어도 하나의 완전한 코딩 블록(114)을 포함하고 이에 따라 도면의 지수가 할당되는 슬라이스들(118a-d) 중에서 순서가 정의되도록 코딩 순서(116) 내의 연속적인 코딩 블록들(114)로 구성된다. 도 35 내지 37의 슬라이스 세분은 단지 설명의 목적을 위하여 선택되었다. 타일 경계들은 데이터 스트림 내에 시그널링될 수 있다. 화상(110)은 도 37에 도시된 것과 같이 단일 타일을 형성할 수 있다.
인코더(10)와 디코더(12)는 공간 예측이 타일 경계들을 가로질러 적용되지 않는다는 점에서 타일 경계들을 따르도록 구성될 수 있다. 콘텍스트 적응, 즉 다양한 엔트로피 (산술) 콘텍스트들의 확률 적응은 전체 슬라이스에 걸쳐 계속될 수 있다. 그러나, 슬라이스가 코딩 순서(116)를 따라, 슬라이스들(118a, b)과 관련하여 도 36에서와 같이 타일 경계(만일 슬라이스의 내부에 존재하면)를 가로지르면, 슬라이스는 차례로, 서브섹션들(서브스트림들 또는 타일들)로 세분되고, 슬라이스는 각각의 서브섹션의 시작을 가리키는 포인터들(예를 들면 entry_point_offset)을 포함한다. 디코더-루프에서, 필터들은 경계들을 가로지르도록 허용될 수 있다. 그러한 필터들은 디블록킹 필터(deblocking filter), 샘플 적응 오프셋(sample adaptive offset, SAO) 필터 및 적응적 루프 필터(Adaprive Loop Filter, ALF) 중 하나 또는 그 이상을 포함할 수 있다. 후자는 만일 활성화되면 타일/슬라이스 경계들을 넘어 적용될 수 있다.
각각의 선택적 제 2 및 그 다음 서브섹션들은 하나의 서브섹션의 시작부터 그 다음 서브섹션의 시작까지의 오프셋을 나타내는 포인터를 갖는 슬라이스 내에 바이트로 장렬되어 위치되는 그것들의 시작을 가질 수 있다. 서브섹션들은 스캔 순서(116)로 슬라이스들 내에 배치된다. 도 38은 바람직하게는 서브섹션들(119)로 세분되는 도 37의 슬라이스(180c)를 갖는 일례를 도시한다.
도면들과 관련하여 타일들이 서브파트(subpart)들을 형성하는 슬라이스들은 타일(112a) 내의 열로 끝날 필요는 없다. 예를 들면, 도 37과 38의 슬라이스(118a)가 참조된다.
아래의 도면은 위의 도 38의 화상(110)과 관련된 액세스 유닛과 관련하여 데이터 스트림의 바람직한 부분을 도시한다. 여기서, 각각의 페이로드 패킷(122a-d), 이전에 참조번호 32로 표시된)은 바람직하게는 단지 하나의 슬라이스(118a)만을 수용한다. 두 개의 타이밍 제어 패킷(124a, b, 이전에 참조번호 36으로 표시된)은 설명의 목적을 위하여 액세스 유닛(120) 내에 배치되는 것으로 도시된다: 124a는 패킷 순서(126, 디/인코딩 시간 축과 상응하는) 내의 패킷(122a)을 선행하고 124b는 패킷(122c)을 선행한다. 따라서, 액세스 유닛(120)은 두 개의 디코딩 유닛(128 a, b, 이전에 참조번호 38로 표시된)으로 세분되는데, 이들 중 첫 번째 하나는 패킷들(122a, b, 선택적 필러 데이터 패킷들(각각, 다음의 제 1 및 제 2 패킷(122a, b)을 선행하는)과 함께) 및 선택적 액세스 유닛 리딩 보조 향상 정보 패킷들(제 1 패킷(122a)을 선행하는)을 포함하고 이들 중 두 번째 하나는 패킷들(118c, d)을 포함한다(선택적 필러 데이터 패킷들(각각 다음의 패킷들(122 c, d)과 함께).
위에 설명된 것과 같이, 패킷들의 시퀀스의 각각의 패킷은 복수의 패킷 형태(nal_unit_type) 중에서 정확하게 하나의 패킷 형태로 할당될 수 있다. 페이로드 패킷들과 타이밍 제어 패킷들(및 선택적 필러 데이터 및 보조 향상 정보 패킷들)은 예를 들면, 서로 다른 패킷 형태들이다. 패킷들의 시퀀스 내의 특정 패킷 형태의 패킷들의 인스턴스 생성(instantiation)은 특정 제한들의 대상이 된다. 이러한 제한들은 액세스 유닛 경계들(130a, b)이 검출되도록 각각의 액세스 유닛 내의 패킷들에 의해 따르게 되는 패킷 형태들(도 17 참조) 중에서 순서를 정의할 수 있으며, 비록 어떠한 제거가능한 패킷 형태의 패킷들이 비디오 데이터 스트림으로부터 제거되더라도 패킷들의 시퀀스 내의 동일한 위치에 남을 수 있다. 예를 들면, 페이로드 패킷들은 비-제거가능한 패킷 형태이다. 그러나, 타이밍 제어 패킷들, 필러 데이터 패킷들 및 보조 향상 정보 패킷들은 위에 설명된 것과 같이, 제거가능한 패킷 형태일 수 있는데, 즉 그것들은 비-비디오 코딩 계층 네트워크 추상 계층 유닛들이다.
위의 예에서, 타이밍 제어 패킷들은 slice_prefix_rbsp()의 구문에 의해 분명하게 예시되었다.
타이밍 제어 패킷들의 그러한 배치를 사용하여, 인코더는 비디오 콘텐츠의 개별 화상들을 인코딩하는 과정 동안에 디코더 면에서 버퍼링 스케줄링을 조정하는 것이 가능하다. 예를 들면, 인코더는 종단간 지연을 최소화하기 위하여 버퍼 스케줄링을 최적화하는 것이 가능하다. 이와 관련하여, 인코더는 비디오 콘텐츠의 개별 화상들을 위한 비디오 콘텐츠의 화상 영역을 가로질러 코딩 복잡도의 개별 분포를 고려하는 것이 가능하다. 특히, 인코더는 패킷-대-패킷(packet-by-packet) 기준으로(즉, 현재 패킷이 완료되자마자 출력되는) 패킷들(122, 122-a-d, 122a-d1-3)의 시퀀스를 연속적으로 출력할 수 있다. 타이밍 제어 패킷들의 사용에 의해, 인코더는 현재 화상의 서브-부분들의 일부가 이미 각각의 페이로드 패킷들로 인코딩되었으나 나머지 서브-부분들은 아직 인코딩되지 않은 순간들에서 디코딩 면에서 버퍼 스케줄링을 조정할 수 있다.
따라서, 패킷들의 시퀀스가 액세스 유닛들의 시퀀스로 세분되고 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 페이로드 패킷들을 수집하도록 각각 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 하나 또는 그 이상의 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛들 참조)으로의 각각의 서브-부분의 인코딩과 함께, 비디오 콘텐츠의 화상들의 서브-부분들(코딩 트리 블록들, 타일들 또는 슬라이스들 참조)의 유닛들 내의 비디오 데이터 스트림 비디오 콘텐츠로의 인코딩을 위한 인코더는 적어도 일부 액세스 유닛들이 두 개 또는 그 이상의 디코딩 유닛으로 세분되기 위하여 타이밍 제어 패킷들이 액세스 유닛들을 디코딩하도록 타이밍 제어 패킷들(슬라이스 프리픽스)의 시퀀스 내로 배치하도록 구성될 수 있으며, 각각의 타이밍 제어 패킷은 디코딩 유닛에 대한 디코더 버퍼 검색 시간을 시그널링하며, 페이로드 패킷들은 패킷들의 시퀀스 내의 각각의 타이밍 제어 패킷을 뒤따르도록 구성된다.
방금 설명된 비디오 데이터 스트림을 수신하는 어떠한 디코더도 타이밍 제어 패킷 내에 포함된 스케줄링 정보를 자유롭게 이용한다. 그러나, 디코더가 정보를 자유롭게 이용하나, 코덱 레벨을 따르는 디코더는 표시된 타이밍 이후의 데이터를 디코딩할 수 있어야만 한다. 만일 이용이 발생하면, 디코더는 그것의 디코더 버퍼를 제공하고 디코딩 유닛들의 유닛들 내의 그것의 디코더 버퍼를 비운다. "디코더 버퍼"는 위에 설명된 것과 같이, 디코딩된 화상 버퍼 및/또는 코딩된 화상 버퍼를 포함한다.
따라서, 각각의 서브-부분이 각각 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 하나 또는 그 이상의 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛들 참조)으로 인코딩되고, 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 페이로드 패킷들을 수집하기 위하여 패킷들의 시퀀스가 액세스 유닛들의 시퀀스로 세분되는, 비디오 콘텐츠의 화상들의 서브-부분들(코딩 트리 블록들, 타일들 또는 슬라이스들 참조)의 유닛들 내의 그 안에 인코딩된 비디오 콘텐츠를 갖는 비디오 데이터 스트림은 패킷들의 시퀀스 내에 배치되는 타이밍 제어 패킷들을 찾고, 적어도 일부 액세스 유닛들이 두 개 또는 그 이상의 디코딩 유닛들로 세분되도록 타이밍 제어 패킷들에서 액세스 유닛들을 디코딩 유닛들로 세분하며, 각각의 타이밍 제어 패킷으로부터 이들의 페이로드 패킷들이 패킷들의 시퀀스 내의 각각의 타이밍 제어 패킷을 뒤따르게 하는, 디코딩 유닛에 대한 디코더 버퍼 검색 시간을 유도하며, 디코딩 유닛들에 대한 디코더 버퍼 검색 시간들에 의해 정의되는 시간들에서 스케줄링된 디코더의 버퍼로부터 디코딩 유닛들을 검색하도록 구성될 수 있다.
타이밍 제어 패킷의 찾기는 네트워크 추상 계층 유닛 헤더 및 이에 의해 포함되는 구문 요소, 즉 nal_unit_type를 검사하는 디코더를 포함할 수 있다. 만일 뒤의 플래그의 값이 일부 값과 동일하면, 즉 위의 실시 예들에 따라 124이면, 현재 검사된 패킷은 타이밍 제어 패킷이다. 즉, 타이밍 제어 패킷은 슈도 코드 subpic_buffering뿐만 아니라 subpic_timing과 관련하여 위에 설명된 정보를 포함하거나 또는 전달할 수 있다. 즉, 타이밍 제어 패킷들은 디코더를 위한 초기 코딩된 화상 버퍼 제거 지연들을 전달하거나 또는 지정할 수 있거나 혹은 각각의 디코딩 유닛의 코딩된 화상 버퍼로부터의 제거 후에 얼마나 많은 클록 틱들이 대기하는지를 지정할 수 있다.
.액세스 유닛을 또 다른 디코딩 유닛들로 본의 아니게 더 세분하지 않고 타이밍 제어 패킷들의 중복 전송을 허용하기 위하여, 타이밍 제어 패킷들 내의 플래그는 현재 타이밍 제어 패킷이 코딩 유닛들로의 액세스 유닛 세분에 참여하는지를(디코딩 유닛의 시작을 나타내는 decoding_unit_start_flag = 1, 및 반대편 상황을 시그널링하는 decoding_unit_start_flag = 0을 비교) 명확하게 시그널링할 수 있다.
배치된 디코딩 유닛이 관련된 타일 식별 정보의 사용 양상은 타일 식별 패킷들이 데이터 스트림 내에 배치된다는 점에서 배치된 디코딩 유닛이 관련된 타이밍 제어 패킷들의 사용 양상과 다르다. 위에 언급된 타이밍 제어 패킷들은 부가적으로 데이터 스트림 내에 배치될 수 있거나 또는 디코더 버퍼 검색 시간들은 일반적으로 동일한 패킷 내의 아래에 설명되는 타일 식별 정보와 함께 전달될 수 있다. 따라서, 위의 섹션에서 제기된 내용들은 아래의 설명에서의 문제점들을 명확하게 하기 위하여 사용될 수 있다.
위에 설명된 실시 예들로부터 유래할 수 있는 본 발명의 또 다른 양상은 비디오 콘텐츠의 화상들이 공간적으로 세분되는 타일들의 내부로의 엔트로피 코딩 및/또는 예측 코딩의 예측의 제한을 갖는, 슬라이스들 중에서의 코딩 순서를 사용하여, 비디오 콘텐츠의 화상들이 공간적으로 세분되는 슬라이스들의 유닛들 내의, 예측 및 엔트로피 코딩을 사용하여, 그 안에 인코딩되는 비디오 콘텐츠를 갖는 비디오 데이터 스트림을 나타내는데, 코딩 순서 내의 슬라이스들의 시퀀스는 코딩 순서 내의 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 페이로드 패킷들로 패킷화되고, 패킷들의 시퀀스는 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 그 안에 패킷화된 슬라이스들을 갖는 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 패킷들의 시퀀스 내의 각각의 타일 식별 패킷 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화된 슬라이스들(잠재적으로 단지 하나)에 의해 오버레이되는 타일들(잠재적으로 단지 하나)을 식별하는 그 안에 배치되는 타일 식별 패킷들을 갖는다.
예를 들면, 데이터 스트림을 도시한 바로 이전의 도면이 참조된다. 패킷들(124a 및 124b)은 이제 식별 패킷들을 표현하여야만 한다. 분명한 시그널링(single_slice_flag = 1 비교) 또는 관례에 의해, 타일 식별 패킷은 단지 바로 다음의 페이로트 패킷(122a)으로 패킷화되는 슬라이스들에 의해 오버레이되는 타일들만을 식별할 수 있다. 대안으로서, 분명한 시그널링 또는 관례에 의해, 타일 식별 패킷(124a)은 각각, 현재 액세스 유닛(120)의 단부(130b)의 초기, 및 그 다음 디코딩 유닛(128b)의 시작까지 패킷들의 시퀀스 내의 각각의 타일 식별 패킷(124a) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화된 슬라이스들에 의해 오버레이되는 타일들을 식별할 수 있다. 예를 들면 도 35가 참조된다. 만일 {122a1-3},{122b1-3} 및 {122c1-3, 122d1-3)에 따라 패킷들이 세 개의 디코딩 유닛으로 그룹화되는 것과 같이 디코딩 유닛들로의 세분과 함께, 각각의 슬라이스(118a-d1-3)가 개별적으로 각각의 패킷(122a-d1-3)으로 세분되었으면, 제 3 디코딩 유닛의 패킷들{122c1-3, 122d1-3)로 패킷화된 슬라이스들{118c1-3, 118d1-3}은 예를 들면, 타일들(112c 및 112d)을 오버레이하고, 상응하는 슬라이스 프리픽스는 예를 들면, 완전한 디코딩 유닛을 언급할 때, "c" 및 "d", 즉 이러한 타일들(112c 및 112d)을 나타낸다.
따라서, 아래에 더 언급되는 네트워크 엔티티는 각각의 타일 식별 패킷을 패킷들의 시퀀스 내의 식별 패킷 바로 다음의 하나 또는 그 이상의 페이로드 패킷과 정확하게 관련시키기 위하여 이러한 분명한 시그널링 또는 관례를 사용할 수 있다. 식별이 시그널링될 수 있는 방법은 바람직하게는 슈도 코드(subpic_tile_info)에 의해 위에서 설명되었다. 관련 페이로드 패킷들은 위에서 "프리픽스된 슬라이스들"로서 언급되었다. 자연적으로, 예는 변형될 수 있다. 예를 들면, 구문 요소들 "tile_priority"는 남을 수 있다. 또한, 구문 요소들 중에서의 순서는 전환될 수 있고 가능한 비트 길이들 및 디코딩 원리들에 대한 기술자(descriptor)는 단지 실례가 되는 것이다.
비디오 데이터 스트림(즉, 코딩 순서 내의 타일들의 시퀀스가 코딩 순서 내의 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 페이로드 패킷들로 패킷화되고, 패킷들의 시퀀스는 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 그 안에 패킷화된 슬라이스들을 갖는 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 그 안에 배치되는 타일 식별 패킷을 갖는, 비디오 콘텐츠의 화상들이 공간적으로 세분되는 타일들의 내부로의 예측 코딩 및/또는 엔트로피 코딩의 예측들의 제한을 갖는, 슬라이스들 중에서의 코딩 순서를 사용하여, 비디오 콘텐츠의 화상들이 공간적으로 세분되는 슬라이스들의 유닛들 내의. 예측 및 엔트로피 코딩을 사용하여, 그 안에 인코딩되는 비디오 콘텐츠를 갖는 비디오 데이터 스트림)은 타일 식별 패킷들을 기초로 하여, 패킷들의 시퀀스 내의 각각의 타일 식별 패킷 바로 다음의 하나 또는 그 이상의 페이로드 패킷들로 패킷화되는 슬라이스들에 의해 오버레이되는 타일들을 식별하도록 구성될 수 있다. 네트워크 엔티티는 전송 작업들을 결정하기 위하여 식별 결과를 사용할 수 있다. 예를 들면, 네트워크 엔티티는 재생을 위한 서로 다른 우선권을 갖는 서로 다른 타일들을 처리할 수 있다. 예를 들면, 패킷 상실의 경우에 있어서 높은 우선권의 타일들과 관련하여 그러한 페이로드 패킷들은 낮은 우선권의 타일들과 관련하여 페이로드 패킷들에 대한 재전송을 위하여 바람직할 수 있다. 즉, 네트워크 엔티티는 우선 높은 우선권의 타일들과 관련하여 상실된 페이로트 패킷들의 재전송을 요구할 수 있다. 단지 충분한 시간이 남은 경우에만(재전송 비율에 의존하여) 네트워크 엔티티는 낮은 우선권의 타일들과 관련하여 상실된 페이로드 패킷들의 재전송을 진행한다. 그러나, 네트워크 엔티티는 또한 서로 다른 스크린에 특정 타일들과 관련하여 타일들 또는 페이로드 패킷들을 할당할 수 있는 재생 유닛일 수 있다.
배치된 관심 영역 정보의 사용 양상과 관련하여, 아래에 언급되는 관심 영역 패킷들은 슬라이스 프리픽스들과 관련하여 위에 설명된 것과 같이 공통 패킷들 내의 그것들의 정보 콘텐츠의 결합에 의하거나, 또는 개별 패킷들의 형태로, 위에 언급된 타이밍 제어 패킷들 및/또는 타일 식별 패킷들과 공존할 수 있다는 것을 이해하여야 한다.
위에 설명된 것과 같이 배치된 관심 영역 정보의 사용 양상은 바꾸어 말하면, 비디오 콘텐츠의 화상이 세분되는 타일들의 내부로의 예측 코딩의 예측들 및/또는 엔트로피 코딩을 갖는, 슬라이스들 중에서의 코딩 순서를 사용하여, 비디오 콘텐츠의 화상들이 공간적으로 세분되는 슬라이스들의 유닛들 내의, 예측 및 엔트로피 코딩을 사용하여, 그 안에 코딩된 비디오 콘텐츠를 갖는 비디오 데이터 스트림을 나타내며, 코딩 순서 내의 타일들의 시퀀스는 코딩 순서 내의 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 페이로드 패킷들로 패킷화되고, 패킷들의 시퀀스는 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 그 안에 패킷화된 슬라이스들을 갖는 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 각각, 화상들의 관심 영역에 속하는 화상들의 타일들을 식별하는 그 안에 배치되는 관심 영역 패킷들을 갖는다.
관심 영역 패킷들과 관련하여, 타일 식별 패킷들과 관련하여 이전에 제공된 것과 유사한 적합성이 유효하다: 관심 영역 패킷들은 "프리픽스된 슬라이스들"과 관련하여 위에 설명된 것과 같이 각각의 관심 영역 패킷이 그것의 바로 선행하는 하나 또는 그 이상의 패킷들에 의해 나타내는 하나 또는 그 이상의 페이로드 패킷 내에 포함된 슬라이스들에 의해 오버레이되는 단지 그러한 타일들 중에서 화상의 관심 영역에 속하는 화상들의 타일들을 식별할 수 있다.
관심 영역 패킷들은 각각의 이러한 관심 영역들(예를 들면 num_rois_minus1)을 위한 관련 타일들의 식별과 함께 프리픽스된 슬라이스들 당 하나 이상의 관심 영역의 식별을 허용한다. 그리고 나서, 각각의 관심 영역을 위하여, 우선권(예를 들면 roi_priority[i])과 관련하여 관심 영역들의 순위화를 허용하는 우선권이 전송될 수 있다. 비디오의 화상 시퀀스 동안에 시간에 따른 관심 영역들의 "추적(tracking)"을 허용하기 위하여, 각각의 관심 영역은 관심 영역 패킷들 내에 표시되는 관심 영역들이 화상 경계들을 넘어/가로질러, 즉 시간에 따라 서로 관련되도록 하기 위하여 관심 영역 지수로 지수화될 수 있다(예를 들면 roi_id[i]).
비디오 데이터 스트림(즉, 코딩 순서 내의 슬라이스들의 시퀀스가 코딩 순서 내의 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 페이로드 패킷들로 패킷화되고, 패킷들의 시퀀스는 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 그 안에 패킷화된 슬라이스들을 갖는 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되는, 비디오 콘텐츠의 화상들이 세분되는 타일들의 내부로의 예측 코딩의 예측들을 제한하나, 전체 슬라이스에 걸쳐 엔트로피 코딩의 확률 적응의 지속을 갖는, 슬라이스들 중에서의 코딩 순서를 사용하여, 비디오 콘텐츠의 화상들이 공간적으로 세분되는 슬라이스들의 유닛들 내의. 예측 및 엔트로피 코딩을 사용하여, 그 안에 인코딩되는 비디오 콘텐츠를 갖는 비디오 데이터 스트림)을 수신하는 네트워크 엔티티는 타일 식별 패킷들을 기초로 하여 화상들의 관심 영역에 속하는 타일들을 오버레이하는 슬라이스들을 패킷화하는 패킷들을 식별하도록 구성될 수 있다.
네트워크 엔티티는 타일 식별 패킷들과 관련하여 위의 이전 섹션에서 설명된 것과 유사한 방식으로 관심 영역 패킷에 의해 전달되는 정보를 이용할 수 있다.
현재 섹션뿐만 아니라 이전 섹션과 관련하여, 미디어 인식 네트워크 요소 또는 디코더와 같은, 어떠한 네트워크 엔티티도 간단하게 화상들의 슬라이스들의 슬라이스 순서의 조사 및 위에서 설명된 것과 같이 데이터 스트림 내에 분명하게 시그널링될 수 있거나 또는 관례에 의해 인코더와 디코더에 알려질 수 있는, 화상 내의 타일들의 위치와 관련하여, 이러한 슬라이스가 커버하는 현재 화상의 부분의 진행의 조사에 의해 어떠한 타일 또는 타일들이 현재 검사되는 페이로드 패킷들의 슬라이스 또는 슬라이스들에 의해 오버레이되는지를 확인할 수 있다. 대안으로서, 디코더가 각각의 슬라이스를 이러한 제 1 코딩 블록으로부터 슬라이스 순서의 방향으로 화상 내로 위치시키기 위하여 각각의 슬라이스(스캔 순서 내의 화상의 첫 번째를 제외하고)에 동일하게 언급되는(동일한 코덱들) 제 1 코딩 블록(예를 들면 CTB)의 표시/지수(코딩 트리 블록들의 유닛들로 측정되는 slice_address)이 제공될 수 있다. 따라서, 만일 앞서 언급된 타일 정보 패킷들이 단지 각각의 타일 식별 패킷 바로 다음의 관련되는 하나 또는 그 이상의 페이로드 패킷들의 어떠한 슬라이스에 의해 오버레이되는 제 1 타일(first_tile_id_in_prefixed_slices)의 지수를 포함하면 이는 충분할 수 있는데 그 이유는 그 다음의 타일 식별 패킷과 맞닥뜨리는 네트워크 엔티티를 위하여 만일 후자의 타일 식별 패킷이 하나 이상에 의해 이전의 타일과 다르면, 그러한 두 타일 식별 패킷 사이의 페이로드 패킷들은 그것들 사이의 지수를 갖는 타일들을 커버하는 것이 자명하기 때문이다. 만일 위에 설명된 것과 같이, 타일 세분과 코딩 블록 세분 모두 예를 들면, 타일들과 코딩 블록 모두를 위하여 열 방식인, 즉 타일 지수가 이러한 래스터 순서로 증가할 뿐만 아니라 슬라이스들이 코딩 블록들 중에서 이러한 래스터 스캔 순서를 따라 슬라이스 순서에 따라 서로 뒤따르게 하는, 그것들 사이에서 정의되는 래스터 스캔 순서를 갖는 열/행 방식의 세분을 기초로 하면, 이는 사실이다.
위의 실시 예들로부터 도출할 수 있는 설명된 패킷화되고 배치된 슬라이스 헤더 시그널링의 양상은 또한 앞서 언급된 양상들 또는 그것들의 조합 중 어느 하나와 결합될 수 있다. 예를 들면, 버전 2에 따른 이전에 분명하게 설명된 슬라이스 프리픽스들은 이러한 모든 양상을 통합하였다. 본 양상의 장점은 그것들이 프리픽스된 슬라이스들/페이로드 패킷들 외부의 자족적(self contained) 패킷들 내에 전달되기 때문에 네트워크 엔티티들을 위하여 더 쉽게 이용가능한 슬라이스 헤더 데이터를 제공하는 가능성이며, 슬라이스 헤더 데이터의 반복적 재전송이 가능하다.
따라서, 본 발명의 또 다른 양상은 패킷화되고 배치된 슬라이스 헤더 시그널링의 양상이고 바꾸어 말하면, 비디오 콘텐츠의 화상들의 서브-부분들(코딩 트이 블록들 또는 슬라이스들 참조)의 유닛들 내의 그 안에 인코딩되는 비디오 콘텐츠를 갖는 비디오 데이터 스트림을 나타내는 것으로 볼 수 있으며, 각각의 서브-부분은 각각 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 하나 또는 그 이상의 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛들 참조)으로 인코딩되고, 패킷들의 시퀀스는 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 패킷들의 시퀀스 내의 각각의 슬라이스 헤더 패킷을 뒤따르게 하는 하나 또는 그 이상의 페이로드 패킷을 위한, 그리고 이것들이 실종된, 슬라이스 헤더 데이터를 전달하는 그 안에 배치되는 슬라이스 헤더 패킷들(슬라이스 프리픽스)을 갖는다.
비디오 데이터 스트림(즉, 각각의 서브-부분이 각각 비디오 데이터 스트림의 패킷들(네트워크 추상 계층 유닛들)의 시퀀스의 하나 또는 그 이상의 페이로드 패킷(비디오 코딩 계층 네트워크 추상 계층 유닛들 참조)으로 인코딩되고, 패킷들의 시퀀스가 각각의 액세스 유닛이 비디오 콘텐츠의 각각의 화상과 관련하여 페이로드 패킷들을 수집하도록 액세스 유닛들의 시퀀스로 세분되며, 패킷들의 시퀀스는 그 안에 배치되는 슬라이스 헤더 패킷들을 갖는, 비디오 콘텐츠의 화상들의 서브-부분들(코딩 트리 블록들 또는 슬라이스들 참조)이 유닛들 내의 그 안에 인코딩된 비디오 콘텐츠를 갖는 비디오 데이터 스트림)을 수신하는 네트워크 엔티티는 패킷들로부터 슬라이스들을 위한 페이로드 데이터와 함께 슬라이스 헤더를 판독하나, 슬라이스 헤더 패킷들로부터 슬라이스 헤더를 유도하며, 패킷들의 시퀀스 내의 각각의 슬라이스 헤더 패킷을 뒤따르게 하는 하나 또는 그 이상의 페이로드 패킷을 위한 판독을 스키핑(skipping)하나, 대신에 하나 또는 그 이상의 페이로드 패킷이 따르는 슬라이스 헤더 패킷으로부터 유도되는 슬라이스 헤더를 적용하도록 구성될 수 있다.
위에 언급된 양상들에서 사실이었던 것과 같이, 패킷들, 여기서는 슬라이스 헤더 패킷들은 또한 미디어 인식 네트워크 요소 또는 디코더와 같은 어떠한 네트워크 엔티티에 디코딩 유닛의 시작 혹은 각각의 패킷에 의해 프리픽스된 하나 또는 그 이상의 페이로드 패킷의 런들의 시작을 나타내는 기능성을 가질 수 있다. 따라서, 본 발명의 양상의 따른 네트워크 엔티티는 후자의 플래그가 위에 설명된 것과 같이, 디코딩 유닛들 내의 특정 슬라이스 헤더 패킷들의 복사들의 재전송을 가능하게 하는 decoding_unit_start_flag와 결합하여, 슬라이스 헤더의 판독이 이러한 패킷의 앞서 언급된 구문 요소들, 즉 single_slice_flag를 기초로 하여 페이로드 패킷들을 식별할 수 있다. 이는 예를 들면, 하나의 코딩 유닛 내의 슬라이스들의 슬라이스 헤더가 슬라이스들의 시퀀스를 따라 변경될 수 있기 때문에 유용하며, 따라서, 디코딩 유닛들의 시작에서 슬라이스 헤더 패킷들은 설정된(1과 동일한) decoding_unit_start_flag를 가질 수 있으나, 어떠한 네트워크 엔티티도 새로운 디코딩 유닛의 시작으로서 이러한 슬라이스 헤더 패킷의 발생을 거짓으로 해석하는 것을 방지하기 위하여, 그것들 사이에 위치되는 슬라이스 헤더 패킷들은 설정되지 않은 이러한 플래그를 가질 수 있다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
본 발명의 비디오 데이터 스트림은 디지털 저장 매체 상에 저장될 수 있거나 혹은 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체 상에 잔송딜 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(또는 디지털 저장 매체,또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-전이형이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 광학적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
이에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, Overview of the H.264/AVC Video Coding Standard, IEEE Trans. Circuits Syst. Video Technol., vol. 13, N7, July 2003.
[2] JCT-VC, "High-Efficiency Video Coding (HEVC) text specification Working Draft 7", JCTVC-I1003, May 2012.
[3] ISO/IEC 13818-1: MPEG-2 Systems specification.
[4] IETF RFC 3550 Real-time Transport Protocol.
[5] Y.-K. Wang et al. ,RTP Payload Format for H.264 Video, IETF RFC 6184, http://tools.ietf.org/html/
[6] S. Wenger et al., RTP Payload Format for Scalable Video Coding, IETF RFC 6190, http://tools.ietf.org/html/rfc6190
[7] T. Schierl et al., RTP Payload Format for High Efficiency Video Coding, IETF internet draft, http://datatracker.ietf.org/doc/draft-schierl-payload-rtp-h265/
본 분할출원은 원출원 최초청구항의 내용을 실시예로서 아래에 포함하였다.
[실시예 1]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 인코딩되고, 상기 패킷들의 시퀀스는 각각의 액세스 유닛(30)의 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 상기 페이로드 패킷들(32)을 수집하기 위하여 상기 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 화상들(18)의 서브-부분들(24)의 유닛들 내에서 인코딩되는 상기 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림에 있어서,
상기 패킷들의 시퀀스(34)는 적어도 일부 액세스 유닛(30)이 두 개 또는 그 이상의 디코딩 유닛(38)으로 세분되기 위하여 타이밍 제어 패킷들(36)이 상기 액세스 유닛들(30)을 상기 디코딩 유닛들(38)로 세분화하도록 그 안에 배치되는 타이밍 제어 패킷들(36)을 갖고, 각 타이밍 제어 패킷(36)은 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 시그널링하며, 상기 페이로드 패킷들(32)은 상기 패킷들의 시퀀스(34) 내의 상기 각각의 타이밍 제어 패킷(36)을 뒤따르게 하도록 구성되는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 2]
제 1실시예에 있어서, 상기 서브-부분들(24)은 슬라이스들이고, 각각의 상기 페이로드 패킷(32)은 하나 또는 그 이상의 상기 슬라이스를 포함하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 3]
제 2실시예에 있어서, 상기 슬라이스들은 독립적으로 디코딩할 수 있는 슬라이스들 및 파면 병렬 처리를 위하여, 슬라이스 경계들을 넘어 엔트로피 및 예측 디코딩을 사용하여 디코딩하도록 허용하는 종속 슬라이스들을 포함하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 4]
제 1실시예 내지 3실시예 중 어느 한 실시예에 있어서, 상기 패킷들의 시퀀스(34)의 각각의 패킷은 상기 페이로드 패킷들(32)을 갖는 복수의 패킷 형태 중 정확하게 하나의 패킷 형태에 할당될 수 있고 상기 타이밍 제어 패킷들(36)은 서로 다른 패킷 형태들이며, 상기 패킷들의 시퀀스(34) 내의 상기 복수의 패킷 형태의 패킷들의 발생들은 제한들이 대상이 되는 경우들을 검출함으로써 상기 제한들을 사용하여 액세스 유닛 경계들이 검출가능하도록 각각의 상기 액세스 유닛(30) 내의 패킷들에 의해 따르게 되는 상기 패킷 형태들 중에서 순서를 정의하는 특정 제한들의 대상이 되고, 비록 어떠한 제거가능한 형태의 패킷들이 상기 비디오 데이터 스트림으로부터 제거되더라도, 상기 패킷들의 시퀀스 내의 동일한 위치에 남아있으며, 상기 타이밍 제어 패킷들(36)은 제거가능한 패킷 형태인 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 5]
제 1실시예 내지 4실시예 중 어느 한 실시예에 있어서, 상기 각각의 패킷은 구문 요소 부분을 표시하는 패킷 형태를 포함하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 6]
제 5실시예에 있어서, 구문 요소 부분을 나타내는 상기 패킷 형태는,
콘텐츠가 페이로드 패킷들과 타이밍 제어 패킷들 사이에서 다른 상기 각각의 패킷의 패킷 헤더 내의 패킷 형태 필드를 포함하고, 타이밍 제어 패킷들을 위하여, 보조 향상 정보 패킷 형태 필드는 한편으로는 상기 타이밍 제어 패킷들 및 다른 한편으로는 서로 다른 형태의 보조 향상 정보 패킷들 사이를 구별하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 7]
패킷들의 시퀀스(34)가 액세스 유닛들(30)의 시퀀스로 세분되고 각각의 액세스 유닛(30)이 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 페이로드 패킷들(32)을 수집하도록 각 서브-부분(24)을 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 각각 인코딩하는, 비디오 콘텐츠(16)의 화상들(18)의 서브-부분들(24)의 유닛들 내의 비디오 콘텐츠(16)를 비디오 데이터 스트림(22) 내로 인코딩하기 위한 인코더에 있어서,
적어도 일부 액세스 유닛(30)이 두 개 또는 그 이상의 디코딩 유닛(38)으로 세분되기 위하여 타이밍 제어 패킷들(36)이 상기 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하도록 패킷들의 시퀀스(34) 내에 타이밍 제어 패킷들(36)을 배치하도록 구성되며, 각 타이밍 제어 패킷(36)은 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 시그널링하며, 상기 페이로드 패킷들(32)은 상기 패킷들의 시퀀스(34) 내의 상기 각각의 타이밍 제어 패킷(36)을 뒤따르게 하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 8]
제 7실시예에 있어서, 상기 인코더는 상기 비디오 콘텐츠의 현재 화상을 인코딩하는 동안에, 현재 화상(18)의 현재 서브-부분(24)을 현재 디코딩 유닛(38)의 현재 페이로드 패킷(32)으로 인코딩하고, 상기 데이터 스트림 내에서, 제 1 시간 순간에서 상기 현재 타이밍 제어 패킷(36)에 의해 시그널링되는 디코더 버퍼 검색 시간의 설정을 갖는 현재 타이밍 제어 패킷(36)으로 프리픽스된 상기 현재 디코딩 유닛(38)을 전송하며, 상기 제 1 시간 순간보다 늦게, 제 2 시간 순간에서 상기 현재 화상의 또 다른 서브-부분을 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
[실시예 9]
패킷들의 시퀀스(34)가 액세스 유닛들(30)의 시퀀스로 세분되고 각각의 액세스 유닛(30)이 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 페이로드 패킷들(32)을 수집하도록 각 서브-부분(24)을 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 각각 인코딩하는, 비디오 콘텐츠(16)의 화상들(18)의 서브-부분들(24)의 유닛들 내의 비디오 콘텐츠(16)를 비디오 데이터 스트림(22) 내로 인코딩하는 방법에 있어서,
적어도 일부 액세스 유닛(30)이 두 개 또는 그 이상의 디코딩 유닛(38)으로 세분되기 위하여 타이밍 제어 패킷들(36)이 상기 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하도록 패킷들의 시퀀스(34) 내에 타이밍 제어 패킷들(36)을 배치하는 단계를 포함하며, 각 타이밍 제어 패킷(36)은 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 시그널링하며, 상기 페이로드 패킷들(32)은 상기 패킷들의 시퀀스(34) 내의 상기 각각의 타이밍 제어 패킷(36)을 뒤따르게 하도록 구성되는 것을 특징으로 하는 비디오 데이터 스트림(22) 비디오 콘텐츠로 인코딩하는 방법.
[실시예 10]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로트 패킷들(32)로 각각 인코딩되고, 각각의 액세스 유닛(30)이 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 상기 페이로드 패킷들(32)을 수집하도록 상기 패킷들의 시퀀스(34)가 상기 액세스 유닛(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 상기 화상들(18)의 서브-부분들(24)의 유닛들 내의 상기 비디오 데이터 스트림(22) 비디오 콘텐츠(16)로 디코딩하기 위한 디코더에 있어서,
상기 비디오 데이터 스트림의 버퍼링을 위한 버퍼 또는 상기 비디오 데이터 스트림의 디코딩에 의해 그것으로부터 획득되는 상기 비디오 콘텐츠의 재전송을 포함하며, 상기 패킷들의 시퀀스 내에 배치되는 타이밍 제어 패킷들(36)을 찾고, 적어도 일부 액세스 유닛들이 두 개 또는 그 이상의 디코딩 유닛으로 세분되도록 상기 타이밍 제어 패킷들(36)에서 상기 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하며, 상기 디코딩 유닛들의 유닛들 내의 상기 버퍼를 비우도록 구성되는 것을 특징으로 하는 디코더.
[실시예 11]
제 10실시예에 있어서, 상기 디코더는 상기 타이밍 제어 패킷들(36)을 찾는데 있어서, 각각의 패킷 내에서. 구문 요소 부분을 나타내는 패킷 형태를 검사하고, 만일 상기 구문 요소 부분을 나타내는 패킷 형태의 값이 미리 결정된 값과 동일하면, 상기 각각의 패킷을 타이밍 제어 패킷(36)으로서 인식하도록 구성되는 것을 특징으로 하는 디코더.
[실시예 12]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로트 패킷들(32)로 각각 인코딩되고, 각각의 액세스 유닛(30)이 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 상기 페이로드 패킷들(32)을 수집하도록 상기 패킷들의 시퀀스(34)가 상기 액세스 유닛(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 상기 화상들(18)의 서브-부분들(24)의 유닛들 내의 상기 비디오 데이터 스트림(22) 비디오 콘텐츠(16)로 디코딩하는 방법에 있어서,
상기 비디오 데이터 스트림의 버퍼링을 위한 버퍼 또는 상기 비디오 데이터 스트림의 디코딩에 의해 그것으로부터 획득되는 상기 비디오 콘텐츠의 재전송을 사용하며, 상기 패킷들의 시퀀스 내에 배치되는 타이밍 제어 패킷들(36)을 찾는 단계, 적어도 일부 액세스 유닛들이 두 개 또는 그 이상의 디코딩 유닛으로 세분되도록 상기 타이밍 제어 패킷들(36)에서 상기 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하는 단계 및 상기 디코딩 유닛들의 유닛들 내의 상기 버퍼를 비우는 단계를 포함하는 것을 특징으로 하는 비디오 데이터 스트림(22)을 디코딩하는 방법.
[실시예 13]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 각각 인코딩되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛(30)이 상기 비디오 콘텐츠(16)의 각각의 화상과 관련하여 상기 페이로드 패킷들(32)을 수집하도록 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 상기 화상(18)의 서브-부분들의 유닛들 내의 그 안에 인코딩되는 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림(22)을 전송하기 위한 네트워크 엔티티에 있어서,
디코더는 상기 패킷들의 시퀀스 내에 배치되는 타이밍 제어 패킷(36)을 찾고, 적어도 일부 액세스 유닛들(30)이 두 개 또는 그 이상의 디코딩 유닛들(38)로 세분되도록 상기 타이밍 제어 패킷들(36)에서 상기 액세스 유닛을 상기 디코딩 유닛들로 세분하며, 각각의 타이밍 제어 패킷(36)으로부터 상기 페이로드 패킷들(32)이 상기 패킷들의 시퀀스 내의 상기 각각의 타이밍 제어 패킷(36)을 뒤따르게 하는, 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 유도하며, 상기 디코딩 유닛들(38)에 대한 상기 디코더 버퍼 검색 시간에 의존하여 상기 비디오 데이터 스트림의 전송을 실행하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 14]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 각각 인코딩되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛(30)이 상기 비디오 콘텐츠(16)의 각각의 화상과 관련하여 상기 페이로드 패킷들(32)을 수집하도록 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 상기 화상(18)의 서브-부분들의 유닛들 내의 그 안에 인코딩되는 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림(22)을 전송하는 방법에 있어서,
상기 패킷들의 시퀀스 내에 배치되는 타이밍 제어 패킷(36)을 찾는 단계, 적어도 일부 액세스 유닛들(30)이 두 개 또는 그 이상의 디코딩 유닛들(38)로 세분되도록 상기 타이밍 제어 패킷들(36)에서 상기 액세스 유닛을 상기 디코딩 유닛들로 세분하는 단계, 각각의 타이밍 제어 패킷(36)으로부터 상기 페이로드 패킷들(32)이 상기 패킷들의 시퀀스 내의 상기 각각의 타이밍 제어 패킷(36)을 뒤따르게 하는, 디코딩 유닛(38)에 대한 디코더 버퍼 검색 시간을 유도하는 단계, 및 상기 디코딩 유닛들(38)에 대한 상기 디코더 버퍼 검색 시간에 의존하여 상기 비디오 데이터 스트림의 전송을 실행하는 단계를 포함하는 것을 특징으로 하는 비디오 데이터 스트림(22)을 전송하는 방법.
[실시예 15]
비디오 콘텐츠의 화상들이 공간적으로 세분되는 타일들(70)의 내부로의 엔트로피 코딩 및/또는 예측 코딩의 예측의 제한을 갖는, 슬라이스들(24) 중에서의 코딩 순서를 사용하여 비디오 콘텐츠(16)의 화상들이 공간적으로 세분되는 상기 슬라이스들(24)의 유닛들 내의, 예측 및 엔트로피 코딩을 사용하여, 그 안에 인코딩되는 상기 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림에 있어서,
상기 슬라이스들(24)의 시퀀스는 코딩 순서 내의 상기 비디오 데이터 스트림의 패킷들의 시퀀스의 페이로드 패킷들(32)로 패킷화되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛이 상기 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 그 안에 패킷화된 슬라이스들(24)을 갖는 상기 페이로드 패킷들(32)을 수집하도록 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 패킷들의 시퀀스(34)는 상기 패킷들의 시퀀스(34) 내의 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화된 어떠한 슬라이스(24)에 의해 오버레이되는 하나 또는 그 이상의 타일(70)을 식별하는, 하나의 액세스 유닛의 페이로드 패킷들 사이에 그 안에 배치되는 타일 식별 패킷들(72)을 갖는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 16]
제 15실시예에 있어서, 상기 타일 식별 패킷들(72)은 정확하게 바로 다음의 페이로드 패킷으로 패킷화된 어떠한 슬라이스(24)에 의해 오버레이되는 하나 또는 그 이상의 타일(70)을 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 17]
제 15실시예에 있어서, 상기 타일 식별 패킷들(72)은 상기 현재 액세스 유닛의 단부의 초기까지 상기 패킷들의 시퀀스(34) 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 상기 하나 또는 그 이상의 페이로드 패킷들(32)로 패킷화되는 어떠한 슬라이스(24)에 의해 오버레이되는 상기 하나 또는 그 이상의 타일(70) 및, 각각 상기 패킷들의 시퀀스(34) 내의 그 다음의 타일 식별 패킷(72)을 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 18]
제 15실시예 내지 16실시예 중 어느 한 실시예에 따른 비디오 데이터 스트림을 수신하고 상기 타일 식별 패킷들(72)을 기초로 하여, 상기 패킷들의 시퀀스 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화되는 슬라이스들(24)에 의해 오버레이되는 타일들(70)을 식별하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 19]
제 18실시예에 있어서, 상기 네트워크 엔티티는 상기 비디오 데이터 스트림을 적용하는 전송 작업들을 결정하기 위하여 상기 식별의 결과를 사용하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 20]
제 18실시예 또는 19실시예에 있어서, 상기 전송 작업들은 결함 패킷들과 관련하여 재-전송 요구들을 포함하는 것을 특징으로 하는 네트워크 엔티티.
[실시예 21]
제 18실시예 또는 19실시예에 있어서, 상기 네트워크 엔티티는 우선권이 더 높은, 상기 각각의 타일 식별 패킷들에 의해 식별되는 타일들(70)을 오버레이하는 그 안에 패킷화되는 슬라이스들을 갖는 상기 각각의 타일 식별 패킷(72) 바로 다음의 타일 식별 패킷들(72) 및 상기 페이로드 패킷들에 더 높은 우선권을 할당하고, 그리고 나서 상기 우선권이 낮은, 상기 각각의 타일 식별 패킷들에 의해 식별되는 타일들(70)을 오버레이하는 그 안에 패킷화되는 슬라이스들을 갖는 상기 각각의 타일 식별 패킷(72) 바로 다음의 상기 타일 식별 패킷들(72) 및 상기 페이로드 패킷들에 할당함으로써 서로 다른 우선권을 갖는 서로 다른 타일들(70)을 처리하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 22]
제 21실시예에 있어서, 상기 네트워크 엔티티는 거기에 할당된 가장 낮은 우선권을 갖는 페이로드 패킷들의 어떠한 재전송을 요구하기 전에, 먼저 거기에 할당된 가장 높은 우선권을 갖는 페이로드 패킷들의 재전송을 요구하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 23]
제 15실시예 내지 16실시예 중 어느 한 실시예에 따른 비디오 데이터 스트림을 수신하는 단계 및 상기 타일 식별 패킷들(72)을 기초로 하여, 상기 패킷들의 시퀀스 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화되는 슬라이스들(24)에 의해 오버레이되는 타일들(70)을 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
[실시예 24]
각각의 서브-부분이 비디오 데이터 스트림(22)의 패킷들의 시퀀스(34)의 하나 또는 그 이상의 페이로드 패킷(32)으로 각각 인코딩되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛(30)이 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 상기 페이로드 패킷들(32)을 수집하도록 상기 액세스 유닛(30)의 시퀀스로 세분되며, 상기 비디오 콘텐츠(16)의 화상들(18)의 서브-부분들(24)의 유닛들 내의 그 안에 인코딩되는 상기 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림에 있어서,
상기 패킷들의 시퀀스(34)를 갖는 적어도 일부 액세스 유닛들은 적어도 일부 액세스 유닛들(30)이 상기 각각의 액세스 유닛의 상기 화상과 관련하여 페이로드 패킷들(32) 사이에 배치되는 관심 영역 패킷들(64)을 갖기 위하여 타이밍 제어 패킷들(36)이 상기 액세스 유닛들(30)을 디코딩 유닛들(38)로 세분하도록 그 안에 배치되는 관심 영역 패킷들(64)을 가지며,
각각의 관심 영역 패킷은 상기 패킷들의 시퀀스(34) 내의 하나 또는 그 이상의 다음의 페이로드 패킷들과 관련되고, 상기 각각의 관심 영역 패킷을 뒤따르게 하며, 상기 하나 또는 그 이상의 페이로드 패킷 중 어느 하나로 인코딩되는 상기 서브-부분들(24)이 상기 비디오 콘텐츠의 관심 영역을 오버레이하는지를 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 25]
제 24실시예에 있어서, 상기 서브-부분들은 슬라이스들이고 상기 비디오 콘텐츠는 상기 비디오 콘텐츠의 상기 화상들이 세분되는 타일들의 내부에 대한 예측 및/또는 엔트로피 코딩의 제한을 갖는, 상기 예측 및 엔트로피 코딩을 사용하여 상기 비디오 데이터 스트림으로 인코딩되며, 각각의 관심 영역 패킷은 부가적으로 상기 각각의 관심 영역 패킷이 관련되는 하나 또는 그 이상의 페이로드 패킷 중 어느 하나로 인코딩되는 상기 서브-부분들(24)이 상기 관심 영역을 오버레이하는 상기 타일들을 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 26]
제 24실시예 또는 25실시예에 있어서, 상기 각각의 관심 영역 패킷은 상기 바로 다음의 페이로드 패킷과 독점적으로 관련되는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 27]
제 24실시예 또는 25실시예에 있어서, 상기 각각의 관심 영역 패킷은 각각, 상기 각각의 관심 영역 패킷이 배치되는 상기 액세스 유닛의 단부의 초기까지 상기 패킷들의 시퀀스 내의 상기 각각의 관심 영역 패킷 바로 다음의 모든 페이로드 패킷, 및 그 다음의 관심 영역 패킷과 관련되는 것을 특징으로 하는 비디오 데이터 스트림.
[실시예 28]
제 24실시예 내지 27실시예 중 어느 한 실시예에 따른 비디오 데이터 스트림을 수신하고 상기 관심 영역 패킷들을 기초로 하여, 상기 비디오 콘텐츠의 상기 관심 영역을 식별하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 29]
제 27실시예에 있어서, 상기 네트워크 엔티티는 상기 비디오 데이터 스트림을 적용하는 전송 작업들을 결정하기 위하여 상기 식별의 결과를 사용하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 30]
제 28실시예 또는 29실시예에 있어서, 상기 전송 작업들은 결함 패킷들과 관련하여 재-전송 요구들을 포함하는 것을 특징으로 하는 네트워크 엔티티.
[실시예 31]
제 28실시예 또는 29실시예에 있어서, 상기 네트워크 엔티티는 관심 영역 패킷들 및 관심 영역 패킷이 어떠한 오버레이도 시그널링하지 않는, 상기 각각의 관심 영역 패킷이 관련되는, 상기 관심 영역 패킷(72) 다음의 하나 또는 그 이상의 페이로드 패킷보다는, 관심 영역 패킷들(72) 및 관심 영역 패킷들이 상기 각각의 관심 영역이 관련되는 상기 하나 또는 그 이상의 페이로드 패킷 중 어느 하나로 인코딩되는 상기 서브-부분들(24)에 의해 상기 관심 영역의 오버레이를 시그널링하는, 상기 각각의 관심 영역이 관련되는, 상기 각각의 관심 영역 패킷(72) 다음의 하나 또는 그 이상의 페이로드 패킷에, 더 높은 우선권을 할당함으로써 증가된 우선권을 갖는 상기 관심 영역(70)을 처리하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 32]
제 31실시예에 있어서, 상기 네트워크 엔티티는 거기에 할당된 가장 낮은 우선권을 갖는 페이로드 패킷들의 어떠한 재전송을 요구하기 전에, 먼저 거기에 할당된 가장 높은 우선권을 갖는 페이로드 패킷들의 재전송을 요구하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
[실시예 33]
제 23실시예 내지 26실시예 중 어느 한 실시예에 따른 비디오 데이터 스트림을 수신하는 단계 및 상기 관심 영역 패킷들을 기초로 하여, 상기 비디오 콘텐츠의 상기 관심 영역을 식별하는 단계를 포함하는 방법.
[실시예 34]
컴퓨터 상에서 구동할 때, 제 9, 12, 14, 23 또는 33실시예에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
10 : 인코더
12 : 디코더
14 : 네트워크
16 : 비디오 콘텐츠
18 : 화상
20 : 재생 순서
22 : 비디오 데이터 스트림
24 : 슬라이스
26 : 타일
28 : 파면 병렬 처리 서브스트림
30 : 액세스 유닛
32 : 페이로드 패킷
34 : 패킷들의 시퀀스
36 : 타이밍 제어 패킷
38 : 디코딩 유닛
48 : 코딩된 화상 버퍼
50 : 처리 유닛
52 : 디코딩된 화상 버퍼
60 : 관심 영역
64 : 관심 영역 패킷
68 : 네트워크 엔티티
70 : 타일
72 : 타일 식별 패킷
80 : 액세스 유닛 구분자
82 : 보조 향상 정보 패킷
84 : 슬라이스 프리픽스 네트워크 추상 계층 유닛
86 : 서브-화상 보조 향상 정보 메시지
88 : 슬라이스 데이터 네트워크 추상 계층 유닛
100, 110 : 화상
112 : 타일
114 : 블록
116 : 코딩 순서
118a-d : 슬라이스
120 : 액세스 유닛
122a-d : 페이로드 패킷
124a, b : 타이밍 제어 패킷
128b : 디코딩 유닛
130a, b : 액세스 유닛 경계

Claims (15)

  1. 비디오 콘텐츠의 화상들이 공간적으로 세분되는 타일들(70)의 내부로의 엔트로피 코딩 및/또는 예측 코딩의 예측의 제한을 갖는, 슬라이스들(24) 중에서의 코딩 순서를 사용하여 비디오 콘텐츠(16)의 화상들이 공간적으로 세분되는 상기 슬라이스들(24)의 유닛들 내의, 예측 및 엔트로피 코딩을 사용하여, 그 안에 인코딩되는 상기 비디오 콘텐츠(16)를 갖는 비디오 데이터 스트림에 있어서,
    상기 슬라이스들(24)의 시퀀스는 코딩 순서 내의 상기 비디오 데이터 스트림의 패킷들의 시퀀스의 페이로드 패킷들로 패킷화되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛이 상기 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 그 안에 패킷화된 슬라이스들(24)을 갖는 상기 페이로드 패킷들을 수집하도록 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 패킷들의 시퀀스(34)는 상기 패킷들의 시퀀스(34) 내의 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화된 어떠한 슬라이스(24)에 의해 오버레이되는 하나 또는 그 이상의 타일(70)을 식별하는, 하나의 액세스 유닛의 페이로드 패킷들 사이에 그 안에 배치되는 타일 식별 패킷들(72)을 갖는 것을 특징으로 하는 비디오 데이터 스트림.
  2. 제 1항에 있어서, 상기 타일 식별 패킷들(72)은 정확하게 바로 다음의 페이로드 패킷으로 패킷화된 어떠한 슬라이스(24)에 의해 오버레이되는 하나 또는 그 이상의 타일(70)을 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
  3. 제 1항에 있어서, 상기 타일 식별 패킷들(72)은 현재 액세스 유닛의 단부의 초기까지 상기 패킷들의 시퀀스(34) 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 상기 하나 또는 그 이상의 페이로드 패킷들로 패킷화되는 어떠한 슬라이스(24)에 의해 오버레이되는 상기 하나 또는 그 이상의 타일(70) 및, 각각 상기 패킷들의 시퀀스(34) 내의 그 다음의 타일 식별 패킷(72)을 식별하는 것을 특징으로 하는 비디오 데이터 스트림.
  4. 제 1항에 있어서, 상기 타일 식별 패킷(72)은 SEI 메시지로 인코딩되는 것을 특징으로 하는 비디오 데이터 스트림.
  5. 제 1항 내지 제 2항 중 어느 한 항에 따른 비디오 데이터 스트림을 수신하고 상기 타일 식별 패킷들(72)을 기초로 하여, 상기 패킷들의 시퀀스 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화되는 슬라이스들(24)에 의해 오버레이되는 타일들(70)을 식별하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
  6. 제 5항에 있어서, 상기 네트워크 엔티티는 상기 비디오 데이터 스트림을 적용하는 전송 작업들을 결정하기 위하여 상기 식별의 결과를 사용하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
  7. 제 6항에 있어서, 상기 전송 작업들은 결함 패킷들과 관련하여 재-전송 요구들을 포함하는 것을 특징으로 하는 네트워크 엔티티.
  8. 제 5항에 있어서, 상기 네트워크 엔티티는 우선권이 더 높은, 상기 각각의 타일 식별 패킷들에 의해 식별되는 타일들(70)을 오버레이하는 그 안에 패킷화되는 슬라이스들을 갖는 상기 각각의 타일 식별 패킷(72) 바로 다음의 타일 식별 패킷들(72) 및 상기 페이로드 패킷들에 더 높은 우선권을 할당하고, 그리고 나서 상기 우선권이 낮은, 상기 각각의 타일 식별 패킷들에 의해 식별되는 타일들(70)을 오버레이하는 그 안에 패킷화되는 슬라이스들을 갖는 상기 각각의 타일 식별 패킷(72) 바로 다음의 상기 타일 식별 패킷들(72) 및 상기 페이로드 패킷들에 할당함으로써 서로 다른 우선권을 갖는 서로 다른 타일들(70)을 처리하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
  9. 제 8항에 있어서, 상기 네트워크 엔티티는 거기에 할당된 가장 낮은 우선권을 갖는 페이로드 패킷들의 어떠한 재전송을 요구하기 전에, 먼저 거기에 할당된 가장 높은 우선권을 갖는 페이로드 패킷들의 재전송을 요구하도록 구성되는 것을 특징으로 하는 네트워크 엔티티.
  10. 제 5항에 있어서, 상기 타일 식별 패킷(72)은 SEI 메시지로 인코딩되는 것을 특징으로 하는 네트워크 엔티티.
  11. 제 5항에 있어서, 상기 네트워크 엔티티는 디코더인 것을 특징으로 하는 네트워크 엔티티.
  12. 제 1항 내지 제 2항 중 어느 한 항에 따른 비디오 데이터 스트림을 수신하는 단계 및 상기 타일 식별 패킷들(72)을 기초로 하여, 상기 패킷들의 시퀀스 내의 상기 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화되는 슬라이스들(24)에 의해 오버레이되는 타일들(70)을 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서, 상기 타일 식별 패킷(72)은 SEI 메시지로 정의되는 것을 특징으로 하는 방법.
  14. 비디오 콘텐츠의 화상들이 공간적으로 세분되는 타일들(70)의 내부로의 엔트로피 코딩 및/또는 예측 코딩의 예측의 제한을 갖는, 슬라이스들(24) 중에서의 코딩 순서를 사용하여 비디오 콘텐츠(16)의 화상들이 공간적으로 세분되는 상기 슬라이스들(24)의 유닛들 내의, 예측 및 엔트로피 코딩을 사용하여, 비디오 콘텐츠(16)를 비디오 데이터 스트림으로 코딩하도록 구성된 인코더에 있어서,
    상기 인코더는 상기 슬라이스들(24)의 시퀀스를 코딩 순서 내의 상기 비디오 데이터 스트림의 패킷들의 시퀀스의 페이로드 패킷들로 패킷화하도록 구성되고, 상기 패킷들의 시퀀스(34)는 각각의 액세스 유닛이 상기 비디오 콘텐츠(16)의 각각의 화상(18)과 관련하여 그 안에 패킷화된 슬라이스들(24)을 갖는 상기 페이로드 패킷들을 수집하도록 액세스 유닛들(30)의 시퀀스로 세분되며, 상기 패킷들의 시퀀스(34)는 상기 패킷들의 시퀀스(34) 내의 각각의 타일 식별 패킷(72) 바로 다음의 하나 또는 그 이상의 페이로드 패킷으로 패킷화된 어떠한 슬라이스(24)에 의해 오버레이되는 하나 또는 그 이상의 타일(70)을 식별하는, 하나의 액세스 유닛의 페이로드 패킷들 사이에 그 안에 배치되는 타일 식별 패킷들(72)을 갖는 것을 특징으로 하는 인코더.
  15. 제 14항에 있어서, 상기 타일 식별 패킷(72)은 SEI 메시지로 정의되는 것을 특징으로 하는 인코더.
KR1020227022147A 2012-06-29 2013-07-01 비디오 데이터 스트림 개념 KR102659283B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261666185P 2012-06-29 2012-06-29
US61/666,185 2012-06-29
PCT/EP2013/063853 WO2014001573A1 (en) 2012-06-29 2013-07-01 Video data stream concept
KR1020207027741A KR102415989B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027741A Division KR102415989B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247012618A Division KR20240070581A (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념

Publications (2)

Publication Number Publication Date
KR20220098273A KR20220098273A (ko) 2022-07-11
KR102659283B1 true KR102659283B1 (ko) 2024-04-22

Family

ID=48782303

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020157002242A KR101858200B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념
KR1020187002787A KR102162119B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념
KR1020207027741A KR102415989B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념
KR1020227022147A KR102659283B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020157002242A KR101858200B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념
KR1020187002787A KR102162119B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념
KR1020207027741A KR102415989B1 (ko) 2012-06-29 2013-07-01 비디오 데이터 스트림 개념

Country Status (25)

Country Link
US (6) US9973781B2 (ko)
EP (3) EP2868103B1 (ko)
JP (8) JP2015526006A (ko)
KR (4) KR101858200B1 (ko)
CN (14) CN115442630A (ko)
AU (6) AU2013283173B2 (ko)
BR (2) BR112014032687B1 (ko)
CA (3) CA3214600A1 (ko)
CL (1) CL2014003507A1 (ko)
DK (1) DK2868103T3 (ko)
ES (1) ES2614910T3 (ko)
HK (1) HK1210342A1 (ko)
HU (1) HUE031264T2 (ko)
IL (6) IL305350B1 (ko)
MX (2) MX2020009883A (ko)
MY (1) MY167958A (ko)
PH (5) PH12014502882A1 (ko)
PL (1) PL2868103T3 (ko)
PT (1) PT2868103T (ko)
RU (3) RU2720534C2 (ko)
SG (3) SG10201809547WA (ko)
TW (7) TWI558182B (ko)
UA (2) UA114909C2 (ko)
WO (1) WO2014001573A1 (ko)
ZA (1) ZA201500558B (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3793200T3 (da) 2012-04-13 2023-02-13 Ge Video Compression Llc Billedkodning med lav forsinkelse
MY167469A (en) * 2012-06-22 2018-08-29 Velos Media Int Ltd Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
KR101781774B1 (ko) * 2012-06-25 2017-09-25 닛본 덴끼 가부시끼가이샤 비디오 디코딩 장치, 방법 및 프로그램
JP2015526006A (ja) 2012-06-29 2015-09-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ビデオ・データストリーム・コンセプト
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
MX348737B (es) * 2012-08-09 2017-06-27 Panasonic Ip Corp America Metodo decodificador de imagen, metodo codificador de imagen, aparato decodificador de imagen, aparato codificador de imagen, y aparato codificador y decodificador de imagen.
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
KR102063239B1 (ko) 2012-09-26 2020-01-07 벨로스 미디어 인터내셔널 리미티드 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
WO2014057131A1 (en) * 2012-10-12 2014-04-17 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
KR102383006B1 (ko) 2013-04-07 2022-04-04 돌비 인터네셔널 에이비 출력 계층 세트들에서의 시그널링 변경
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
GB2514618B (en) * 2013-05-31 2020-11-11 Advanced Risc Mach Ltd Data processing systems
BR112015032851B1 (pt) * 2013-07-05 2023-03-07 Sony Corporation Dispositivos e métodos de transmissão e de recepção
US10368078B2 (en) * 2013-07-15 2019-07-30 Sony Corporation Extensions of motion-constrained tile sets SEI message for interactivity
KR102416235B1 (ko) 2013-07-15 2022-07-05 지이 비디오 컴프레션, 엘엘씨 다계층식 비디오 코딩에서의 저지연 개념
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US10270590B2 (en) * 2013-12-16 2019-04-23 Mcafee, Llc Process efficient preprocessing for any encryption standard
WO2015093011A1 (ja) 2013-12-16 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
RU2019117034A (ru) 2014-06-20 2019-07-29 Сони Корпорейшн Устройство и способ кодирования изображений и устройство и способ декодирования изображений
US10264286B2 (en) * 2014-06-26 2019-04-16 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US10123028B2 (en) * 2014-09-17 2018-11-06 Mediatek Inc. Syntax parsing apparatus with multiple syntax parsing circuits for processing multiple image regions within same frame or processing multiple frames and related syntax parsing method
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US11418812B2 (en) * 2015-02-11 2022-08-16 Qualcomm Incorporated Placement of parameter sets and sync samples in video coding
TW201710646A (zh) 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
KR102626634B1 (ko) * 2015-09-11 2024-01-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6519441B2 (ja) 2015-10-22 2019-05-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017134110A1 (en) 2016-02-02 2017-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scene section and region of interest handling in video streaming
KR102332006B1 (ko) * 2016-02-09 2021-12-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP3996375A1 (en) * 2016-05-26 2022-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Broadcast streaming of panoramic video for interactive clients
US10574718B2 (en) * 2016-08-25 2020-02-25 Comcast Cable Communications, Llc Packaging content for delivery
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
CN114928733B (zh) 2016-10-12 2023-10-24 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
EP3603074A2 (en) * 2017-03-20 2020-02-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Advanced video data stream extraction and multi-resolution video transmission
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
WO2019034803A1 (en) * 2017-08-14 2019-02-21 Nokia Technologies Oy METHOD AND APPARATUS FOR PROCESSING VIDEO INFORMATION
US11523135B2 (en) 2018-04-09 2022-12-06 Nokia Technologies Oy Apparatus, a method and a computer program for volumetric video
GB2572770B (en) * 2018-04-09 2022-11-02 Canon Kk Method and apparatus for encoding or decoding video data with frame portions
WO2020008103A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy Method and apparatus for tile-relative addressing in video coding
CN112703742B (zh) 2018-09-14 2023-03-31 华为技术有限公司 视频译码中的分块指示
KR102637732B1 (ko) * 2018-09-21 2024-02-19 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서
US10834163B2 (en) 2018-10-18 2020-11-10 At&T Intellectual Property I, L.P. Methods, devices, and systems for encoding portions of video content according to priority content within live video content
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
US11140403B2 (en) * 2018-12-20 2021-10-05 Tencent America LLC Identifying tile from network abstraction unit header
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
EP3906677A4 (en) * 2019-01-02 2022-10-19 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
AU2020206246B2 (en) * 2019-01-09 2024-01-04 Huawei Technologies Co., Ltd. Sub-picture layout signaling in video coding
MX2021011016A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
US10924751B2 (en) * 2019-03-18 2021-02-16 Tencent America LLC Data unit and parameter set design for point cloud coding
WO2020263981A1 (en) 2019-06-27 2020-12-30 Futurewei Technologies, Inc. Hypothetical reference decoder for v-pcc
US11012690B2 (en) * 2019-08-21 2021-05-18 Tencent America LLC Method and apparatus for video coding
CN112422295B (zh) * 2019-08-23 2023-06-13 微芯片技术股份有限公司 以太网接口及相关系统、方法和设备
CN112532569B (zh) * 2019-09-19 2022-05-31 澜至电子科技（成都）有限公司 视频码流保护装置、方法以及存储介质
CN110856153B (zh) * 2019-11-15 2020-12-29 深圳市东方拓宇科技有限公司 数据传输方法及终端
CN110856220B (zh) * 2019-11-15 2020-12-29 深圳市东方拓宇科技有限公司 数据传输方法及终端
US20230328266A1 (en) * 2019-11-27 2023-10-12 Lg Electronics Inc. Image decoding method and device therefor
WO2021107662A1 (ko) * 2019-11-27 2021-06-03 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
US10939126B1 (en) * 2019-12-09 2021-03-02 Guangzhou Zhijing Technology Co., Ltd Method of adding encoded range-of-interest location, type and adjustable quantization parameters per macroblock to video stream
WO2021136783A1 (en) * 2019-12-31 2021-07-08 Koninklijke Kpn N.V. Partial output of a decoded picture buffer in video coding
JP7473656B2 (ja) * 2020-01-09 2024-04-23 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ピクチャヘッダ存在
JP2021131168A (ja) 2020-02-18 2021-09-09 株式会社デンソー 熱交換器
CN115211130B (zh) 2020-02-21 2024-04-09 抖音视界有限公司 基于条带和片图片分割的信令通知的处理视频数据的方法
MX2022010698A (es) * 2020-02-28 2022-12-08 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes que simplifican los elementos de sintaxis del encabezado de segmento de señalización.
JP7450747B2 (ja) * 2020-03-05 2024-03-15 エルジー エレクトロニクス インコーポレイティド 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
EP4140128A4 (en) 2020-05-22 2023-08-02 ByteDance Inc. RESTRICTIONS ON IMAGE TYPES IN VIDEO BITSTREAM PROCESSING
WO2021243044A1 (en) * 2020-05-27 2021-12-02 Let's Jam, Llc Methods and systems for synchronizing multimedia
EP4150903A4 (en) 2020-06-09 2023-11-08 ByteDance Inc. HANDLING ADDITIONAL EXTENSION INFORMATION IN A PARTIAL BITSTREAM EXTRACTION PROCEDURE FOR SUB-IMAGES
US11321878B2 (en) 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
WO2022144184A1 (en) * 2020-12-28 2022-07-07 Koninklijke Kpn N.V. Prioritized decoding and output of parts of a picture in video coding
WO2022144244A1 (en) * 2020-12-28 2022-07-07 Koninklijke Kpn N.V. Partial output of a decoded picture buffer in video coding
CN113542745A (zh) * 2021-05-27 2021-10-22 绍兴市北大信息技术科创中心 一种率失真编码优化方法
GB2621917A (en) * 2022-06-16 2024-02-28 Mbda Uk Ltd Method for image encoding
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer
CN116149591B (zh) * 2023-04-04 2023-08-18 深圳曦华科技有限公司 一种命令模式码片数据流传输时序控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5020121A (en) 1990-08-16 1991-05-28 Hewlett-Packard Company Neighborhood block prediction bit compression
US5786858A (en) 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
JP3409552B2 (ja) 1995-12-27 2003-05-26 三菱電機株式会社 ディジタル情報符号化装置、ディジタル情報復号化装置、及びディジタル情報符号化・復号化装置
JPH09298668A (ja) 1996-05-07 1997-11-18 Mitsubishi Electric Corp ディジタル情報符号化装置、ディジタル情報復号化装置、ディジタル情報符号化・復号化装置、ディジタル情報符号化方法、及びディジタル情報復号化方法
EP0861001B1 (en) 1997-02-07 2012-05-23 Texas Instruments Incorporated Error resilient video encoding
HUP0001273A3 (en) 1998-01-20 2000-09-28 Interactic Holdings Llc New Yo A scalable low-latency switch, interconnect apparatus, interconnect structure and method
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7093028B1 (en) 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
TW488155B (en) 2000-01-27 2002-05-21 Hewlett Packard Co Task-partitioned hybrid codec
US6493388B1 (en) 2000-04-19 2002-12-10 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
GB2377573B (en) * 2001-07-11 2004-03-31 Motorola Inc Video transmission system, video tranmission unit and methods of encoding/decoding video data
JP3778913B2 (ja) 2001-11-16 2006-05-24 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
JP3807342B2 (ja) 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
US7305036B2 (en) 2002-05-14 2007-12-04 Broadcom Corporation System and method for entropy code preprocessing
US6646578B1 (en) 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
US8661496B2 (en) 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
MXPA05008404A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de codificacion de imagen.
BRPI0408087A (pt) 2003-03-03 2006-02-14 Agency Science Tech & Res método de intrapredição de codificação de vìdeo avançada (avc) para codificar vìdeo digital, aparelho que utiliza essa intrapredição e produto de programa de computador
US7447369B2 (en) 2003-03-07 2008-11-04 Ricoh Co., Ltd. Communication of compressed digital images
US6894628B2 (en) 2003-07-17 2005-05-17 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and methods for entropy-encoding or entropy-decoding using an initialization of context variables
US20050185541A1 (en) 2004-02-23 2005-08-25 Darren Neuman Method and system for memory usage in real-time audio systems
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
JP2008500760A (ja) 2004-05-25 2008-01-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタルビデオデータをエンコードする方法及び装置
DE602004003933T2 (de) 2004-08-06 2007-04-12 Matsushita Electric Industrial Co., Ltd., Kadoma Rückkopplungssteuerung für Multicast und Broadcast Dienste
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
JP4680608B2 (ja) 2005-01-17 2011-05-11 パナソニック株式会社 画像復号装置及び方法
US7664041B2 (en) 2005-05-26 2010-02-16 Dale Trenton Smith Distributed stream analysis using general purpose processors
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
CN102271249B (zh) 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
EP2375749B1 (en) * 2005-10-11 2016-11-23 Nokia Technologies Oy System and method for efficient scalable stream adaptation
US8416850B2 (en) 2005-10-14 2013-04-09 Nec Corporation Image encoding method, device using the same, and computer program
JP4211780B2 (ja) 2005-12-27 2009-01-21 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
CN101346998B (zh) 2006-01-05 2012-01-11 日本电信电话株式会社 视频编码方法及解码方法、其装置
KR20070074453A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
RU2384970C1 (ru) 2006-01-09 2010-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ межслойного предсказания для видеосигнала
WO2007081134A1 (en) 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
WO2007107170A1 (en) 2006-03-22 2007-09-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding scheme enabling precision-scalability
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
EP2005752A4 (en) 2006-03-30 2010-06-09 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL
KR100828404B1 (ko) 2006-05-08 2008-05-08 한국과학기술원 경계관찰질의를 이용한 데이터 스트림 처리 방법
JP2008017331A (ja) * 2006-07-07 2008-01-24 Toshiba Corp パケットストリーム送信装置
US7840078B2 (en) 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
JP5484902B2 (ja) 2006-07-13 2014-05-07 クゥアルコム・インコーポレイテッド サイクルを整列したフラグメントを使用する微細粒度スケーラビリティを備えた映像符号化
CN101491097B (zh) * 2006-07-13 2011-12-14 高通股份有限公司 使用经循环对准的片段的具有细粒度可缩放性的视频编码
JP4129694B2 (ja) * 2006-07-19 2008-08-06 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US7554468B2 (en) 2006-08-25 2009-06-30 Sony Computer Entertainment Inc, Entropy decoding methods and apparatus using most probable and least probable signal cases
KR100908062B1 (ko) 2006-09-07 2009-07-15 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101150719B (zh) 2006-09-20 2010-08-11 华为技术有限公司 并行视频编码的方法及装置
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8218640B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US7778277B2 (en) * 2006-11-03 2010-08-17 Mediatek Inc. Timing recovery method and system thereof
US7675549B1 (en) * 2006-12-08 2010-03-09 Itt Manufacturing Enterprises, Inc. Imaging architecture for region and time of interest collection and dissemination
JP5045950B2 (ja) 2006-12-14 2012-10-10 日本電気株式会社 映像符号化方法、映像符号化装置および映像符号化プログラム
TWI328199B (en) 2006-12-15 2010-08-01 Via Tech Inc Method for image rendering
MY162367A (en) 2007-01-05 2017-06-15 Thomson Licensing Hypothetical reference decoder for scalable video coding
US20080247459A1 (en) 2007-04-04 2008-10-09 General Instrument Corporation Method and System for Providing Content Adaptive Binary Arithmetic Coder Output Bit Counting
MX2009010322A (es) * 2007-04-24 2009-10-19 Nokia Corp Señalizacion de multiples tiempos de descodificacion en archivos multimedia.
TWI330987B (en) 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US8180029B2 (en) 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
CN101690228B (zh) 2007-06-29 2012-08-08 汤姆森许可贸易公司 视频编索引方法和视频编索引设备
KR20090004659A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR20090004658A (ko) 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制系统及方法
US8873625B2 (en) 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
WO2009027606A1 (fr) 2007-08-24 2009-03-05 France Telecom Codage/decodage par plans de symboles, avec calcul dynamique de tables de probabilites
WO2009039638A1 (en) 2007-09-28 2009-04-02 Pin-Han Ho A robust system and method for wireless data multicasting using superposition modulation
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
CN101552924B (zh) 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
CN101568037B (zh) 2008-04-21 2010-12-15 展讯通信（上海）有限公司 一种dvb-h手机电视流式修复的方法、终端与系统
JP4962400B2 (ja) 2008-04-30 2012-06-27 ソニー株式会社 算術復号装置
US20090316793A1 (en) 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
US8908763B2 (en) 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
WO2010033642A2 (en) * 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
KR101007381B1 (ko) * 2008-10-06 2011-01-13 주식회사 아이엠케이네트웍스 관심 영역을 고려한 영상 부호화 장치
JP5345149B2 (ja) 2008-10-10 2013-11-20 パナソニック株式会社 画像復号化装置および画像復号化方法
US7932843B2 (en) 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
CN102257819A (zh) 2008-10-30 2011-11-23 Gvbb控股股份有限公司 图像编码装置、图像编码方法和图像编码程序
US9467699B2 (en) 2008-12-03 2016-10-11 Hfi Innovation Inc. Method for performing parallel coding with ordered entropy slices, and associated apparatus
CN101939994B (zh) 2008-12-08 2013-07-17 松下电器产业株式会社 图像解码装置及图像解码方法
US8371552B2 (en) 2008-12-11 2013-02-12 GM Global Technology Operations LLC Shift actuator valve having a pressure dead band
US20120014451A1 (en) 2009-01-15 2012-01-19 Wei Siong Lee Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
JP5516843B2 (ja) 2009-01-29 2014-06-11 コマニー株式会社 ３ウェイ方式のパネル連結構造及び連結金具
RU2375939C1 (ru) 2009-03-02 2009-12-20 Андрей Николаевич Конев Противоскользящее средство для обуви
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
US9112618B2 (en) * 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
WO2011052142A1 (ja) * 2009-10-29 2011-05-05 パナソニック株式会社 画像符号化方法および画像復号方法
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
US8487791B2 (en) 2010-02-18 2013-07-16 Research In Motion Limited Parallel entropy coding and decoding methods and devices
US9973768B2 (en) 2010-03-16 2018-05-15 Texas Instruments Incorporated CABAC decoder with decoupled arithmetic decoding and inverse binarization
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN106412608B (zh) 2010-04-13 2019-10-08 Ge视频压缩有限责任公司 用于解码、生成数据流的方法和解码器
US20110280314A1 (en) 2010-05-12 2011-11-17 Texas Instruments Incorporated Slice encoding and decoding processors, circuits, devices, systems and processes
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US20120014429A1 (en) 2010-07-15 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US20120014433A1 (en) 2010-07-15 2012-01-19 Qualcomm Incorporated Entropy coding of bins across bin groups using variable length codewords
US9591320B2 (en) 2010-07-15 2017-03-07 Texas Instruments Incorporated Context and bypass encoding video
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US20120063515A1 (en) 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
US8604951B2 (en) 2010-10-05 2013-12-10 Massachusetts Institute Of Technology System and method for optimizing context-adaptive binary arithmetic coding
US20120082235A1 (en) * 2010-10-05 2012-04-05 General Instrument Corporation Coding and decoding utilizing context model selection with adaptive scan pattern
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
MY163983A (en) 2011-03-10 2017-11-15 Sharp Kk A method for decoding video
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
JP2012232720A (ja) 2011-05-09 2012-11-29 Suzuki Motor Corp 船外機の動力連結装置
GB2491164B (en) 2011-05-25 2013-09-11 Canon Kk Method and device for compression of video data
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
WO2012167418A1 (en) * 2011-06-07 2012-12-13 Technicolor (China) Technology Co., Ltd. Method for encoding and/or decoding images on macroblock level using intra-prediction
US10298939B2 (en) * 2011-06-22 2019-05-21 Qualcomm Incorporated Quantization in video coding
US9398307B2 (en) 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US10349077B2 (en) 2011-11-21 2019-07-09 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
DK3793200T3 (da) 2012-04-13 2023-02-13 Ge Video Compression Llc Billedkodning med lav forsinkelse
PL2843945T3 (pl) * 2012-04-23 2020-07-27 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
JP2015526006A (ja) * 2012-06-29 2015-09-07 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ビデオ・データストリーム・コンセプト
US9930562B2 (en) 2016-02-05 2018-03-27 Arris Enterprises Llc Utilization based control of wireless network services
WO2023107452A1 (en) * 2021-12-09 2023-06-15 Apple Inc. Encoding and decoding video content using prediction-aware flexible skip coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ITU-T Recommendation H.264. Advanced video coding for generic audiovisual services. Mar. 2005, pp.1-324*
T. Schierl, et al. Dependent Slices. JCT-VC of ITU-T and ISO/IEC. JCTVC-I0229 Ver.7, May. 6, 2012, pp.1-6*
T. Schierl, et al. Slice Prefix for sub-picture and slice level HLS signalling. JCT-VC of ITU-T and ISO/IEC. JCTVC-J0255 Ver.1, Jul. 2, 2012, pp.1-12

Also Published As

Publication number Publication date
IL236285A0 (en) 2015-02-26
KR102415989B1 (ko) 2022-07-01
IL283196B2 (en) 2023-06-01
JP2023175929A (ja) 2023-12-12
TW201742467A (zh) 2017-12-01
MX349567B (es) 2017-08-03
IL277485B (en) 2021-05-31
KR20200116538A (ko) 2020-10-12
US20210274221A1 (en) 2021-09-02
TWI662832B (zh) 2019-06-11
RU2720534C2 (ru) 2020-04-30
JP2020065292A (ja) 2020-04-23
TW201811059A (zh) 2018-03-16
KR20180014234A (ko) 2018-02-07
PH12018500335A1 (en) 2019-01-28
PT2868103T (pt) 2017-03-02
US11856229B2 (en) 2023-12-26
CN110536136B (zh) 2022-08-05
KR101858200B1 (ko) 2018-05-16
KR102162119B1 (ko) 2020-10-06
AU2013283173A1 (en) 2015-01-22
CA3214600A1 (en) 2014-01-03
HUE031264T2 (en) 2017-07-28
CN115442630A (zh) 2022-12-06
US20190253736A1 (en) 2019-08-15
EP3905697A1 (en) 2021-11-03
MY167958A (en) 2018-10-08
AU2020289848A1 (en) 2021-01-28
CA2877045A1 (en) 2014-01-03
US20240007675A1 (en) 2024-01-04
TWI636687B (zh) 2018-09-21
CN115442624A (zh) 2022-12-06
TWI737990B (zh) 2021-09-01
RU2020114791A3 (ko) 2021-10-27
PH12018500333A1 (en) 2019-01-28
RU2766882C2 (ru) 2022-03-16
SG10201606616WA (en) 2016-09-29
CN115442632A (zh) 2022-12-06
CN115442631A (zh) 2022-12-06
IL299951B1 (en) 2023-09-01
EP3151566B1 (en) 2021-03-31
MX2020009883A (es) 2021-08-20
CN104685893A (zh) 2015-06-03
CA3095638C (en) 2023-11-14
AU2018236689B2 (en) 2020-09-24
PL2868103T3 (pl) 2017-06-30
KR20220098273A (ko) 2022-07-11
HK1210342A1 (en) 2016-04-15
EP3151566A1 (en) 2017-04-05
IL299951A (en) 2023-03-01
KR20150029723A (ko) 2015-03-18
CN115442622A (zh) 2022-12-06
CN115442626A (zh) 2022-12-06
JP2015526006A (ja) 2015-09-07
EP2868103A1 (en) 2015-05-06
CN115442628A (zh) 2022-12-06
TWI769904B (zh) 2022-07-01
IL261382A (en) 2018-10-31
JP2020025292A (ja) 2020-02-13
RU2635251C2 (ru) 2017-11-09
CL2014003507A1 (es) 2015-02-27
US9973781B2 (en) 2018-05-15
CN115442623A (zh) 2022-12-06
AU2013283173B2 (en) 2016-03-24
TW202315403A (zh) 2023-04-01
TWI584637B (zh) 2017-05-21
TWI558182B (zh) 2016-11-11
AU2022252837B2 (en) 2023-12-14
RU2017137234A3 (ko) 2020-03-02
RU2015102812A (ru) 2016-08-20
US20180220161A1 (en) 2018-08-02
IL305350B1 (en) 2024-05-01
JP7021167B2 (ja) 2022-02-16
CA3095638A1 (en) 2014-01-03
IL261382B (en) 2020-10-29
BR122020007914B1 (pt) 2023-03-07
PH12018500332A1 (en) 2019-01-28
PH12018500334A1 (en) 2019-01-28
CN115442633A (zh) 2022-12-06
IL277485A (en) 2020-11-30
CN115442629A (zh) 2022-12-06
UA114909C2 (uk) 2017-08-28
AU2016204304A1 (en) 2016-07-14
ZA201500558B (en) 2016-01-27
CN115442625A (zh) 2022-12-06
DK2868103T3 (en) 2017-03-13
MX2014016063A (es) 2015-04-09
UA123988C2 (uk) 2021-07-07
IL305350A (en) 2023-10-01
TW202007152A (zh) 2020-02-01
RU2020114791A (ru) 2021-10-27
US20200112749A1 (en) 2020-04-09
CN115442621A (zh) 2022-12-06
ES2614910T3 (es) 2017-06-02
JP2019041402A (ja) 2019-03-14
PH12014502882B1 (en) 2015-02-23
JP7364710B2 (ja) 2023-10-18
JP6831022B2 (ja) 2021-02-17
CN104685893B (zh) 2019-08-13
IL299951B2 (en) 2024-01-01
AU2024201670A1 (en) 2024-04-04
JP6483167B2 (ja) 2019-03-13
TW202201961A (zh) 2022-01-01
RU2017137234A (ru) 2019-02-12
TW201921936A (zh) 2019-06-01
US11025958B2 (en) 2021-06-01
US10484716B2 (en) 2019-11-19
BR112014032687B1 (pt) 2023-02-28
AU2020289848B2 (en) 2022-07-14
CA2877045C (en) 2020-12-08
TW201409995A (zh) 2014-03-01
EP2868103B1 (en) 2016-12-07
JP2017123659A (ja) 2017-07-13
US20150208095A1 (en) 2015-07-23
CN115442627A (zh) 2022-12-06
SG10201809547WA (en) 2018-11-29
US11956472B2 (en) 2024-04-09
SG11201408612TA (en) 2015-01-29
PH12014502882A1 (en) 2015-02-23
AU2022252837A1 (en) 2022-11-10
BR112014032687A2 (pt) 2018-05-02
AU2016204304B2 (en) 2018-06-28
CN110536136A (zh) 2019-12-03
JP2022078031A (ja) 2022-05-24
JP2017118564A (ja) 2017-06-29
JP6603248B2 (ja) 2019-11-06
WO2014001573A1 (en) 2014-01-03
IL283196A (en) 2021-06-30
JP6793167B2 (ja) 2020-12-02
US10743030B2 (en) 2020-08-11
AU2018236689A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
KR102659283B1 (ko) 비디오 데이터 스트림 개념
RU2812020C2 (ru) Концепция потока видеоданных
RU2776357C1 (ru) Концепция потока видеоданных
KR20240070581A (ko) 비디오 데이터 스트림 개념

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant