KR20080092420A - 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합 - Google Patents

스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합 Download PDF

Info

Publication number
KR20080092420A
KR20080092420A KR1020087019301A KR20087019301A KR20080092420A KR 20080092420 A KR20080092420 A KR 20080092420A KR 1020087019301 A KR1020087019301 A KR 1020087019301A KR 20087019301 A KR20087019301 A KR 20087019301A KR 20080092420 A KR20080092420 A KR 20080092420A
Authority
KR
South Korea
Prior art keywords
data unit
elementary data
access unit
video signal
unit
Prior art date
Application number
KR1020087019301A
Other languages
English (en)
Other versions
KR101029854B1 (ko
Inventor
미스카 한누크셀라
예-쿠에이 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080092420A publication Critical patent/KR20080092420A/ko
Application granted granted Critical
Publication of KR101029854B1 publication Critical patent/KR101029854B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

SVC 파일 포맷을 위한 간접NAL유닛수집부와 비디오 코딩을 위한 RTP 페이로드 포맷이 개시되었다. 본 발명의 간접NAL유닛수집부는 비트스트림 내에서 스케일러빌러티 의존도를 쉽게 식별할 수 있게 하여, 스트림을 빠르고 효율적으로 조작할 수 있다. 또한, 본 발명의 간접NAL유닛수집부는 스트림들의 기본 계층이 여전히 H.264/AVC 디코더, AVC 파일 포맷 파서, 및 H.264/AVC RTP 페이로드 파서와 처리될 수 있음을 명확히 한다.

Description

스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합{Backward-compatible aggregation of pictures in scalable video coding}
본 발명은 비디오 코딩에 관한 것이다. 보다 상세히, 본 발명은 스케일러블 비디오 코딩, 저장 및 전송에 관한 것이다.
본 섹션은 청구항에 기술된 본 발명의 내용에 대한 배경지식을 제공하기 위한 것이다. 여기서 기술되는 것은 본 발명에서 추구하는 개념을 포함하나 이전에 고안되거나 착상한 것만을 필요로 하는 것은 아니다. 따라서, 본 섹션에 기술된 것은 여기서 달리 표시하지 않는 한 본 발명의 상세한 설명이나 청구항에 대한 선행기술이 아니면 본 섹션에서 제외하는 것으로 여기는 것이 아니다.
SVC(스케일러블 비디오 코딩)는 스케일러블 비디오 비트스트림을 제공한다. 스케일러블 비디어 비트스트림은 비-스케일러블 기본계층과 하나 이상의 향상 계층들을 포함한다. 향상 계층은 일시해상도(예, 프레임 비율), 공간 해상도, 하위 레이어에서 표시되는 비디오 컨텐트의 퀄리티 또는 그 부분을 향상시킨다. 스케일러블 레이어들은 단일 실시간 전송 프로토콜(RTP) 스트림에 통합되거나 또는 독자적으로 전송된다.
AVC(개선 비디오 코딩)에서 VCL(비디오 코딩 계층)과 NAL(네트워크 추출 계 층) 개념이 도출된다. VCL은 코덱의 신호처리기능, 변환, 양자화, 움직임-보상 예측, 루프 필터, 인터-레이어 예측 등과 같은 기법들을 포함한다. 기본 또는 강화 계층의 코딩된 픽쳐는 하나 이상의 슬라이스들로 구성된다. NAL은 VCL이 생성한 각 슬라이스를 하나 이상의 NAL 유닛들로 캡슐화 한다.
각 SVC 계층은 NAL 유닛들로 형성되고, 계층의 코딩 비디오 비트들을 나타낸다. 단 하나의 레이어를 전송하는 RTP 스트림은 그 레이어에만 속해있는 NAL 유닛들을 실어 보낼 수 있다. 완전한 스케일러블 비디오 비트스트림를 전송하는 RTP 스트림은 기본 계층의 NAL 유닛들과 하나 이상의 강화 계층들을 실어 보낼 수 있다. SVC는 이러한 NAL 유닛들의 디코딩 순서를 구체화한다.
전송을 생략하고 전체 강화계층들을 복호화함으로써 시각콘텐츠품질을 스케일링 하는 개념은 CGS(coarse-grained scalability)라고 한다.
일부 경우, 주어진 강화계층의 비트레이트가 개개의 NAL 유닛들로부터 비트들이 끊어짐으로써(truncating) 감소될 수 있다. 트런케이션(truncation)은 재생되는 강화계층의 비디오 품질을 적당히 떨어뜨릴 수 있다. 이러한 개념은 FGS(fine-grained scalability)로 알려져 있다.
H.264/SVC 비디오 코딩 표준에 따르면, 액세스 유닛은 하나의 프라이머리 코딩 픽쳐를 포함한다. 일부 시스템에서, 액세스 유닛 경계를 검출하는 것은 액세스 유닛 구분문자 NAL 유닛을 비트스티림에 삽입하는 것으로 간략히 수행될 수 있다. SVC에서, 액세스 유닛은 다중 프라이머리 코딩 픽쳐들을 포함하지만, dependency_id, temporal_level, 및 quality_level 의 유일한 각 조합마다 기껏해 야 하나의 픽처를 포함할 수 있다.
스케일러블 비디오 코딩은 일부 최소 퀄리티로 “기본 계층”을 인코딩하는 것과 퀄리티를 최대레벨까지 증가시키는 강화정보를 인코딩하는 것을 포함한다. SVC 스트림의 기본 계층은 일반적으로 AVC를 따른다. 달리 말해, AVC 디코더들은 SVC 스트림의 기본 계층을 디코딩할 수 있고, SVC-특수 데이터를 무시할 수 있다. 이러한 특징은 SVC에 독특한 코딩된 슬라이스 NAL 유닛을 구체화함으로써 실현될 수 있고, AVC에서 향후 사용을 위해 보유될 수 있으며, AVC 스펙에 따라 스킵되어야만 한다.
SVX 액세스 유닛 이내에서 픽쳐들과 그들의 스케일러빌러티 특징들을 식별하는 것은 적어도 두 가지 측면에서 중요하다. 첫 번째는, 서버들이나 게이트웨이들에서 압축된-도메인 스트림 씨닝(thinning)에 있어 중요하다. 데이터의 상당량을 처리하기 위한 요건때문에, 이러한 구성요소들은 가능한 빨리 제거할 픽쳐들을 식별해야 한다. 두 번째는 이러한 식별은 원하는 품질과 복잡성을 지닌 스트림을 재생하는데 있어 중요하다. 수신기들이나 플레이어들은 디코딩할 수 없거나 하지 않을 스케일러블 스트림 내의 픽쳐들을 식별할 수 있어야 한다.
미디어-인식 게이트웨이들이나 RTP 믹서들의 한 가지 기능은 우세한 다운링크 네트워크 조건에 따라 포워딩되는 스트림의 비트레이트를 조절하는 것이다. 미디어-인식 게이트웨이들이나 RTP 믹서들의 예로는 다시점 화상제어 유닛들, 회로-스위칭 및 패킷-스위칭 비디오 전화통신 간의 게이트 웨이들, PoC(push-to-talk over cellular) 서버들, DVB-H(digital video broadcasting-handheld) 시스템들 내 의 IP 캡슐화 또는 홈 무선 네트워크들로 지역에서 브로드캐스트 전송을 포워딩하는 셋탑 박스들이 있다. 단순히 패킷들이나 쉽게 식별된 패킷들의 부분을 드랍시키는 예와 같이 유입되는 데이터의 광범위한 프로세스 없이 포워딩되는 데이터 속도를 제어하는 것이 바람직하다. 계층 코딩에 있어서, 게이트웨이들은 포워딩 되는 스트림의 디코딩에 영향을 미치지 않는 전체 픽쳐들이나 픽쳐 시퀀스들을 드랍하여야 한다. H.264/AVC RTP 페이로드 스펙의 인터리빙된 패킷화 모드는 액세스 유닛들의 NAL 유닛들을 동일한 RTP 페이로드(집합 패킷으로 불리는) 캡슐화하는 것들 허용한다. 특히, 하나의 RTP 페이로드 내의 전체 코딩 픽쳐들을 캡슐화할 것은 요구되지 않으나 코딩된 픽쳐의 NAL 유닛들은 다수의 RTP 패킷들로 분리될 수 있다.
여러 애플리케이션에서 패킷 집합이 자유롭게 허용되는 동안, 패킷 자유화는 게이트웨이 동작에 여러 복잡성을 유발시켰다. 먼저, 주어진 패킷 집합에서, 패킷 집합 내에 포함된 각각의 NAL 유닛의 헤더를 파싱하기 전에는 어떤 픽쳐들이 NAL 유닛에 속하는지를 알 수 없다. 그러므로, 인터리빙된 패킷화모드가 SVC에 적용될 때, 패킷 내의 각 NAL 유닛의 헤더를 파싱하기 전에는 NAL 유닛에 속해있는 레이어를 알 수 없다. 결과적으로, 게이트웨이는 패킷의 NAL 유닛 전부, 또는 일부를 포워딩할지 여부를 결정하기 전에 각 NAL 유닛 헤더를 파싱해야 한다. 다음으로, SEI(Supplement Enhancement Information) 및 파라미터-세트 NAL 유닛들과 같은 일부 NAL 유닛들에서, 동일한 액세스 유닛의 비디오 코딩 레이어(VCL) NAL 유닛들을 수신하기 전에 액세스 유닛을 확인할 수 없다. 따라서, 게이트웨이는 관련 픽쳐들에 비-VCL NAL 유닛들을 매핑하는 것을 해결하기 위해 버퍼와 일부 상태정보를 유 지할 필요가 있다.
기존의 비디오 코딩 표준에서, 픽쳐 헤더는 코딩된 픽쳐들을 분리하기 위해 사용되었다. 그러나, H.264/AVC 표준과 SVC에서는 어떠한 픽쳐 헤더도 신택스 내에 포함되지 않는다. 또한, 파서들은 스트림 내의 각 NAL 유닛에 대한 스케일러빌러티 정보를 파싱할 수도 있지만, 이는 더 상당한 처리력을 요구하므로, 일부 파서들은 이러한 기능을 수행할 수 없다.
이상에 더하여, NAL유닛수집부(aggregator)가 SVC 파일포맷 확인 모델 2(MPEG 다큐먼트 M7586)에 이미 제시되었다. 이 시스템에서, NAL유닛수집부는 그 페이로드 내에 관련 NAL 유닛들을 포함하는 컨테이너이다. NAL유닛수집부는 H.264/AVC 및 SVC 스펙에서 구체화되지 않은 유형을 지니고 H.264/AVC 표준 및 SVC 디코더들을 무시해야한다. 그러나, H.264/AVC 표준에 따른 기본계층 픽처가 NAL유닛수집부 내에 개시된 경우, H.264/AVC 디코더와 함께 더 이상 디코딩 될 수 없으며, 또한 H.264/AVC RTP 디페이로다이저(depayloadizer)나 AVC 파일포맷 파서와 함께 파싱될 수 없다.
본 발명은 SVC 파일 포맷 및 RTIP 페이로드 포맷을 위한 간접NAL유닛수집부를 제공한다. 간접NAL유닛수집부는 비트스트림 내의 스케일러빌러티 의존성들을 쉽게 식별할 수 있도록 함으로써 빠르고 효과적인 스트림 조작을 가능하게 한다. 또한, 본 발명에서는 간접NAL유닛수집부는 스트림의 기본계층이 여전히 H.264/AVC 디코더, AVC 파일 포맷 파서 및 H.264/AVC RTP 페이로드 파서와 함께 처리될 수 있음을 명시한다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1 은 본 발명의 기능을 구현하기 위해 인코더 또는 디코더의 역할을 수행할 수 있는 전기 장치 내에 포함된 회로도를 도시한다.
도 2 는 본 발명과 함께 사용하기 위한 일반적인 멀티미디어 통신을 도시한다.
도 3 은 각 라우터가 비트스트림을 그 커패빌러티에 따라 스트립할 수 있는 IP 멀티캐스팅 배치를 도시한다.
본 발명은 간접NAL유닛수집부를 제공하고, 보다 일반적으로 스케일러블 비디오 코딩에 사용되는 스케일러빌러티정보 엘리멘터리 데이터 유닛을 제공한다. 간접NAL유닛수집부는 다른 NAL 유닛들을 포함하지 않는다. 대신 본 발명의 간접NAL유닛수집부는 간접NAL유닛수집부를 다른 NAL 유닛들과 함께 연관시키기 위한 구성들을 포함한다. 이러한 구성은 연속한 바이트들의 수, 연속한 NAL 유닛들의 수, 상위 레벨 프레이밍 내에 남아있는 NAL 유닛들의 수를 포함하나, 이에 제한되는 것은 아니다. 예를 들어 상위레벨 프레이밍 내에 남아있는 NAL 유닛들은 또한 동일한 RTP 페이로드 내에서 간접NAL유닛수집부에서 생성되는 것과 같다.
본 발명의 간접NAL유닛수집부 구조는 또한 NAL 유닛들 모두에 공통된 특성과 특징 정보를 더 포함한다. 공통 특성 또는 특징 정보는 스케일러빌러티 정보, 관련 NAL 유닛들이 스케일러블 계층 스위칭 포인트를 형성하는지 여부, 다른 스케일러블 계층이 현재 계층으로 어느 곳에서 스위칭 될 수 있는지와 같은 정보를 포함하나, 이에 제한되는 것은 아니다. 스케일러빌러티 정보는 적어도 SVC 스펙 내에서 구체화된“확장된”NAL 유닛 헤더를 포함하고, 이는 simple_priority_id, discardable_flag, dependency_id, temporal_level, quality_level syntax elements를 포함한다.
본 발명의 간접NAL유닛수집부는 H.264/AVC 기본계층만을 처리하는 처리부에서 간과될 유형으로 구분된 NAL 유닛 타입류에서 선택된다. 달리 말해, H.264/AVC 디코더, AVC 파일 포맷 파서, 및 H.264/AVC RTP 디페이로다이저는 본 발명의 간접NAL유닛수집부를 무시해야 한다. 또한, 간접NAL유닛수집부는 SVC 디코더에 의해 간과될 수 있으므로 디코딩 과정에서 간접NAL유닛수집부는 어떠한 기준에도 영향을 미치지 않는다. SVC 파일 포맷에 대한 간접NAL유닛수집부의 신택스 및 시멘틱스의 예와 SVC RTP 페이로드 포맷에 대한 또 다른 예가 이하에서 서술되었다. 본 발명은 캡슐화(encapsulation) 및 코딩 포맷들의 특정 예에 제한되는 것이 아님을 유념하여야 한다.
SVC 파일 포맷의 관점에서, NAL유닛수집부는 NALU-map-group 엔트리들이 안정되고 되풀이되도록(consistent and repetitive) 할 수 있다. NAL유닛수집부는 동일한 샘플에 속해 있는 SVC NAL 유닛을 그룹화하기 위해 사용되고 동일한 스케일러빌러티 정보를 지닌다. NAL유닛수집부는 스케일러블 확장 NAL 유닛들(SVC NAL 유닛들)과 동일한 헤더를 지니지만 새로운 NAL 유닛 타입이다. NAL유닛수집부는 NAL유닛추출부를 포함할 수 있다. NAL유닛추출부는 NAL유닛수집부를 조회할 수 있다.
스트림을 스캔할 때, NAL유닛수집부가 필요하지 않는 경우(예, 원하지 않는 계층에 속해있는 경우), (길이 필드를 이용하여) NAL유닛과 NAL유닛 컨텐츠들은 쉽게 버려질 수 있다. NAL유닛수집부가 필요한 경우, 헤더는 쉽게 버려질 수 있고, 그 컨텐츠들은 보유된다.
NAL유닛수집부는 두 개 이상의 SVC NAL 유닛들을 새로운 NAL 유닛으로 캡슐화한다. NAL유닛수집부는 (SVC 스펙에 구체화된 대로) SVC NAL 유닛들과 동일한 신택스를 지닌 SVC NAL 유닛들을 이용한다. NAL유닛수집부는 다른 NAL 유닛과 같이 샘플 내에 저장된다.
모든 NAL 유닛들은 NAL유닛수집부 내에 디코딩 순서대로 남아 있다. NAL 유닛들이 동일한 quality_level 별로 그룹화 되면, quality_level>0인 NAL 유닛들의 순서는 변경된다. NAL유닛수집부에 대한 신택스는 다음과 같다.
class aligned(8) AggregatorNALUnit(AggregatorNALUnitSize)
unsigned int i = 2;
/* NALUnitHeader as specified in the SVC spec */
bit(l) forbidden_zero_bit;
bit(2) NAL_ref_idc;
bit(5) NAL_unit_type = AggregatorNALUnitType = const(30);
bit(6) simple_dependency_ID;
bit(l) discardable_flag;
bit(l) extension_flag;
if (extension_flag)
quality_level = simple_dependency_ID;
bit (3) temporal_level;
bit (3) dependency_ID;
bit (2) qualityJD;
i++;
/* end of NAL unit header */
do
unsigned int((lengthSizeMinusOne+l)*8)
NALUnitLength;
bit(NALUnitLength * 8) SVCNALUnit;
i += (lengthSizeMinusOne+l)+NALUnitLength;
while (RAggregatorNALUnitSize);
NAL유닛수집부에 대한 시맨틱스는 다음과 같다.
NALUnitHeader : SVC 스펙에 구체화된 바에 따르면 (8 또는 16 비트)
NAL_unit_type 은 NAL유닛수집부 유형으로 세팅된다(type 30).
스케일러빌러티 정보(NAL_ref_idc, simple_dependency_ID, discardable_flag, extended scalability information)는 모든 NAL유닛수집부의 헤더 내에서 동일한 값을 지닌다.
NALUnitLength : NAL 유닛의 크기를 구체화 하면 다음과 같다. 이 필드의 크기는 lengthSizeMinusOne 엔트리와 함께 구체화된다.
SVCNALUnit: SVC NAL 유닛은 SVC 스펙에서 구체화된 것과 같이, SVC NAL 유닛 헤더를 포함한다. SVC NAL 유닛의 크기는 NALUnitLength에 의해 구체화된다.
NAL유닛수집부가 동일한 스케일러빌러티 계층의 SVC NAL 유닛들을 수집한다고 가정한다. 또한 NAL유닛수집부는 다른 계층들의 SVC NAL 유닛들을 그룹핑 할 수 있다(예, 모든 퀄리티 계층들(FGS 프래그먼트들)의 그룹핑, 동일한 dependency_ID를 지닌 모든 NAL 유닛들의 그룹핑). 이 경우, NAL유닛수집부는 가장 낮은 dependecy_ID 및/또는 temporal_level, quality_ID를 지닌 SVC NAL 유닛들의 스케일러빌러티 정보를 신호로 알린다.
NAL유닛수집부는 NAL유닛헤더에 의해 시그널 되지 않는 스케일러빌러티 레벨에 속하는 SVC NAL 유닛들을 그룹핑 하는데 사용될 수 있다(예, SVC NAL 유닛들은 관심지역(ROI)에 속한다). 그러한 NAL유닛수집부의 서술(description)은 계층 서술과 함께 수행될 수 있고 NAL 유닛은 그룹들을 매핑한다. 이 경우, 하나 이상의 동일한 스케일러빌러티를 지닌 NAL유닛수집부는 하나의 샘플에서 발생한다.
NAL유닛수집부는 모든 AU 내의 각 계층에 대해 일정한 수의 NAL 유닛들을 이끌어낼 수 있다. 일정한 패턴을 확실히 하기 위해, 이하와 같이 발생할 수 있다. AVC 기본계층 NALU들은 NAL유닛수집부 내에서 그룹핑될 수 있다(SVC 스트림 내에서 사용될 경우). 이 경우, temporal_level, dependency_ID 및 quality_ID는 모두 0으로 설정된다. AVC 기본계층 NALU들은 NAL추출부에 의해 참조될 수 있다. 특정 계층에 NALU가 어떤 이유로 인해 이 AU 내에 존재하지 않는 경우, 비어있는 NAL유닛수집부가 이 지점에 존재한다.
SVC 비디오에 대한 RTP 페이로드 포맷의 관점에서, 페이로드 컨텐츠 스케일러빌러티 정보 NAL 유닛은 일반적으로 다음과 같다. SVC NAL 유닛은 일, 이 또는 3 바이트의 헤더와 페이로드 바이트 스트링을 포함한다. 헤더는 NAL 유닛 타입, NAL 유닛 페이로드 내에 비트 에러들 또는 신택스 위반들의 존재(가능성), 디코딩 과정에서 NAL 유닛의 상대적 중요성과 관련된 정보, 및(선택적으로, 헤더가 3 바이트인 경우)스케일러블 계층 디코딩 의존 정보를 표시한다.
NAL 유닛 헤더는 RTP 페이로드 포맷의 페이로드 헤더로서의 역할도 함께 수행한다. NAL 유닛의 페이로드가 즉시 뒤따라온다. NAL 유닛 헤더의 신택스 및 시맨틱스가 [SVC]에 서술되어 있으나, NAL 유닛 헤더의 주요 특징은 아래와 같이 요약된다.
NAL 유닛 헤더의 제 1 바이트는 아래와 같은 포맷을 지닌다.
Figure 112008056529380-PCT00001
forbidden_zero_bit(F): 1 비트. H.264 스펙은 신택스 위반으로 1 값을 표시한다.
nal_ref_idc(NRI) : 2 비트. 00 값은 NAL 유닛의 컨텐트가 인터 픽쳐 예측을 위한 참조 픽쳐들을 재구성하는데 사용되지 않음을 표시한다. 이러한 NAL 유닛들은 동일 계층 내의 참조 픽쳐를 보전해야하는 위험 없이 버려질 수 있다. 00보다 큰 값들은 NAL 유닛의 디코딩이 참조 픽쳐들의 보전(integrity)을 유지하기 위해 요구됨을 표시한다. NAL 유닛을 분배하는 슬라이스 또는 슬라이스 데이터의 경우, NRI 11 값은 NAL 유닛이 [SVC]에 기술된 바와 같이 키 픽쳐의 데이터를 포함하는 것을 표시한다.
정보 노트(Informative Note): 키 픽쳐의 개념은 SVC에서 소개되어 있고, H.264 의 2003 및 2005 버전을 따르는 비트 승트림 내의 어떠한 픽쳐도 이 규칙을 지킨다는 가정은 이루어지지 않았다.
nal_unit_type(Type): 5 비트. 이 구성요소는 NAL 유닛 페이로드 타입을 구체화한다. 이전에, NAL 유닛 타입들(다른 것들 중)(20, 21)은 향후 확장을 위해 비축되어 왔다. SVC는 이 두 가지 NAL 유닛 타입들을 이용하고 있다. 이들은 전송 관 점에서 유용한 하나 이상의 바이트가 존재함을 표시한다.
Figure 112008056529380-PCT00002
simply_priority_id(PRID):6 비트. 이 구성요소는 NAL 유닛에 대한 우선순위 식별자를 구체화한다. extension_flag 가 0인 경우, simple_priority_id 가 dependency_id, temporal_level, 및 quality_level의 값들을 가리키기 위해 사용된다. simple_priority_id 가 존재하지 않는 경우, 이는 0과 같음을 나타낸다.
discardable_flag(D) : 1 비트. 1 값은 NAL 유닛의 컨텐트(dependency_id=currDependencyId)가 dependency_id>currDependencyID인 경우 NAL 유닛들의 디코딩 과정에서 사용되지 않음을 표시한다. 이러한 NAL 유닛들은 dependency_id가 더 큰 값을 지닌 상위 스케일러블 계층들의 보전 위험없이 버려질 수 있다. discardable_flag 가 0인 것은 NAL 유닛의 디코딩이 dependency_id가 더 큰 값들을 지닌 상위 스케일러블 계층들의 보전을 유지할 것을 요구하는 것을 표시한다.
extension_flag(E): 1 비트. 1 값은 NAL 유닛 헤더의 제 3 바이트가 존재함을 표시한다. 제 2 바이트의 E-비트가 1이면, NAL 유닛 헤더는 제 3 바이트로 확장된다.
Figure 112008056529380-PCT00003
temporal_level(TL): 3비트. 이 구성요소는 일시적스케일러빌러티 또는 프레임레이트를 표시하는데 사용된다. 더 작은 temporal_level 값의 픽쳐들로 구성된 레이어는 더 작은 프레임레이트를 지닌다.
dependency_id(DID): 3비트. 이 구성요소는 인터레이어 코딩 의존 체계를 표시하는데 사용된다. 어느 시간의(temporal) 위치에서든, 더 작은 dependency_id 값의 픽쳐는 더 큰 dependency_id 값을 지닌 픽쳐의 코딩을 위한 인터-레이어 예측에 사용된다.
Quality_level(QL): 2비트. 이 구성요소는 FGS 레이어 계층을 표시하는데 사용된다. 어느 시간 위치에서든지 동일한 dependency_id 값을 지니면, QL과 동일한quality_level 값을 지닌 FGS 픽쳐는 인터-레이어 예측시 FGS 픽처 또는 QL-1과 동일한 quality_level을 지닌 기본 퀄리티 픽쳐(QL-1=0 일 때 비-FGS 픽쳐)를 이용한다. QL이 0보다 더 클 때, NAL 유닛은 FGS 슬라이스 또는 그곳의 일부를 포함한다.
본 실시예에서,PACSI(payload content scalability information, 페이로드 컨텐트 스케일러빌러티 정보) NAL 유닛으로 알려진 새로운 NAL 유닛 타입이 설명된다. PACSI NAL 유닛은 존재하는 경우 패킷들 집합 내에서 첫 번째 NAL 유닛이어야 하며, 다른 패킷들의 타입에는 존재하지 않아야 한다. PACSI NAL 유닛은 페이로드 내에 모든 남아있는 NAL 유닛들에 대한 공통적인 스케일러빌러티 특징들을 표시하여, MANE들이 패킷을 포워딩할 것인지 또는 버릴 것인지 판단을 쉽게 한다. 송신부들은 PACSI NAL 유닛들을 생성하고, 수신부들은 이들을 간과할 수 있다.
PACSI NAL 유닛에 대한 NAL 유닛 타입이 H.264/AVC 스펙이나 RFC 3984에 구체화되어 있지 않은 값들 중에서 선택된다. 따라서, H.264/AVC 기본 계층을 구비하고 PACSI NAL 유닛들을 포함하는 SVC 스트림들은 RFC 수신기들 및 H.264/AVC 디코더들과 함께 처리될 수 있다.
패킷집합의 제 1 집합 유닛이 PACSI NAL 유닛을 포함할 때, 동일한 패킷 내에 적어도 하나의 부가 집합 유닛이 존재해야 한다. RTP 헤더 필드들은 패킷 집합 내에 남아있는 NAL 유닛들에 따라 설정된다.
PACSI NAL 유닛이 다중-시간 패킷 집합 내에 포함될 때, PACSI NAL 유닛에 대한 디코딩 순서 번호는 PACSI NAL 유닛이 패킷 집합 내의 NAL 유닛들 간에 디코딩 순서에서 제 1 NAL 유닛이거나 또는 PACSI NAL 유닛이 패킷 집합 내에 남아 있는 NAL 유닛들 사이의 디코딩 순서에서 제 1 NAL 유닛에 대한 동일한 디코딩 순서를 지님을 표시하도록 설정되어야 한다.
PACSI NAL 유닛 구조는 다음과 같다.
Figure 112008056529380-PCT00004
PACSI NAL 유닛 내의 필드들의 값은 다음과 같이 설정되어야 한다.
- 페이로드 내에 남아 있는 어떠한 NAL 유닛이라도 1과 같은 경우 F 비트는 1로 설정되어야 한다. 그렇지 않은 경우, F 비트는 0으로 설정되어야 한다.
- NRI 필드는 페이로드 내에 남아 있는 NAL 유닛들 중 NRI 필드에서 가장 큰 값으로 설정되어야 한다.
-타입 필드는 30으로 설정되어야 한다.
-PRID 필드는 페이로드 내에 남아있는 NAL 유닛들 간에 PRID 필드 중 가장 작은 값으로 설정되어야 한다. PRID 필드가 페이로드 내에 존재하는 NAL 유닛들 중 하나에 존재하지 않는 경우, PACSI NAL 유닛 내의 PRID 필드는 0으로 설정되어야 한다.
-페이로드 내의 남아있는 NAL 유닛 내의 D 비트가 0인 경우 D 비트는 0으로 설정되야 한다. 그렇지 않은 경우, D 비트는 1로 설정되어야 한다.
-E 비트는 1로 설정되어야 한다.
-TL 필드는 페이로드 내의 남아있는 NAL 유닛들 사이에서 TL 필드의 가장 작 은 값으로 설정되어야 한다.
-DID 필드는 페이로드 내의 남아있는 NAL 유닛들 중 DID 필드의 가장 작은 값으로 설정되어야 한다.
-QL 필드는 페이로드 내에 남아있는 NAL 유닛들 중 QL 필드의 가장 작은 값으로 설정되어야 한다.
본 발명의 간접NAL유닛수집부는 비트스트림 내의 스케일러빌러티 의존도를 쉽게 식별할 수 있게 하여, 스트림 조작을 빠르고 효율적으로 할 수 있도록 한다. 간접NAL유닛수집부는 스트림의 기본 계층이 여전히 H.264/AVC 디코더, AVC 파일 포맷 파서, 및 H.264/AVC RTP 페이로드 파서와 함께 처리될 수 있도록 한다.
디코딩의 경우, 디코딩될 비트스트림은 가상적인 네트워크 타입 내에 위치한 원격 장치로부터 수신될 수 있다. 부가적으로, 비트스트림은 로컬 하드웨어 또는 소프트웨어에서 수신될 수 있다. 여기에 포함된 텍스트나 예시들이 구체적으로 인코딩 과정을 기술하고 있을지라도, 본 발명이 속하는 분야의 통상의 지식을 가진 자는 대응되는 디코딩 과정에 적용되는 동일한 개념들 및 원칙들에 대하여 이미 파악하고 있을 것임을 유의하여야 한다.
도 1 은 본 발명의 기능이 구현되는 인코더측 또는 디코더측 모두에서 구현될 수 있는 본 발명의 전기 장치 내에 포함된 구성을 도시한다. 그러나 본 발명은 전기 장치(12)의 특정 유형에 제한되는 것이 아님을 주의하여야 한다. 도 1 의 전기 장치(12)는 디스플레이(32), 키패드(34), 마이크로폰(36), 이어-피스(38), 적외선 포트(42), 안테나(44), 본 발명의 일 실시예에 따라 UICC 형태의 스마트 카 드(46), 카드 판독기(48), 무선 인터페이스 회로(52), 코덱 회로(54), 제어부(56) 및 메모리(58)를 포함한다.
도 2 는 본 발명에서 사용되는 일반적인 멀티미디어 통신 시스템을 도시한다. 데이터 소스(100)는 아날로그 또는 압축되지 않은 디지털 형식 또는 이러한 형식의 조합 형태의 소스 신호를 제공한다. 인코더(110)는 코딩된 미디어 비트스트림으로 소스 신호를 인코딩 한다. 인코더(110)는 오디오 및 비디오와 같은 하나 이상의 미디어 타입을 인코딩 하거나 또는 하나 이상의 인코더(110)가 소스 신호의 다른 미디어 타입들을 코딩하기 위해 요구된다.
인코더(110)는 또한 그래픽 및 텍스트와 같은 종합적으로 생성된 입력을 받거나 또는 종합적인 미디어의 코딩된 비트스트림을 재생할 수 있다. 이하에서는, 설명을 간략화 하기 위해 한 미디어 타입의 한 코딩된 미디어 비트스트림의 처리만을 고려하였다. 그러나, 일반적으로 실시간 브로드캐스트 서비스들은 여러 스트림들(일반적으로 적어도 하나의 오디오, 비디오 및 텍스트 서브-타이틀 스트림)을 포함하는 것을 주의하여야 한다. 또한 시스템은 많은 인코더들을 포함하는 것을 유의하여야 하지만, 이하에서는 일반성을 고려하지 않고 설명의 간략화를 위해 단지 하나의 인코더(110)만을 고려하였다.
코딩된 미디어 비트스트림은 저장부(120)로 전송된다. 저장부(120)는 코딩된 미디어 비트스트림을 저장하는 대량 메모리 유형을 포함한다. 저장부(120) 내의 코딩된 미디어 비트스트림 유형은 엘리멘터리 자급식(self-contained) 비트스트림 포맷일 수 있거나 또는 하나 이상의 코딩된 미디어 비트스트림들은 컨테이너 파일 로 캡슐화 된다. 일부 시스템은 "live"로 동작한다. 예를 들어 저장부를 생략하고 코딩된 미디어 비트스트림을 인코더(110)로부터 직접 송신부(130)로 전송한다. 코딩된 미디어 비트스트림은 그 후 필요한 경우 서버로도 불리는 송신부(130)로 전송된다. 송신에서 사용되는 포맷은 엘리멘터리 자급식 비트스트림 포맷일 수 있고, 패킷 스트림 포맷, 또는 하나 이상의 코딩된 미디어 비트스트림들이 컨테이너 파일로 캡슐화된다. 인코더(110), 저장부(120), 서버(130)는 동일한 물리 장치 내에 놓이거나 또는 별도의 장치들에 포함될 수 있다. 인코더(110) 및 서버(130)는 라이브 실-시간 콘텐츠와 함께 동작하고, 그 경우 코딩된 미디어 비트스트림을 일반적으로는 영속적으로 저장되지 않고, 오히려 컨텐트 인코더(110) 및/또는 서버(130)에서 작은 시간 구간들동안 버퍼링되어 처리 지연, 전송 지연 및 코딩된 미디어 비트레이트에서 변화들을 제거한다.
서버(130)는 통신 프로토콜 스택을 이용하여 코딩된 미디어 비트스트림을 전송한다. 스택은 RTP(Real-Time Transport Protocol), UDP(User Datagram Protocol), 및 IP(Internet Protocol)을 포함할 수 있으나 이에 제한되는 것은 아니다. 통신 프로토콜 스택이 패킷지향(packet-oriented)일 때, 서버(130)는 코딩된 미디어 비트스트림을 패킷들로 캡슐화한다. 예를 들어, RTP가 사용되면, 서버(130)는 RTP 페이로드 포맷에 따라 코딩된 미디어 비트스트림을 RTP 패킷들로 캡슐화한다. 일반적으로, 각 미디어 타입은 전용 RTP 페이로드 포맷을 지닌다. 다시 주의할 것은 시스템은 하나 이상의 서버(130)를 포함하지만, 간략함을 위해, 이하의 서술은 단지 하나의 서버(130)만을 고려한다는 점이다.
서버(130)는 통신 네트워크를 통해 게이트웨이(140)에 연결되거나 연결되지 않을 수 있다. 게이트웨이(140)는 다른 유형의 기능들, 예를 들어 하나의 통신 프로토콜 스택에 따라 패킷 스트림을 다른 통신 프로토콜 스택으로 변환하는 것, 데이터 스트림들을 통합 및 분기하는 것 그리고, 예를 들어 주요 다운링크 네트워크 조건에 따라 포워딩하는 스트림의 비트레이트를 조절하는 것과 같이 다운링크 및/또는 수신 능력에 따라 데이터 스트림을 조작하는 것이다. 게이트웨이들(140)의 예는 다중시점 컨퍼런스 제어 유닛들(MCU), 회로-스위치 및 패킷 스위치 비디오 전화통신간의 게이트웨이들, PoC(Push-to-talk over Cellular) 서버들, DVB-H(digital video broadcasting-handheld) 시스템에서 IP 캡슐화기(encapsulator) 또는 홈 무선 네트워크로 지역적으로 브로드캐스트 전송을 포워딩하는 셋-탑 박스들이다. RTP 가 사용되면, 게이트웨이(140)는 RTP 믹서로 불리고 RTP 연결의 종료점으로 역할한다.
시스템은 일반적으로 수신, 디모듈레이션, 및 수신된 신호를 코딩된 미디어 비트스트림으로 디캡슐화를 할 수 있는 하나 이상의 수신기들(150)을 포함한다. 코덱 미디어 비트스트림을 디코더(160)에 의해 일반적으로 더 처리되고, 디코더의 출력은 하나 이상의 비압축 미디어 스트림들이다. 최종적으로, 제작부(170)는 예를 들어 라우드스피커 또는 디스플레이를 통해 비압축 미디어 스트림들을 재생성한다. 수신기(150), 디코더(160) 및 제작부(170)는 동일한 물리 장치 내에 있거나 또는 별개의 장치들 내에 포함될 수 있다.
비트레이트 측면에서 스케일러빌러티, 디코딩 복잡도, 및 픽쳐 크기는 이종 및 에러가 발생하기 쉬운 환경에서 바람직한 특징이다. 이러한 특징은 비트레이트, 디스플레이 해상도, 네트워크 처리량, 및 수신 장치에서 처리력에서 제약과 같은 제한점들을 상쇄하기에 바람직하다.
스케일러빌러티는 계층 코딩(layered coding)과 전송 우선순위가 결합한 전송 시스템에서 에러 복원력을 향상시키기 위해 사용될 수 있다. "전송 우선순위(transport prioritization)"은 이례적인 에러 검출을 포함하는 전송에 있어 다른 서비스 품딜을 제공하여 다른 에러/손실 비율을 지니는 다른 채널들을 제공하는 다양한 기법들을 의미한다. 이러한 특징에 따라, 데이터는 다르게 할당된다. 예를 들어, 기본 계층은 에러 검출이 되는 상당히 잘 되는 채널을 통해 전송될 수 있고 강화 계층들을 에러에 영향을 더 받기 쉬운 채널들을 통해 전송될 수 있다.
다시점 및 브로드캐스트 멀티미디어 애플리케이션들에서, 네트워크 처리량에 대한 제약은 인코딩 시점에서는 예측할 수 없다. 따라서, 스케일러블 비트스트림이 사용되어야 한다. 도 3 은 각 라우터가 그 커패빌러티에 따라 비트스트림을 스트립할 수 있는 IP 멀티캐스팅 배치를 도시한다. 도 3 은 다수의 클라이언트들 C1~C3로 비트스트림을 제공하는 서버 S를 도시한다. 비트스트림들은 라우터 R1~R3에 의해 클라이언트들로 라우팅 된다. 본 예에서, 서버는 적어도 3개의 비트레이트들, 120kbit/s, 60kbit/s 및 28kbit/s로스케일될 수 있는 클립들을 제공하고 있다.
클라이언트 및 서버가 일반적인 유니캐스트 연결을 통해 연결될 경우, 서버는 일시적인 채널 처리량에 따라 전송된 멀티미디어 클립의 비트레이트를 조절하려고한다. 한가지 해결책은 계층화된(layered) 비트 스트림을 이용하여 전송된 강화 계층의 수를 변경함으로써 대역폭 변화량을 조절하는 것이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명의 소프트웨어 및 웹은 기본 로직 및 다른 로직과 함께 표준 프로그래밍 기술들을 구현하여 다양한 데이터베이스 검색 단계, 상호연관 단계, 비교 단계 및 결정 단계를 수행함으로써 실현될 수 있다. 본 발명의 상세한 설명 및 청구항에서 사용되는 "구성" 및 "모듈"이라는 용어는 하나 이상의 소프트웨어 코드 라인들 및/또는 하드웨어 구현들, 및/또는 수신하는 매뉴얼 입력들을 위한 장치를 이용하여 구현되는 예들을 모두 포함한다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진 정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (25)

  1. 제 1 알고리듬에 따라 디코딩할 수 있는 픽쳐의 기본계층과 제 2 알고리듬에 따라 디코딩할 수 있는 상기 픽쳐의 강화계층을 적어도 하나 포함하는 스케일러블 코딩 비디오 신호를 캡슐화하는 방법으로서,
    상기 기본계층 및 상기 적어도 하나의 강화계층을 액세스유닛으로 인코딩하는 단계로서, 상기 액세스유닛은
    디코딩에 사용되는 적어도 하나의 데이터 유닛, 및
    상기 액세스 유닛의 적어도 일부와 연관된 스케일러빌러티 정보 엘리멘터리 데이터 유닛을 포함하고
    이 경우 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 제 1 알고리듬에 따라 디코딩되는 동안에는 무시되는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  2. 제 1 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 액세스유닛 내의 픽쳐와 연관된 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  3. 제 1 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 액세스유닛의 적어도 일 부분과 연관된 정보를 포함하는 것을 특징으로 하는 스 케일러블코딩비디오신호 캡슐화방법.
  4. 제 3 항에 있어서, 상기 정보는 우선순위, 시간(temporal) 레벨, 의존 순서 표시자, 상위 의존 순서 표시자와 연관된 엘리멘터리 데이터 유닛들이 디코딩용 상기 액세스유닛의 적어도 일부를 요구하는지 여부를 나타내는 표시자, 상기 액세스유닛의 상기 적어도 일 부분이 다른 계층이 현재 계층으로 스위칭 될 수 있는 계층 스위칭 포인트인지 여부를 나타내는 표시자 및 그것의 결합들로 구성된 그룹에서 선택되는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  5. 제 1 항에 있어서, 상기 스케일러블 코딩 비디오 신호를 파일로 캡슐화하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  6. 제 5 항에 있어서, ISO 기본 미디어 파일 포맷, AVC 파일 포맷, SVC 파일 포맷, 3GP 파일 포맷 및 3G2 파일 포맷 중 적어도 하나의 파일 포맷에 따라 상기 스케일러블 코딩 비디오 신호는 상기 파일로 캡슐화되는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  7. 제 1 항에 있어서, 상기 스케일러블 코딩 비디오 신호를 패킷 스트림으로 캡슐화하는 단계를 더 포함하는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  8. 제 7 항에 있어서, 상기 패킷 스트림은 RTP 스트림을 포함하는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  9. 제 1 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 H.264/AVC 디코더, AVC 파일 파서, H.264/AVC RTP 디페이로다이저(depayloadizer), 및 SVC 디코더 중 적어도 하나에 의해 무시되도록 구현되는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  10. 제 1 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛에 기초하여 상기 코딩된 비디오 신호로부터 상기 액세스유닛의 상기 연관 부분을 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  11. 제 1 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛에 기초하여 상기 코딩된 비디오 신호로부터 상기 액세스유닛의 상기 관련부분 처리를 정지시키는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블코딩비디오신호 캡슐화방법.
  12. 제 1 알고리듬에 따라 디코딩할 수 있는 픽쳐의 기본계층과 제 2 알고리듬에 따라 디코딩할 수 있는 상기 픽쳐의 강화계층을 적어도 하나 포함하는 스케일러블 코딩 비디오 신호를 캡슐화하기 위해 컴퓨터-판독 매체에서 인코딩되는 컴퓨터 프로그램 생성물로서,
    상기 기본계층 및 상기 적어도 하나의 강화계층을 액세스유닛으로 인코딩하는 컴퓨터코드;를 포함하고, 상기 액세스유닛은
    디코딩에 사용되는 적어도 하나의 데이터 유닛, 및
    상기 액세스 유닛의 적어도 일부와 연관된 스케일러빌러티 정보 엘리멘터리 데이터 유닛을 포함하고
    이 경우 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 제 1 알고리듬에 따라 디코딩되는 동안에는 무시되는 것을 특징으로 하는 컴퓨터프로그램생성물.
  13. 제 12 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 액세스유닛 내의 픽쳐와 연관된 것을 특징으로 하는 컴퓨터프로그램생성물.
  14. 제 12 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 액세스 유닛의 적어도 일부와 연관된 정보를 포함하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  15. 제 14 항에 있어서, 상기 정보는 우선순위, 시간(temporal) 레벨, 의존 순서 표시자, 상위 의존 순서 표시자와 연관된 엘리멘터리 데이터 유닛들이 디코딩용 상기 액세스유닛의 적어도 일부를 요구하는지 여부를 나타내는 표시자, 상기 액세스유닛의 상기 적어도 일 부분이 다른 계층이 현재 계층으로 스위칭 될 수 있는 계층 스위칭 포인트인지 여부를 나타내는 표시자 및 그것의 결합들로 구성된 그룹에서 선택되는 것을 특징으로 하는 컴퓨터프로그램생성물.
  16. 제 12 항에 있어서, 상기 스케일러블 코딩 비디오 신호를 파일로 캡슐화하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  17. 제 16 항에 있어서, ISO 기본 미디어 파일 포맷, AVC 파일 포맷, SVC 파일 포맷, 3GP 파일 포맷 및 3G2 파일 포맷 중 적어도 하나의 파일 포맷에 따라 상기 스케일러블 코딩 비디오 신호는 상기 파일로 캡슐화되는 것을 특징으로 하는 컴퓨터프로그램생성물.
  18. 제 12 항에 있어서, 상기 스케일러블 코딩 비디오 신호를 패킷 스트림으로 캡슐화하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  19. 제 18 항에 있어서, 상기 패킷 스트림은 RTP 스트림을 포함하는 것을 특징으로 하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  20. 제 12 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 H.264/AVC 디코더, AVC 파일 파서, H.264/AVC RTP 디페이로다이저(depayloadizer), 및 SVC 디코더 중 적어도 하나에 의해 무시되도록 구현되는 것을 특징으로 하는 컴퓨터프로그램생성물.
  21. 제 12 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛에 기초하여 상기 코딩된 비디오 신호로부터 상기 액세스유닛의 상기 연관 부분을 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  22. 제 12 항에 있어서, 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛에 기초하여 상기 코딩된 비디오 신호로부터 상기 액세스유닛의 상기 관련부분 처리를 정지시키는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터프로그램생성물.
  23. 프로세서; 및
    상기 프로세서와 통신하도록 연결되고 제 1 알고리듬에 따라 디코딩할 수 있는 픽쳐의 기본계층과 제 2 알고리듬에 따라 디코딩할 수 있는 상기 픽쳐의 강화계층을 적어도 하나 포함하는 스케일러블 코딩 비디오 신호를 캡슐화하기 위해 컴퓨터-판독 매체에서 인코딩되는 컴퓨터 프로그램 생성물을 포함하는 메모리;를 포함하고, 상기 컴퓨터 프로그램 생성물은 상기 기본계층 및 상기 적어도 하나의 강화계층을 액세스유닛으로 인코딩하는 컴퓨터코드;를 포함하고, 상기 액세스유닛은
    디코딩에 사용되는 적어도 하나의 데이터 유닛, 및
    상기 액세스 유닛의 적어도 일부와 연관된 스케일러빌러티 정보 엘리멘터리 데이터 유닛을 포함하고
    이 경우 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 제 1 알고리듬에 따라 디코딩되는 동안에는 무시되도록 구현되는 것을 특징으로 하는 전기장치.
  24. 제 1 알고리듬에 따라 디코딩할 수 있는 픽쳐의 인코딩된 기본계층과 제 2 알고리듬에 따라 디코딩할 수 있는 상기 픽쳐의 강화계층을 적어도 하나 포함하는 액세스 유닛;을 포함하고, 상기 액세스 유닛은
    디코딩에 사용되는 적어도 하나의 엘리멘터리 데이터 유닛; 및
    상기 액세스유닛의 적어도 일부분과 연관된 스케일러빌러티 정보 엘리멘터리 데이터 유닛;을 포함하고
    이 경우 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 제 1 알고리듬에 따라 디코딩되는 동안에는 무시되도록 구현되는 것을 특징으로 하는 캡슐화된 스케일러블 코딩 비디오 신호.
  25. 제 1 알고리듬에 따라 디코딩할 수 있는 픽쳐의 기본계층과 제 2 알고리듬에 따라 디코딩할 수 있는 상기 픽쳐의 강화계층을 적어도 하나 포함하는 캡슐화된 스케일러블 코딩된 비디오 신호를 디코딩하는 방법으로서, 상기 방법은
    액세스유닛으로부터 상기 기본계층과 상기 적어도 하나의 강화계층을 디코딩하는 단계;를 포함하고, 상기 액세스 유닛은
    디코딩에 사용되는 적어도 하나의 엘리멘터리 데이터 유닛; 및
    상기 액세스유닛의 적어도 일부분과 연관된 스케일러빌러티 정보 엘리멘터리 데이터 유닛;을 포함하고
    이 경우 상기 스케일러빌러티 정보 엘리멘터리 데이터 유닛은 상기 제 1 알고리듬에 따라 디코딩되는 동안에는 무시되도록 구현되는 것을 특징으로 하는 방법.
KR1020087019301A 2006-01-11 2007-01-11 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합 KR101029854B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US75825406P 2006-01-11 2006-01-11
US60/758,254 2006-01-11
PCT/IB2007/000075 WO2007080502A2 (en) 2006-01-11 2007-01-11 Backward-compatible aggregation of pictures in scalable video coding

Publications (2)

Publication Number Publication Date
KR20080092420A true KR20080092420A (ko) 2008-10-15
KR101029854B1 KR101029854B1 (ko) 2011-04-15

Family

ID=38256684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019301A KR101029854B1 (ko) 2006-01-11 2007-01-11 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합

Country Status (13)

Country Link
US (1) US8767818B2 (ko)
EP (1) EP1977604B1 (ko)
JP (1) JP4874343B2 (ko)
KR (1) KR101029854B1 (ko)
CN (1) CN101390399B (ko)
AU (1) AU2007204168B2 (ko)
BR (1) BRPI0707457A2 (ko)
HK (1) HK1127205A1 (ko)
MY (1) MY148628A (ko)
RU (1) RU2409910C2 (ko)
TW (1) TWI432035B (ko)
WO (1) WO2007080502A2 (ko)
ZA (1) ZA200806042B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015251A2 (ko) * 2010-07-29 2012-02-02 한국전자통신연구원 전송 스케쥴링 방법
KR101458852B1 (ko) * 2012-02-10 2014-11-12 폴리콤 인코포레이티드 멀티-홉 ｒｔｐ 스트림에서의 중요 패킷 손실 처리 시스템 및 방법
US9635394B2 (en) 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9344362B2 (en) 2007-01-12 2016-05-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QOS control algorithm and apparatus for IPV6 label switching using the format
CA2675955C (en) * 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
US8619868B2 (en) * 2007-02-23 2013-12-31 Nokia Corporation Backward-compatible characterization of aggregated media data units
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
BRPI0815735A2 (pt) * 2007-08-28 2019-09-24 Thomson Licensing difusão alternada sem retardo durante a troca entre canais.
AU2008298602A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
US20110038386A1 (en) * 2008-04-29 2011-02-17 France Telecom Transmission of a video stream coded by hierarchical coding
KR101635235B1 (ko) * 2008-07-26 2016-06-30 톰슨 라이센싱 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
IT1398195B1 (it) * 2009-06-25 2013-02-14 St Microelectronics Srl "procedimento e sistema per la distribuzione di contenuti informativi, relativo prodotto informatico"
CN102165776B (zh) * 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8386266B2 (en) 2010-07-01 2013-02-26 Polycom, Inc. Full-band scalable audio codec
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8831932B2 (en) 2010-07-01 2014-09-09 Polycom, Inc. Scalable audio in a multi-point environment
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
JP5640574B2 (ja) * 2010-09-01 2014-12-17 ヤマハ株式会社 端末装置
CN102404560B (zh) * 2010-09-17 2013-12-18 中兴通讯股份有限公司南京分公司 实现可伸缩视频编码业务协同传输的方法及系统
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9723305B2 (en) * 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US9350781B2 (en) * 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
WO2015005622A1 (ko) * 2013-07-07 2015-01-15 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
EP3050300B1 (en) 2013-09-26 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Hybrid codec scalable video
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
GB2533775B (en) * 2014-12-23 2019-01-16 Imagination Tech Ltd In-band quality data
US20160192018A1 (en) * 2014-12-29 2016-06-30 Microsoft Technology Licensing, Llc Previewing content available at local media sources
US11595695B2 (en) 2018-09-25 2023-02-28 Telefonaktiebolaget Lm Ericsson (Publ) Media bitstream having backwards compatibility
CN110445582B (zh) * 2019-08-12 2020-10-23 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
US20050275752A1 (en) 2002-10-15 2005-12-15 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
BRPI0316861B1 (pt) * 2002-12-03 2018-12-11 Thomson Licensing Sa disco de vídeo digital codificado com dados de sinais
US8437347B2 (en) * 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
RU2384956C2 (ru) 2005-05-19 2010-03-20 Нокиа Корпорейшн Система и способ обеспечения неравномерной защиты от ошибок для маркированных согласно приоритету дейтаграмм в системе передачи dvb-h
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
DE102005033981A1 (de) * 2005-07-20 2007-02-01 Siemens Ag Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrichtung

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015251A2 (ko) * 2010-07-29 2012-02-02 한국전자통신연구원 전송 스케쥴링 방법
WO2012015251A3 (ko) * 2010-07-29 2012-04-19 한국전자통신연구원 전송 스케쥴링 방법
KR101458852B1 (ko) * 2012-02-10 2014-11-12 폴리콤 인코포레이티드 멀티-홉 ｒｔｐ 스트림에서의 중요 패킷 손실 처리 시스템 및 방법
US9635394B2 (en) 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception

Also Published As

Publication number Publication date
US8767818B2 (en) 2014-07-01
EP1977604A2 (en) 2008-10-08
EP1977604A4 (en) 2010-11-17
BRPI0707457A2 (pt) 2011-05-03
AU2007204168B2 (en) 2011-02-24
KR101029854B1 (ko) 2011-04-15
AU2007204168A1 (en) 2007-07-19
TW200742447A (en) 2007-11-01
RU2008128293A (ru) 2010-02-20
RU2409910C2 (ru) 2011-01-20
WO2007080502A3 (en) 2007-10-25
EP1977604B1 (en) 2014-03-19
CN101390399B (zh) 2010-12-01
CN101390399A (zh) 2009-03-18
JP4874343B2 (ja) 2012-02-15
JP2009537078A (ja) 2009-10-22
HK1127205A1 (en) 2009-09-18
WO2007080502A2 (en) 2007-07-19
ZA200806042B (en) 2009-04-29
US20070201549A1 (en) 2007-08-30
MY148628A (en) 2013-05-15
TWI432035B (zh) 2014-03-21

Similar Documents

Publication Publication Date Title
KR101029854B1 (ko) 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
RU2518383C2 (ru) Способ и устройство для переупорядочивания и мультиплексирования мультимедийных пакетов из мультимедийных потоков, принадлежащих взаимосвязанным сеансам
US9485287B2 (en) Indicating bit stream subsets
JP5462259B2 (ja) トラックおよびトラックサブセットグループ化の方法および装置
US20140307802A1 (en) Coding, storage and signalling of scalability information
WO2018187318A1 (en) Segment types as delimiters and addressable resource identifiers
US9729939B2 (en) Distribution of MPEG-2 TS multiplexed multimedia stream with selection of elementary packets of the stream
KR20130050958A (ko) 트릭 모드 비디오 표현물에 대한 비디오 샘플의 시그널링
EP3096525B1 (en) Communication apparatus, communication data generation method, and communication data processing method
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
WO2023078048A1 (zh) 视频比特流封装、解码、访问方法及装置
MX2008009353A (en) Backward-compatible aggregation of pictures in scalable video coding
JP2024511948A (ja) Ｈｅｉｆフォーマットされた画像をリアルタイムトランスポートプロトコル上でトランスポートすること
Otsuki et al. A trial implementation of an MMT-receiving application to enable HTTP access by designating absolute time

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 7