KR20080066624A - 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치 - Google Patents

네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치 Download PDF

Info

Publication number
KR20080066624A
KR20080066624A KR1020080003698A KR20080003698A KR20080066624A KR 20080066624 A KR20080066624 A KR 20080066624A KR 1020080003698 A KR1020080003698 A KR 1020080003698A KR 20080003698 A KR20080003698 A KR 20080003698A KR 20080066624 A KR20080066624 A KR 20080066624A
Authority
KR
South Korea
Prior art keywords
label
nalu
network
encoded data
packet
Prior art date
Application number
KR1020080003698A
Other languages
English (en)
Other versions
KR101468082B1 (ko
Inventor
서덕영
박광훈
김규헌
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20080066624A publication Critical patent/KR20080066624A/ko
Application granted granted Critical
Publication of KR101468082B1 publication Critical patent/KR101468082B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/167—Adaptation for transition between two IP versions, e.g. between IPv4 and IPv6
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

IPv6 라벨 스위칭을 위한 네트워크 추상 계층 유닛(NALU)의 패킷 구성방법과 이를 이용한 비디오 부호화, QoS 제어, 복호화 알고리즘을 개시한다. 본 발명의 일 실시예에 따른 NALU의 포맷은 소정의 크기를 갖는 라벨을 포함하는 네트워크 추상 계층 헤더(NALH)와 부호화된 데이터를 포함하는 네트워크 추상 계층 페이로드(NAL Payload)를 포함한다. 여기서 라벨은 부호화된 데이터의 우선순위, 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨을 포함하는 계층 정보의 조합에 기초하여 결정된다. 이러한 NALH에 포함되는 라벨은 복호화기에서 어떤 복호화 모듈에서 NALU을 처리할지를 결정하는데 이용될 수 있다. 그리고 상기 라벨은 패킷 헤더에 포함될 수도 있는데, 패킷 헤더의 라벨은 MANE가 해당 패킷을 전송할지를 결정하는데 이용될 수 있다. 예를 들어, 패킷 헤더의 라벨은 IPv6 헤더의 플로우 라벨(flow label)을 이용한 비디오 서비스의 QoS 제어 방식에 이용될 수 있다. IPv6 라우터는 20비트 길이의 플로우 라벨의 일부를 이용하여 비디오 패킷별 우선순위를 식별할 수 있는데, 이를 위하여 MPEG-JVT에서 규정하고 있는 NALH를 라벨로 바꾼다. 이에 의하면, MPEG-JVT에서 가정하고 있는 MANE을 효과적으로 실현하는 방안을 제공한다.

Description

네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한 비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질 제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치{Packet format of Network Abstraction Layer Unit(NALU), and algorithm and apparatus for video encoding and decoding using the format, QoS control algorithm and apparatus for IPv6 Label Switching using the format}
본 발명은 비디오 코덱에 관한 것으로, 보다 구체적으로 엠펙(MPEG) 비디오 네트워크 추상 계층 유닛(Network Abstraction Layer Unit, NALU)의 패킷을 구성하는 방법과 이를 이용한 비디오 부호화, IPv6 라벨 스위칭 기반 QoS 제어, 복호화 알고리즘 및 장치에 관한 것이다.
현재 표준화가 진행 중인 스케일러블 비디오 부호화(Scalable Video Coding, SVC) 기술이나 멀티-뷰 비디오 부호화(Multi-view Video Coding, MVC) 기술은 H.264/AVC 표준에 기초하고 있다. 그리고 부호화된 데이터의 비트열의 구성에 있어서도 H.264/AVC의 네트워크 추상 계층 유닛(NALU)의 포맷이 사용된다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층(Video Coding Layer, VCL)과 네트워크 추상 계층(NAL)의 위치 관계를 보여 주는 개념도이다. 도 1을 참조하면, H.264/AVC에서는 동영상 부호화 처리 그 자체를 다루는 VCL과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL이라는 계층이 정의되어 있어서, VCL과 NAL이 분리된 구조로 구성되어 다는 것을 알 수 있다. 또한, 시퀀스와 픽쳐의 부호화 정보에 해당되는 파라미터 집합, 예컨대 시퀀스 파리미터 집합(Sequence Parameter Set, SPS)나 픽쳐 파라미터 집합(Picture Parameter Set, PPS), 그리고 각 픽쳐의 타이밍 정보와 임의 엑세스를 위한 정보 등 VCL의 복호를 위한 부가 정보(Suplemental enhancement information, SEI)도 VCL에서 생성한 정보로부터 분리되어 다루어진다는 것을 알 수 있다.
도 2는 현재 SVC의 표준화에서 제안되어 있는 NALU 포맷의 일례를 개념적으로 보여 주는 블록도이다. 도 2를 참조하면, NALU는 NAL 헤더(Header)와 NAL 페이로드(payload)를 포함한다. NAL 헤더는 일반적으로 3-5 바이트의 크기를 가지는데, NAL 유닛의 종류를 지시하기 위한 NALU 유형(Type) 정보와 NALU 페이로드에 포함되는 압축된 원본 데이터의 계층(우선순위, 공간계층화 레벨, 시간계층화 레벨, 및/또는 품질계층화 레벨의 조합)을 식별하기 위한 계층 식별 정보(Layer Identification Information)를 포함한다. 그리고 NALU 유형 정보는 고정 비트(F) 필드, 참조픽쳐인지 아닌지를 표시하는 플래그인 NRI(nal_ref_idc) 필드, 및 NALU의 종류를 표시하는 식별자인 NALU Type 필드를 포함한다. 또한, NAL 헤더의 계층 식별 정보는 압축된 원본 데이터의 계층을 식별할 수 있도록 우선순위를 나타내기 위한 Priority 필드(P), 공간계층화 레벨을 나타내기 위한 Dependency_id 필드(D), 시간계층화 레벨을 나타내기 위한 Temporal_level 필드(T), 및/또는 품질계층화 레벨을 나타내기 위한 Quality_level 필드(Q)를 포함한다.
도 2를 참조하여 설명한 SVC에서 현재 제안되고 있는 NALU의 포맷은 MVC에서도 동일한 방식으로 이용된다. 즉, MVC에서는 NAL 헤더부에 NALU 유형 정보와 함께 계층 식별 정보 대신에 뷰(View)를 구별하기 위한 뷰 식별 정보(View Identification Information)가 포함될 수 있다.
이러한 현재의 SVC 또는 MVC에 따른 NALU 포맷에 의하면, NALU의 계층이나 뷰를 식별하기 위해서는 NAL 헤더의 계층 식별 정보나 뷰 식별 정보를 모두 파싱하여야 한다. 특히, SVC에서 NALU의 계층을 식별하기 위한 계층 식별 정보는 2-4 바이트의 크기를 갖는 필드로써, NAL 헤더의 파싱을 통해 포함되어 있는 P, D, T, Q의 네 가지 값을 모두 알아야만, 해당 NALU가 속한 계층을 판별할 수 있다. 하지만, NAL 헤더의 P, D, T, Q값을 알기 위하여 NAL 헤더를 모두 파싱하는 것은 그 자체로써 프로세서에 부담을 주며 시스템의 비용을 증가시키는 원인이 될 수 있다.
이와 같이, NALU의 헤더에는 패킷의 중요도를 식별할 수 있는 정보가 들어가 있다. 그러나 네트워크의 패킷 라우터(IPv6 라우터)가 이 정보를 읽을 것은 기대할 수 없다. 왜냐하면, NALU의 헤더는 패킷의 페이로드에 들어가기 때문이다(도 13a 참조). 따라서 이 정보를 라우터가 읽는 IP 헤더에 효과적으로 삽입하는 방법이 필요하다. 그러나 아직까지 라벨을 어떻게 만드는지는 표준화되지 않았다. 중요도를 쉽게 식별할 수 있으면 라우터에서 QoS(Quality of Service) 제어가 원활하게 될 수 있다. 즉, 망 사정이 나빠지면 중요하지 않은 패킷부터 버릴 수 있다.
도 3은 이러한 기존의 SVC 방식에 따른 NALU 포맷을 이용할 경우에 임의의 NALU의 계층을 식별하기 위하여 NAL 헤더 모두를 파싱하는 과정의 일례를 보여 주는 것으로써, 네트워크 중간 노드(예컨대, 미디어 인지 네트워크 요소(Media Aware Network Element, MANE))에서 NALU(패킷 또는 비트스트림)을 버릴지 또는 단말(복호기) 등으로의 전송을 위하여 다른 네트워크 개체로 전달할지를 판단하는 과정을 보여 주는 흐름도이다.
도 3을 참조하면, MANE에서는 우선 입력된 NALU(부호기에서 생성된 NALU이나 유무선망을 통해 전송되는 패킷이나 비트스트림) 각각에 대하여 NAL 헤더를 파싱하여 P, D, T, Q값을 추출한다(S11). 그리고 추출된 P, D, T, Q값 각각을 순차적으로 소정의 추출 요청값(p, d, t, q)과 비교하여 요구되는 계층(레벨)의 영상을 획득하는데 해당 NALU을 추출할 필요가 있는지를 판단한다(S12). 즉, 기존의 방식에서는 P, D, T, Q의 네 가지의 값을 추출하고, 이 네 가지의 값을 각각 NALU의 추출 여부를 결정하는 값(p, d, t, q)과 비교함으로써 해당 NALU의 추출 여부를 결정한다. 그리고 만일 P, D, T, Q 중에서 어느 하나라도 추출 요청값을 만족하지 못하는 경우에는 해당 NALU은 추출하지 않고 버리며(S13), 반면 P, D, T, Q 모두가 추출 요청값을 만족하는 경우에는 해당 NALU을 추출함으로써 복호기 등을 위해 전달한다(S14).
이러한 종래의 NALU 추출 과정에서 초래되는 프로세서의 부담은 NALU을 복호화하는 과정에서도 동일하게 적용될 수 있다. 즉, 복호기는 모든 계층의 NALU이 입 력될 경우(저장된 데이터를 재생하는 경우이거나 또는 유무선 네트워크를 통해 수신하는 경우 등)에, 우선 입력된 NALU 각각에 대하여 NAL 헤더를 파싱하여 P, D, T, Q값을 찾는다. 그리고 이 값이 현재 복호기에서 요청되는 복호화 계층에 필요한 요청값의 조건에 맞는지를 판단한다. 만일 판단 결과가 요청되는 계층의 영상의 복호화에 필요한 요청값의 조건을 만족하는 것으로 판단되는 경우에만, 복호기는 해당 NALU을 복호화하며, 반대의 경우에는 복호화를 하지 않는다.
본 발명이 해결하고자 하는 일 과제는 네트워크 중간 노드나 복호기 등에서 NALU의 추출/복호화 여부를 판단할 경우에, 비교적 크기가 큰 NAL 헤더를 모두 파싱하는데 따른 프로세서의 부담을 줄여줄 수 있고 비교적 간단하게 추출/복호화 절차의 구현이 가능한 NALU의 구성방법, 이를 이용한 비디오 부호화 알고리즘, IPv6 라벨 스위칭을 위한 QoS 제어 알고리즘, 복호화 알고리즘 및 이를 위한 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 IPv6 라우터에서 NAL 헤더를 파싱하지 않고서도 효율적으로 QoS 제어를 할 수 있는 IPv6 패킷의 구성방법과 이를 이용한 IPv6 패킷의 라우팅 알고리즘, IPv6 라벨 스위칭을 위한 QoS 제어 알고리즘을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 실시예에 의하면, JVT(Joint Video Team)에서 표준화되는 SVC와 MVC 등을 이용한 비디오 서비스에서 현재 제안되고 있는 NAL 헤더(NALH)를 소정 크기의 라벨(Label)을 이용하여 줄임으로써, SNALH(Shorten Network Adaptation Layer Header)로 부호화, 추출, 복호화를 한다. 전술한 바와 같이, 기존에는 모든 NALU의 앞에 3-5바이트 크기의 NALH를 붙여서 해당 NALU이 어떤 스트림에 속하는지(즉, 어떤 우선순위, 공간 계층, 시간 계층, 및/또는 품질 계층의 비디오를 생성하는데 필요한 데이터인지 및/또는 어떤 뷰의 데이터인지)를 알 수 있게 되어 있다. 이를 위하여, SVC의 경우에는 NALH에 우선순위(Priority, P), 공간계층화 레벨(Dependency, D), 시간계층화 레벨(Temporal level, T), 및/또는 품질계층화 레벨(Quality level, Q)이 포함되어 있다. 따라서 기존에 제안되어 있는 SVC 표준 등의 NALH 포맷에 의하면, 전송되는 모든 NALU의 NALH에는 이 P, D, T, Q값이 포함되어 있다.
본 발명의 실시예에 따른 NALU의 구성방법에 의하면, 이렇게 긴 크기의 NALH를 NALU마다 붙이지 않고, 시퀀스를 구성하는 NALU 스트림마다 각각 NALU 스트림의 계층을 식별하기 위한 계층 식별 정보(예컨대, P, D, T, Q 각각의 값을 고려한 식별 정보)를 지시하는 짧은 크기의 라벨을 약속하고, 이 라벨을 포함하는 SNALH로 기존의 NALH를 대체한다. 이러한 본 발명의 실시예에 의하면, 예를 들어 SNALH를 1바이트의 크기로 할 경우에는, 라벨의 값을 256개 이하로 규정할 수 있으므로, 이 라벨을 포함하는 SNALH를 이용하면 약 250가지 이하의 유형의 NALU 스트림을 식별 할 수 있다.
이러한 본 발명의 실시예를 SVC에 적용하면 각 NALU의 계층을 구별할 수 있다. 예를 들어, SNALH의 크기를 1바이트로 할 경우에, P, D, T, Q 각각의 조합으로부터 약 250가지 이하의 유형의 NALU를 식별할 수가 있다. 마찬가지로, 본 발명의 실시예를 MVC에 적용하면, 각 NALU의 뷰를 구별할 수 있다.
그리고 기존의 포맷에 따른 NALH를 포함하는 NALU의 추출 절차에 의하면, NALU마다 일일이 비교적 크기가 큰 NALH를 전부 파싱하여 계층 식별 정보를 분석하여 처리하여야 하였다. 하지만, 본 발명의 실시예에 따른 포맷의 SNALH를 포함하는 NALU을 이용할 경우에는, SNALH에 포함되어 있는 라벨만을 파싱하면 상기 NALU의 계층을 알 수 있기 때문에, 네트워크 중간 노드(예컨대, MANE) 등에서 해당 NALU을 추출할지 또는 버릴지를 알 수가 있다. 또한, 본 발명의 실시예에 따른 포맷의 SNALH에 포함되어 있는 라벨을 이용할 경우에는, 복호기에서도 SNALH의 라벨만을 이용해서 해당 NALU을 디코딩할지를 알 수가 있다. 따라서 본 발명의 실시예에 의하면, SVC나 MVC 등에 따라 부호화된 압축 데이터를 포함하는 NALU의 추출이나 디코딩 절차를 간단하게 수행할 수가 있다. 특히, MANE 등에서의 NALU의 추출 과정은 네트워크 내부에서 이루어지므로 되도록 간단한 절차로 이루어지는 것이 바람직하다.
또한, 본 발명의 실시예에 따른 NALU의 포맷은 IPv6망에 적용하면 효과적이다. 예를 들어, 본 발명의 실시예에 따른 SNALH를 IPv6 패킷 헤더 등에 삽입하면, IPv6 라우터가 NALU의 NAL 헤더를 읽지 않고서도 IPv6 패킷 헤더에 삽입된 SNALH만 읽고 서비스 품질(Quality of Service, QoS)을 제어할 수 있다. 일 실시예로, IPv6 패킷 헤더에 있는 20비트의 플로우 라벨(flow label)에 본 발명의 실시예에 따른 포맷의 SNALH를 삽입할 수 있다. IPv6 라우터에서는 이 SNALH를 이용하면 MPEG JVT에서 가정하고 있는 MANE의 기능을 효과적으로 수행할 수 있다. 그리고 IPv6 플로우 라벨에 SNALH를 삽입하고, NALH는 기존의 방법 그대로 사용하면 기존의 방법과 호환성(backward compatibility)을 가질 수 도 있다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 네트워크 추상 계층 유닛(NALU)을 구성하는 방법은 상기 네트워크 추상 계층 유닛은 부호화된 데이터의 중요도를 지시하기 위한 라벨을 포함하는 네트워크 추상 계층 헤더(NALH)와 상기 부호화된 데이터를 포함하는 네트워크 추상 계층 페이로드(NAL Payload)를 포함하고, 상기 라벨은 상기 부호화된 데이터의 우선순위, 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 중에서 적어도 하나를 포함하는 계층 정보의 조합에 기초하여 결정된다.
상기 실시예의 일 측면에 의하면, 상기 네트워크 추상 계층 헤더(NALH)는 상기 네트워크 추상 계층 유닛(NALU)의 유형을 지시하는 필드를 더 포함하거나 또는 상기 라벨을 결정하는데 있어서 상기 네트워크 추상 계층 유닛의 유형을 지시하는 정보도 이용할 수 있다. 그리고 상기 네트워크 추상 계층 헤더(NALH)는 상기 부호화된 데이터의 우선순위, 상기 공간계층화 레벨, 상기 시간계층화 레벨, 및 상기 품질계층화 레벨 각각을 지시하는 정보를 더 포함할 수도 있다.
상기한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 방 법은 입력 영상을 계층 정보에 따라서 복수의 부호화 모듈에서 복수의 계층의 부호화된 데이터로 생성하는 단계, 상기 계층 정보에 기초하여 상기 복수의 계층 중에서 상기 부호화된 데이터가 해당되는 계층을 식별하기 위한 라벨을 매핑하는 단계, 및 상기 라벨이 네트워크 추상 계층 헤더(NALH)에 포함되고 상기 부호화된 데이터를 상기 네트워크 추상 계층 페이로드(NAL Payload)에 포함된 네트워크 추상 계층 유닛(NALU)을 생성하는 단계를 포함하고, 상기 계층 정보는 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 중에서 적어도 하나를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 라벨 매핑 단계에서는 상기 공간계층화 레벨, 상기 시간계층화 레벨, 및 상기 품질계층화 레벨의 조합과 상기 레벨을 대응시키는 매핑표를 이용할 수 있다.
상기한 과제를 해결하기 위한 본 발명의 또 다른 실시예는 복수의 복호화 모듈을 포함하는 복호화기에서 네트워크 추상 계층 유닛(NALU)을 처리하는 방법으로서, 상기 네트워크 추상 계층 유닛은 부호화된 데이터의 중요도를 지시하기 위한 라벨을 포함하는 네트워크 추상 계층 헤더(NALH)와 상기 부호화된 데이터를 포함하는 네트워크 추상 계층 페이로드(NAL Payload)를 포함하고, 상기 복호화기는 상기 라벨에 기초하여 상기 복수의 복호화 모듈 중에서 어떤 복호화 모듈에서 상기 부호화된 데이터를 처리할지를 결정한다. 이 경우에, 상기 라벨은 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨을 포함하는 계층 정보의 조합에 기초하여 결정된 값일 수 있다.
상기한 과제를 해결하기 위한 본 발명의 또 다른 실시예는 네트워크 중간 노드에서 부호화된 데이터의 계층 정보에 따라 상기 부호화된 데이터를 포함하는 패킷의 전송 여부를 결정하는 방법으로서, 상기 패킷은 상기 부호화된 데이터의 계층 정보를 지시하는 라벨을 포함하는 패킷 헤더와 상기 부호화된 데이터를 포함하는 패킷 페이로드로 구성되고, 상기 네트워크 중간 노드는 상기 라벨을 독출하고, 독출된 상기 라벨에 따라서 상기 패킷을 전송할지를 결정하며, 또한 상기 계층 정보는 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 중에서 적어도 하나를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 네트워크 중간 노드는 미디어 인지 네트워크 요소(Media Aware Network Element, MANE)일 수 있다. 그리고 상기 네트워크 중간 노드는 추출맵을 이용하여 상기 패킷을 전송할지를 결정하며, 상기 추출맵은 소정의 조건에 따라 상기 라벨의 값에 따라서 전송여부가 결정되는 있는 정보를 포함할 수 있다. 이 경우에, 상기 전송여부는 상기 라벨의 값에 따라 1비트로 나타낼 수 있다. 그리고 상기 소정의 조건은 채널 상황을 포함하는 네트워크 조건, 단말기 조건, 및 사용자 조건 중에서 적어도 하나를 포함할 수 있다. 또한, 상기 추출맵은 서버가 초기에 또는 서비스 도중에 전송하는 것일 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 네트워크 중간 노드는 IPv6를 사용하는 IPv6 라우터이고, 상기 패킷은 IPv6 패킷이며, 상기 라벨은 상기 IPv6 패킷의 헤더의 플로우 라벨(flow label)에 포함될 수 있다.
본 발명의 실시예에 따른 효과는 다음과 같다.
첫째, 네트워크 중간에서 처리의 복잡도 및 처리시간을 단축할 수 있다. 네트워크 중간에 있는 개체(예를 들어, 미디어 인지 네트워크 요소(MANE))가 상황에 따라 NALU을 버리게 될 때, 본 발명의 실시예에 의하면 긴 NALH를 다 읽고 계층을 확인한 후 버리는 것이 아니라, 어떤 상황에 따라 어떤 라벨의 NALU는 버리는지 또는 안버리는지 여부만 추출맵에 의해 결정하면 된다. 추출맵은 초기화시 미리 약속한 것이거나 또는 여러 가지 추출 조건을 고려하여, MANE에서 필요에 임의적으로 생성할 수 있다. 그리고 추출맵은 서버가 보내주거나 또는 MANE 스스로 작성할 수도 있다.
둘째, 디코더의 복잡도를 줄일 수 있다. 계층이나 뷰간의 참조 관계는 시퀀스의 시작 또는 참조관계의 변경시에만 새로 규정하면, 디코더에서는 2-4바이트의 긴 NAL을 분석하지 않고 짧은 라벨로만 NALU을 처리할 수 있다. 일단 NAL 헤더에 따라 NAL 페이로드가 해당 계층 또는 뷰의 디코더 버퍼에 저장되면 이후의 과정은 원래의 방식대로 처리된다.
셋째, 짧은 라벨은 하위 네트워크 프로토콜에서 그대로 이용될 수 있다. 이 라벨을 이용하여 네트워크에서 플로우(flow)에 맞는 서비스 품질(QoS)를 지원할 수 있다. 예를 들어, IPv6에 있는 플로우 라벨에 이 라벨 그대로 또는 약간의 변형을 거쳐 이용할 수도 있다. 그리고 다중 프로토콜 라벨 스위칭(Multi Protocol Label Switching, MPLS)에서도 본 발명의 실시예에 따른 SNALH의 라벨은 같은 개념으로 이용될 수 있다.
넷째, 비트율을 줄일 수 있다. 본 발명의 일 실시예로 라벨형 NAL 헤더(SNALH)의 크기를 1바이트로 하면, 매 NALU마다 2-4바이트의 데이터가 줄어들게 된다.
이하, 첨부 도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다.
도 4는 본 발명의 제1 실시예에 따른 NALU의 구성방법을 설명하기 위한 NALU 포맷을 보여 주는 블록도이다. 도 4에서 위쪽에 도시되어 있는 블록도는 SVC에서 사용되는 기존의 NALU 포맷의 일례이며, 아래쪽에 도시되어 있는 블록도가 본 발명의 제1 실시예에 따른 NALU의 포맷이다.
도 4를 참조하면, 본 발명의 실시예에 따른 NALU 포맷은 라벨(Label)로 표시되어 있는 SNALH(라벨형 NALH)와 NAL 페이로드를 포함한다. 이 중에서 NAL 페이로드는 기존의 NALU에서의 그것과 동일하다. 따라서 본 발명의 실시예에 의하면, 기존의 NALU의 NALH를 소정의 크기를 라벨을 사용하여 SNALH로 치환하여 NALU을 구성한다. 이러한 SNALH는 예컨대, 1바이트의 크기를 가질 수가 있는데, 이 경우에 SNALH는 28 = 256가지 또는 그 이하의 값(라벨)을 가질 수 있다.
보다 구체적으로, 본 발명의 실시예에 의하면, 우선 기존의 NALH에 포함되는 정보인 NALU의 유형, 우선순위(Priority_id 등), 공간계층화 레벨(Dependency_id), 시간계층화 레벨(Temporal_level), 및 품질계층화 레벨(Quality_level) 각각의 값에 기초하여, 그 값의 조합에 따라서 NALH를 한정된 개수의 NALH 세트로 구분하고, 구분된 NALH 세트 각각을 표시하기 위하여 임의의 값을 갖는 라벨을 할당한다. 즉, 본 발명의 실시예에 의하면, NALH 세트와 라벨이 일대일로 대응하도록 NALH 세트 각각에 대하여 임의의 값을 갖는 라벨을 할당한다. 따라서 NALU의 유형, 우선순위(Priority_id 등), 공간계층화 레벨(Dependency_id), 시간계층화 레벨(Temporal_level), 및 품질계층화 레벨(Quality_level) 중에서 하나 이상의 값이 다르면, 이에 대응하는 라벨의 값도 달라진다.
이와 같이, 본 발명의 실시예에 따른 NALU의 SNALH에서는 기존의 NALH에 포함되는 값들 대신에 라벨이 포함된다. 이러한 본 발명의 실시예는 하나의 비디오 세션 또는 하나의 비디오 시퀀스 저장시에는 한정된 개수의 NALH 세트가 존재한다는 사실에 기초하고 있으며, 이러한 한정된 개수만큼의 라벨을 정하여 이를 SNALH의 값으로 사용한다. 예를 들어, NALH 세트가 약 250개를 넘지 않는다면, 기존의 NALH는 1바이트의 크기를 갖는 SNALH(라벨)로 축소할 수가 있다.
도 5는 본 발명의 제2 실시예에 따른 NALU의 구성방법을 설명하기 위한 NALU 포맷을 보여 주는 블록도이다. 도 5에서도 위쪽에 도시되어 있는 블록도는 SVC에서 사용되는 기존의 NALU 포맷의 일례이며, 아래쪽에 도시되어 있는 블록도가 본 발명의 제2 실시예에 따른 NALU 포맷이다.
도 5를 참조하면, 본 발명의 실시예에 따른 NALU 포맷은 NALU 유형부(NALU Type), 라벨(Label)로 표시되어 있는 SNALH, 및 NAL 페이로드를 포함한다. 이 중에 서 NAL 페이로드는 기존의 NALU에서의 그것과 동일하다. 따라서 본 발명의 실시예에 의하면, 기존의 NALU에서 계층을 식별하기 위한 정보로 구성된 NALH의 일부를 소정의 크기를 라벨을 사용하여 SNALH로 치환하여 NALU을 구성한다. 이러한 SNALH는 예컨대, 1바이트의 크기를 가질 수가 있는데, 이 경우에 SNALH는 최대 28 = 256가지의 값(라벨)을 가질 수 있다.
보다 구체적으로, 본 발명의 실시예에 의하면, 우선 기존의 NALH에 포함되는 정보인 NALU의 유형 정보는 그대로 사용한다. 그리고 NALH의 우선순위(Priority_id 등), 공간계층화 레벨(Dependency_id), 시간계층화 레벨(Temporal_level), 및 품질계층화 레벨(Quality_level) 각각의 값에 기초하여, 그 값의 조합에 따라서 NALH를 한정된 개수의 NALH 세트로 구분하고, 구분된 NALH 세트 각각을 표시하기 위하여 임의의 값을 갖는 라벨을 할당한다. 즉, 본 발명의 실시예에 의하면, NALH 세트와 라벨이 일대일로 대응하도록 NALH 세트 각각에 대하여 임의의 값을 갖는 라벨을 할당한다. 따라서 우선순위(Priority_id 등), 공간계층화 레벨(Dependency_id), 시간계층화 레벨(Temporal_level), 및 품질계층화 레벨(Quality_level) 중에서 하나 이상의 값이 다르면, 이에 대응하는 라벨값도 달라진다.
이와 같이, 본 발명의 실시예에 따른 NALU의 SNALH에서는 기존의 NALH에서 계층을 식별하기 위한 각 속성(P, D, T, Q)에 포함되는 값들 대신에 이 라벨을 사용한다. 이러한 본 발명의 실시예도 하나의 비디오 세션 또는 하나의 비디오 시퀀스 저장시에는 한정된 개수의 NALH 세트가 존재한다는 사실에 기초하고 있으며, 이 러한 한정된 개수만큼의 라벨을 정하여 이를 SNALH(라벨)의 값으로 사용한다. 예를 들어, NALH 세트가 약 250개를 넘지 않는다면, 기존의 NALH는 1바이트의 크기를 갖는 SNALH로 축소할 수가 있다.
그리고 도 4 또는 도 5에 따른 NALU의 구성방법에 의하면, P, D, T, Q값의 조합인 NALH 세트와 SNALH의 라벨간의 대응 관계는 매핑표로서 표시할 수 있다. 그리고 이러한 매핑표는 부호기와 복호기에 공유된다. 부호기와 복호기에 매핑표를 공유시키는 방법에는 아무런 제한이 없다. 예를 들어, 매핑표는 부호화된 데이터와 함께 부호기로부터 복호기로 전달하거나 또는 부호기는 해당 매핑표를 식별하기 위한 정보만을 복호기로 전달할 수도 있다. 후자의 경우에, 부호기와 복호기에는 미리 여러 개의 매핑표가 저장되어 있으며, 부호기는 해당 영상 시퀀스에 대한 NALU을 생성할 때 사용한 매핑표에 관한 정보를 복호기로 전달하면, 복호기는 이 정보만을 이용하여 저장된 매핑표들 중에서 해당되는 매핑표를 찾아서 복호화에 이용할 수 있다.
부호기와 복호기에서 매핑표를 이용하는 방식은 다음과 같다. 예를 들어, 부호기는 상기 매핑표를 이용하여 전술한 본 발명의 제1 또는 제2 실시예에 따른 포맷을 갖는 NALU, 즉 라벨을 포함하는 NALU을 생성한다. 그리고 복호기는 상기 매핑표와 복호화하고자 하는 NALU의 라벨을 이용하여, 우선 해당 NALU의 계층을 파악한다. 그리고 이를 통해 해당 NALU이 복호화되어야 하는지 또는 어떤 계층의 데이터로 처리해야 할지 등을 결정한 다음, 필요한 절차에 따라서 해당 NALU을 적절한 복 호화 모듈로 전송하여 해당 복호화 모듈에서 복호화를 수행한다. 따라서 본 발명의 실시예에 의하면, 압축된 비디오 데이터를 저장할 경우에는 이러한 매핑표를 같이 저장하여야 한다.
도 6은 본 발명의 일 실시예에 따른 SVC 부호화기의 구성을 보여 주는 블록도이다. 이하에서는 SVC 부호기를 예로 들어서 설명하지만, 다른 유형의 부호화기(예컨대, MVC 부호화기 등)에도 본 발명의 실시예는 동일하게 적용이 가능하다는 것은 당업자에게 자명하다.
도 6을 참조하면, SVC 부호화기(100)는 영상 부호화부(110)와 NALU 생성부(120)를 포함한다. 비록 도 6에는 영상 부호화부(110)와 NALU 생성부(120)가 분리되어 도시되어 있지만 이러한 구분은 그 기능에 따른 논리적인 구분이며, 물리적으로는 함께 구현되거나 또는 구분되어 구현될 수도 있다. 그리고 도 6에는 영상 부호화부(110)와 NALU 생성부(120)만 도시되어 있는데, 이것은 단지 설명의 편의를 위한 것으로서, 본 발명의 설명과는 무관한 SVC 부호화기의 다른 구성요소에 대한 도시 및 설명은 생략한다.
영상 부호화부(110)는 SVC 표준 등에 부합하도록 입력되는 원본 영상에 대하여 소정의 부호화처리(변환 및 양자화 등)를 수행하여 부호화된 데이터(Encoded Data)를 생성하기 위한 유닛이다. SVC에 따른 영상 부호화부(110)는 기저 레벨(Base level) 부호화 모듈과 다수의 향상 레벨(Enhanced level) 부호화 모듈 등과 같은 다수의 부호화 모듈을 포함할 수 있다. 그리고 영상 부호화부(110)의 각 부호화 모듈에서의 부호화 결과, 공간계층화 레벨(D), 시간계층화 레벨(T), 및/또는 품질계층화 레벨(Q)의 정보 등도 함께 생성된다.
NALU 생성부(120)는 영상 부호화부(110)로부터 전달되는 데이터(부호화된 데이터와 D, T, 및/또는 Q)를 이용하여 NALU을 생성하기 위한 유닛이다. 이 때, NALU 생성부(120)에서는 해당 NALU의 우선순위(P)도 결정할 수 있는데, NALU의 우선순위(P)는 상기 DTQ의 조합에 따라서 각 조합에 대하여 2개 이상의 값을 가질 수 있다. NALU 생성부(120)에서 생성되는 NALU은 도 4 또는 도 5의 포맷을 가질 수 있는데, 이를 위하여 NALU 생성부(120)는 매핑부(122)와 NALU 구성부(124)를 포함한다. 매핑부(122)는 입력되는 P, D, T, 및/또는 Q값을 이용하여 NALU의 SNALH에 포함될 라벨의 값을 결정하기 위한 유닛이다. 라벨값을 결정하는데 있어서, 매핑부(122)는 저장되어 있는 임의의 매핑표를 이용하거나 또는 하나의 비디오 시퀀스나 하나의 비디오 세션마다 필요한 매핑표를 생성하여 이를 이용할 수도 있다. 그리고 NALU 구성부(124)는 영상 부호화부(110)로부터 입력되는 부호화된 데이터와 매핑부(122)로부터 입력되는 라벨을 이용하여, 도 4 또는 도 5에 도시된 포맷의 NALU를 생성한다. 이와 같이, 생성된 NALU은 매핑표(또는 매핑표를 식별하기 위한 정보)와 함께 네트워크단으로 전송되거나 또는 저장 매체에 저장된다.
도 7은 부호화기와 복호화기 사이에 존재하는 본 발명의 일 실시예에 따른 NALU 추출기(패킷 추출기 또는 비트스트림 추출기)의 구성을 보여 주는 블록도이다. 상기 NALU 추출기는 네트워크 중간에 존재하는 기능 개체(네트워크 중간 노드) 일 수 있다. 그리고 상기 NALU 추출기는 수신된 모든 NALU에서 소정의 조건(SVC에서 수신자로부터 요청된 비디오의 계층)에 부합하는 NALU만을 추출하여 전송하기 위한 네트워크 중간 노드(예컨대, 미디어 인지 네트워크 요소(Media Aware Network Element, MANE))일 수 있다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 NALU 추출기(200)는 라벨 독출부(210) 및 전송 결정부(220)를 포함한다.
라벨 독출부(210)는 인코더로부터 수신되는 NALU(도 4 또는 도 5의 포맷을 갖는 것)의 SNALH로부터 라벨을 독출한다. 따라서 본 발명의 실시예에 의하면, 라벨 인식부(210)는 NALU의 헤더부 전체를 파싱하여 해당 NALU의 우선순위, 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 등의 정보를 획득할 필요가 없다.
전송 결정부(220)는 라벨 독출부(210)에서 결정한 라벨과 가지고 있는 추출표를 이용하여, 해당 NALU을 디코더를 위하여 전송할지를 결정한다. 추출표는 비디오 세션에 속한 여러 스트림중에서 어떤 스트림(어떤 라벨을 갖는 NALU)을 통과(전송)시키는지 또는 버리는지를 미리 확정하여 저장하고 있는 표이다. 따라서 본 발명의 실시예에 따른 NALU 추출기는 해당 NALU의 P, D, T, Q값을 별도로 알 필요가 없으며, 각각의 라벨에 대하여 추출 여부를 표시한 추출맵만을 가지고 있으면 전송 여부를 결정할 수가 있다. 상기 추출 여부의 표시는 예컨대 1비트의 값으로 표시가 가능하다.
이러한 추출맵은 서버에서 만들어서 전송하거나 또는 NALU 추출기(예컨대, MANE)에서 직접 만들 수 있다. 추출맵은 해당 NALU의 부호화시에 인코더(도 6 참조)에서 참조한 매핑표의 라벨과 대응되는 것일 수 있다. 그리고 네트워크, 단말 기, 및/또는 사용자의 조건을 한정된 개수의 세트로 만들어서 각각에 대해서 추출맵을 가지고 있을 수 있다. 또한, 하나의 세션이 멀티캐스트되는 경우에는 네트워크 길목마다 NALU 추출기(예컨대, MANE)를 두어 따로따로 추출맵을 관리할 수도 있다.
도 8은 이러한 NALU 추출기에서의 전송여부 결정 절차를 보여 주는 흐름도이다.
도 8을 참조하면, NALU 추출기는 입력되거나 수신되는 NALU들 각각으로부터 라벨을 독출한다(S21). 그리고 독출된 라벨의 값에 대응되는 추출맵의 추출 지시 정보가 '1'로 설정되어 있는지를 판단한다(S22). 여기서, 추출맵의 추출 지시 정보가 '1'로 설정되어 있다는 것은 해당 라벨의 NALU은 복호화기 등으로 전달한다는 것을 의미하며, 만일 상기 추출 지시 정보가 '0'으로 설정되어 있는 경우에는 해당 라벨의 NALU는 전달하지 않고 버린다. 따라서 본 발명의 실시예에 의하면, 단계 S23에서는 해당 NALU는 버리고, 단계 S24에서는 해당 NALU는 복호화기를 위하여 다른 네트워크 구성요소에게로 전달한다.
도 7과 도 8에서는 네트워크 중간 개체에서의 NALU 추출 장치와 방법에 대하여 설명하였다. 그러나 일반적으로 소정의 유무선 네트워크를 통한 미디어 데이터의 전송시에는 NALU 단위가 아닌 패킷 단위로 전송되거나 비트스트림의 형태로 전송될 수도 있다. 이와 같은 경우에는 상기 라벨은 NALH가 아닌 패킷 헤더나 비트스트림의 헤더에 포함될 수 있다. 그리고 MANE 등과 같은 네트워크 중간 개체는 이러 한 라벨 헤더나 비트스트림 헤더에 포함되어 있는 라벨을 보고 이를 전송할지 또는 그냥 버릴지를 결정한다.
도 9는 복호화기에서 본 발명의 일 실시예에 따른 포맷을 갖는 NALU의 복호화 절차를 보여 주는 흐름도이다.
도 9를 참조하면, 우선 복호화기는 전송 네트워크를 통해 수신되거나 또는 저장 매체에 저장되어 있는 NALU로부터 라벨을 독출한다(S31). 예를 들어, 복호화기는 NALU의 SNALH를 파싱하여 설정되어 있는 라벨값을 파악할 수가 있다. 그리고 복호화기는 매핑표를 이용하여 독출된 라벨값에 대응하는 D, T, 및/또는 Q를 파악한다(S32). 상기 매핑표는 NALU와 함께 수신되거나 또는 복호화기에 미리 저장되어 있을 수 있다. 그리고 복호화기는 파악된 D, T, 및/또는 Q값에 기초하여 종래의 SVC 복호화 절차와 동일한 방식으로 요청되는 계층(D, T, 및 Q 각각의 조건이거나 또는 이들이 조합된 조건)에 맞는 영상 복호화 모듈로 NAL 페이로드를 전송하여, 각 영상 복호화 모듈에서는 입력되는 NAL 페이로드의 부호화된 데이터에 대한 복호화를 수행한다(S33).
본 발명의 다른 실시예에 의하면, 복호화기는 기존의 SVC 표준에 부합하는 영상 복호화 수단 외에 도 7을 참조하여 설명한 NALU 추출기를 더 구비할 수도 있다. 이 경우에, 상기 복호화기는 NALU 추출기에서 추출한 NALU의 부호화된 데이터만 복호화를 한다.
이하에서는 전술한 본 발명의 실시예들의 여러 가지 측면에 대하여 보다 구체적으로 설명한다.
< NALH의 축소 방법 >
하나의 JVT 비디오 세션 동안 한시적으로 또는 하나의 비디오 시퀀스를 저장할 때, JVT에서 정해진 3~5바이트의 NALH를 축소된 NALH(Shortened NAL Header 또는 SNALH)으로 매핑하여 바꾼다. 매핑할 때 이용하는 표(매핑표)는 부호화기와 복호화기가 공유한다. 압축된 데이터를 저장할 때에는 이러한 매핑표를 같이 저장하여야 한다.
그리고 본 발명의 실시예에 따라서, 적응적으로 품질을 제어하기 위해 MANE에서 스트림을 라벨별로 추출(extraction)하는 경우에는 추출맵이 필요하다. 추출맵은 서버나 클라이언트에서 MANE으로 전송하거나 MANE에서 스스로 만들 수도 있다. 만일 MANE이 스스로 추출맵을 만드는 경우에는 MANE에서도 매핑표가 있어야 한다.
본 발명의 실시예에 따른 NALU 포맷은, 하나의 비디오 세션 또는 하나의 비디오 시퀀스 저장시에 NALH의 전부 또는 일부가 한정된 개수의 세트로 표현될 때, 그 개수만큼의 라벨을 정하여 각 세트를 지시하기 위한 정보(예컨대, P, D, T, Q값의 조합)를 라벨로 바꾸어서 사용하는 방식이다. 예를 들어, 상기 세트의 개수가 250을 넘지 않는다면, 각 세트를 지시하기 위한 정보는 8비트로 축소할 수 있다.
예를 들어, 하나의 비디오가 3개의 공간적 계층과 각 공간적 계층에서 2개의 시간적 계층으로 분류되고, 각 시간적 계층은 4개의 품질계층으로 분류된다면, 총 24개(3ㅧ2ㅧ4)의 다른 계층이 존재하므로 24개의 다른 라벨값을 사용하면 상기 비디오를 구성하는 부호화된 데이터의 계층을 구분할 수 있다.
같은 계층의 스트림에서 2개 이상의 우선순위(priority_ID)를 사용한다면, 각각을 다른 라벨로 구분하여야 한다. 여기서, '같은 계층의 스트림'이란 같은 공간계층화 레벨(dependence_ID), 시간계층화 레벨(temporal_level), 품질계층화 레벨(quality_level) (줄여서, DTQ) 값을 가지는 NALU의 열을 말한다. 반대로 하나의 P에 대해서 여러 개의 DTQ 세트가 존재할 때도 각각에 따로 라벨을 부여한다.
부호화기와 복호화기에서는 각각의 라벨에 대해서 바꾼 부분의 세트와 매핑하는 테이블(매핑표)이 있어야 한다. 라벨을 자유롭게 형성할 수 있지만, 되도록이면 H.264/AVC에 속한 라벨과 DTQ를 구분할 수 있도록 한다.
크기가 1 바이트인 축소 NALH (SNALH1)
하나의 비디오 세션 또는 하나의 비디오 시퀀스 저장시에는 한정된 개수의 NALH 세트가 존재함을 알고 그 개수만큼의 라벨을 정하여 이를 NALH로 사용하는 방식이다. 일 실시예에 의하면, 그 개수가 250을 넘지 않는다는 가정하에 NALH는 8비트로 축소할 수 있다. 크기가 1바이트인 축소 NALH 포맷의 일례는 도 4이다.
크기가 2 바이트인 축소 NALH (SNALH2)
H.264/AVC와의 호환성을 위해서 첫 번째 바이트는 2006년 1월 현재의 JVT (Joint Video Team)의 표준과 같이 하고, 나머지 NALH 바이트들을 한 바이트의 라벨로 축소하는 방식이다. 크기가 2바이트인 축소 NALH 포맷의 일례는 도 5이다.
축소 NALH의 확장된 사용
'축소 NALH의 확장된 사용'은 전술한 본 발명의 실시예 외에 다른 방식으로 라벨을 사용하는 것이다. 이에는 'NALH 확장', '계층방식 확장', '미디어 확장', '프로토콜 확장' 등이 가능하다.
'NALH 확장'이란, 기존의 NALH 포맷을 그대로 유지한 채 전술한 라벨을 NALH에 추가하여 사용하는 방식이다. 즉, 도 4 또는 도 5에서 기존의 NALH 부분을 대체하는 것이 아니라 라벨을 추가하는 것이다. 이에 의하면, 3바이트 크기의 NALH에서 확장하여 4 또는 5바이트의 크기가 되더라도, 기존의 NALH의 전체 또는 일 부분이 한정된 개수의 세트로 표현될 수 있다면, 이를 라벨로 표시하여 추가하여 사용한다.
'계층방식 확장'이란 기존의 DTQ 조합에 추가하여 다른 DTQ의 조합을 사용하는 것을 말한다. 즉, 기본의 방식에서는 DTQ가 각각 3, 3, 2비트로 정해져 있으므로 서로 다른 계층이 각각 8개, 8개, 4개까지만 가능하다. 그러나 본 발명의 실시예에 의하면, 매핑표에 따라서 결정되는 라벨을 사용하므로 개체간의 약속만 있다면 이러한 제한 없이 계층을 확장할 수 있다.
'미디어 확장'이란 본 발명의 실시예에 따라서 제안된 라벨을 비디오 외에 오디오나 다른 미디어 스트림에 부여하여 사용하는 것을 말한다. 예를 들어, MVC(multi view video coding)에서는 뷰별로 따로 라벨을 정하여 구분할 수 있다. 또한, 각각의 계층 또는 뷰에 대한 FEC(Forward Erasure Correction) 패러티 패킷도 따로 라벨을 정하여 전송할 수 있다. 손실이 많은 채널을 통과해야 하면 패러티 패킷을 같이 전송하도록 하고, 단대단(end-to-end) 손실이 없는 경로이면 패러티 패킷들은 추출하여 버린다.
'프로토콜의 확장'이란 다른 계층의 프로토콜에 라벨값을 그대로 또는 약간의 변형을 거쳐서 이용할 수 있다, 일 실시예로 IPv6의 헤더에서 플로우 라벨 (flow label)의 20비트 중 일부에 SNALH1 또는 SNALH2를 복사하여 사용할 수 있다. 또한, MPLS에서도 라벨값을 정할 때 SNALH1 또는 SNALH2를 이용할 수 있다.
H.264/AVC NALH와 호환성 제공 방법
SNALH2에서는 NALH의 첫 바이트가 H.264/AVC의 NALH를 그대로 사용하므로 호환성이 존재한다. 그러나 SNALH1에서는 도 10과 같이 H.264/AVC에 속한 라벨들을 14개로 정할 수 있다. 즉, H.264/AVC와 관련 있는 14개의 NAL 타입에 대해서 각각 NRI 값과 F값을 고정하면 14개의 라벨이 만들어진다. 따라서 SVC의 다른 스트림에 대해서는 이 14개의 라벨값이 아닌 다른 라벨값을 정해서 사용한다.
SEI 메시지와 호환성
SVC를 이용하는 경우에는 SEI(Suplemental Enhancement Information) 메시지로 전달되어 사용되는 scalability_info의 layer_ID를 라벨로 사용할 수 있다. 이 에 의하면, 부호화기와 복호화기에서 따로 라벨을 정할 필요가 없게 된다.
< 부호화기의 구현 >
부호화기에서는 SNALH를 사용하다는 것을 복호화기에 알려야 한다. 이를 위하여, SPS(Sequence Parameter Set)를 이용할 수 있다. 저장시에도 SNALH를 사용한다는 정보를 저장한다.
라벨 매핑표 저장 및 전달
비디오 시퀀스에서 구분해야하는 스트림의 개수만큼 라벨을 정한다. 이를 매핑표로 만든다. 매핑표는 라벨번호별로 매핑하는 NALH의 전부 또는 일부의 세트를 지정하는 형식으로 구성된다. 일 실시예로 이 정보는 한 시퀀스에 대한 제어데이터를 표시하는 SPS 또는 PPS(Picture Parameter Set)를 통하여 부호화기에 전달할 수 있다. 일 실시예로 라벨은 SVC 계층 또는 MVC에서의 뷰의 일련번호로 할 수 있다.
NALU의 생성
NALU를 만들 때마다 해당 스트림에 해당하는 SNALH를 기존의 헤더 대신에 붙인다.
< 복호화기의 구현 >
SNALH를 사용함을 부호화기로부터 전달받는다. 이때 SPS를 이용할 수 있다. 저장된 비디오에서도 SNALH를 사용한다는 정보를 읽을 수 있게 한다.
라벨 매핑표 형성
복호화기의 초기화시에 부호화기가 보낸 제어 정보에서 매핑표를 읽고, 복호화할 스트림의 개수만큼 복호화 모듈을 초기화하고 각각을 정해진 라벨에 대응시킨다. SVC 계층간 또는 뷰간의 참조관계도 이때 결정된다.
NALU의 처리
NALU가 도착하면 SNALH1 또는 SNALH2를 읽고, 읽은 라벨에 따라 해당 복호화 모듈의 복호화 버퍼에 NAL 페이로드를 저장한다. 기존의 방식에서는 SVC의 경우에 헤더에서 D, T, Q 3개의 값을 분리하여 어떤 버퍼로 보낼지 결정하므로 본 발명의 방식보다 훨씬 복잡하다. 본 발명의 방식을 사용할 때 알고리즘은 도 11에 도시된 것과 같이 구성할 수 있다. 도 11을 참조하면, 복호화기에서 NALU의 DTQ값을 보지 않고, SANLH값만 보고 해당 복호화 모듈로 NAL 페이로드를 전달할 수 있다.
<MANE (Media Aware Network Element)의 구현 >
본 발명의 실시예에 따른 MANE는 비디오 세션에 속한 여러 스트림 중에서 어떤 스트림을 통과시키는지 버리는지 여부를 판단함에 있어서, 저장하고 있는 추출맵에 따라서 동작한다. 따라서 본 발명의 실시예에 의하면, MANE는 P, D, T, Q 4개의 값을 따로 알 필요가 없고 각각의 라벨에 대해서 추출 여부를 1비트로 표시한 추출맵만 가지고 있으면 된다. 이 추출맵은 서버에서 만들어서 전송하거나 MANE에서 만들어야 한다. 네트워크/단말기/사용자의 조건을 한정된 개수의 세트로 만들어서 각각에 대해서 추출맵을 가지고 있을 수 있다. 하나의 세션이 멀티캐스트 되는 경우에는 도 12와 같이 네트워크 길목에 MANE을 두어 따로따로 추출맵을 관리하게 한다. 도 12를 참조하면, 3개의 MANE이 서로 다른 추출맵을 저장하고 있는데, 이것은 예시적인 것이다. 도 12에서는 단순화의 목적으로 라벨을 4비트로 하고 스트림이 4개까지인 경우를 보여 준다. 3개의 MANE이 서로 추출맵을 가지고 있다. 예를 들어, MANE3에서는 0101라벨을 가진 NALU는 버리고, 1101, 0111, 0001 라벨을 가진 NALU는 통과시킨다.
추출맵의 형성
MANE은 지원하는 비디오 서비스의 초기화시 서버에서 SNALH를 사용한다는 정보를 받고 이에 대비한다. 추출맵을 형성하는 방법으로는, 서버나 클라이언트가 제공하는 추출정보를 받아서 추출맵을 형성하는 방법과 지능이 있는 라우터 또는 기지국이 서비스 설정에 필요한 제어정보를 받아서 라벨별 우선순위 및 처리에 대한 추출맵을 형성하는 방법 등이 있을 수 있다. 통과시키는 계층 또는 뷰의 NALU 스트림의 종류와 범위는 사용자의 요구와 단말기의 능력(capability)에 의해서 결정된다. 단말기의 능력은 디스플레이 해상도와 채널의 대역폭 등을 포함한다. 서비스 도중에도 네트워크 조건 또는 단말기 조건 및 사용자의 요구에 따라 우선순위에 맞게 스트림에 속하는 NALU의 통과 또는 버리기를 결정한다. 이 결정은 서버에서 이 루어지는 것이 바람직하다. 서버에서 어떤 라벨의 스트림에 속하는 NALU을 통과시킬지에 대한 정보를 추출맵의 형태로 MANE에 전달할 수 있다.
일 실시예로 도 12에서처럼 4개의 서로 다른 계층에 따로따로 라벨이 정해져있는 경우에 HDTV로 가는 채널의 길목에 있는 MANE1에는 1111을 전송하여 모든 라벨의 NALU가 다 통과하게 하고, 휴대전화로 가는 길목에 있는 MANE2에는 0001을 전송하여 가장 낮은 계층인 0001 즉 Base 계층의 라벨이 붙은 NALU(또는 패킷)만을 통과시킨다. 단말기가 노트북인 경우인 MANE3에는 0111을 전송하여 하위 3개의 계층을 통과하도록 할 수 있다. 본 발명의 일 실시예에 의하면, 4개의 비트중 상위비트는 가장 상위 레벨을 통과시키는지 여부를 0과 1로 표시하고, 이후 순서에 따라 각각의 레벨의 통과여부를 표시한다.
서비스 도중에 클라이언트가 변경을 요청하는 경우에는 서버에서 이 요구를 받아들여서 다시 추출맵을 만들어서 해당 MANE에게 전송하는 것이 바람직하다. 서비스도중에 채널의 조건이 바뀌어서 추출맵을 바꾸는 경우에는 MANE이 지능적으로 이를 수행하고 서버에 보고하는 것이 바람직하다. 그러나, MANE에 그러한 지능이 없는 경우에는 클라이언트나 서버에서 채널의 조건정보(가용비트율, 패킷손실율)을 모니터링하여 추출맵을 수정하여 MANE에 전달하는 것이 바람직하다.
추출 과정
NALH를 SNALH로 사용하는 경우에는 NALH에 표시된 라벨을 MANE이 읽어서 추출여부를 결정한다. 그러나 이 방식은 L3계층(네트워크계층)을 다루는 라우터가 비 디오 계층까지 처리해야한다는 부담이 있으며, 네트워크 설계의 기본원칙인 독립의 원칙을 위반하는 것이 된다. 따라서 IPv6 플로우 라벨에 SNALH를 삽입하는 방식이 바람직하다. 이로써 라우터는 IP 헤더만 가지고 추출여부를 결정할 수 있게 된다.
도 3과 도 8은 기존의 방식과 본 발명의 실시예에 따른 방식을 비교한 것이다. 도 3과 도 8을 참조하면 알 수 있는 바와 같이, 기존에는 4개의 값의 조합에 따라서 NALU 추출 여부를 판단하지만 SNALH를 이용하는 본 발명의 실시예에 dlm하면, 하나의 값으로 추출 여부를 판단한다.
보다 구체적으로, SVC에 대해서 기존의 방식을 이용하는 경우(도 3 참조), 헤더에서 P, D, T, Q 4개의 변수를 분리해내어서 추출여부를 결정하지만, 본 발명의 방식(도 8 참조)을 이용하면 MANE에서는 그러한 변수의 의미와 관계없이 현재 패킷의 라벨만 가지고 기계적으로 추출여부를 결정하므로 매우 간단하게 추출여부가 결정된다. 도 8의 단계 S22에서 추출 여부를 결정할 때 B = map[label]이라는 함수를 사용하고, 상기 'B'의 값이 '1'인지를 판단할 수도 있는데, 여기서 map[label]은 라벨값을 대입하였을 때, 추출하여 버리는 경우에는 0을 B로 출력하고, 포워딩하는 경우에는 1을 출력하는 함수의 일례이다.
IPv6 라벨 스위칭을 위한 QoS 제어
MPEG-2와 H.264를 이용하거나 특히 SVC(Scalable Video Coding)를 이용하여 생성된 비디오 데이터를 전송할 때, 상기 비디오 데이터를 포함하는 비디오 패킷마 다 그 중요도는 서로 다르다. 비디오 서비스의 QoS를 효과적으로 제어하기 위해서는 이러한 중요도의 차이를 식별할 수 있어야 한다. IPv6 라우터에서는 이를 식별하는데, 패킷 스위칭 방식을 사용하는 경우에는, 도 13a와 같은 IPv6의 패킷 헤더에서 음영으로 표시되어 있는 부분에서 5인자(5 turples : 수신자 주소, 송신자 주소, 수신자내 해당 서비스의 포트번호, 송신자내 해당 서비스의 포트번호, 및 사용하는 프로토콜)를 읽고, 또다시 비디오 페이로드에서 중요도를 식별하는 헤더 데이터를 읽어야 한다. 이로써 패킷마다 처리 시간이 많이 걸릴 뿐만 아니라, 프로토콜 계층의 독립성을 위반하게 된다. 즉, 라우터에서는 IP 헤더만 읽고 처리가 가능하여야 하는데 그렇지 못 한 것이다.
본 발명의 실시예에 의하면, 이를 극복하기 위해 라벨 스위칭 방식을 사용한다. 서비스가 시작되기 전에 해당 서비스에만 적용되는 한시적인 라벨을 약속하고, 이 라벨을 도 13b에 음영으로 표시되어 있는 플로우 라벨 부분에 포함시킨다. 이러한 방법에 의하면, IPv6 라우터는 IPv6 헤더의 플로우 라벨만 보고 서비스의 인식과 패킷의 중요도의 차이를 식별하는 것이 가능하게 할 수 있다. 이것은 ATM(Asynchronous Transfer Mode)나 MPLS(Multi Protocol Label Switching))에서 사용하는 방법이다.
라벨 스위칭에서 라벨은 경로에 대한 정보와 자원 사용(중요도)에 대한 정보를 담고 있으며, 호성립(call setup) 이후에는 라벨만 보고 해당 서비스에 속한 패킷들의 경로와 패킷별 중요도를 식별할 수 있게 한다. 기존의 방법과 같이 패킷 스위칭으로 하는 경우, 패킷별 중요도를 파악하기 위하여 약 600비트(IPv6 헤더 496 비트와 비디오 페이로드 헤더)를 읽어야 하는 반면에, 본 발명의 실시예에 의하면 IPv6 플로우 라벨 20비트만 읽으면 패킷별 중요도를 파악하는 것이 가능하게 할 수 있다.
도 14는 본 발명의 일 실시예에 따른 IPv6 헤더의 플로우 라벨의 구성의 일례를 보여 주는 블록도이다. 도 14를 참조하면, 20비트 중에 8비트는 경로를 식별하기 위한 식별자를 5번째 비트부터 8비트를 넣고, 13번째 비트부터는 중요도 또는 자원 할당에 대한 정보를 8비트의 크기로 넣는다. 이때 중요도 정보는 SNALH로 대치할 수 있다. 하나의 비디오 서비스가 중요도가 다른 여러 개의 패킷스트림으로 이루어지는 경우, 모든 패킷스트림의 경로 식별자는 같지만, 중요도 식별자는 중요도에 따라 다르게 한다.
라벨 스와핑
하나의 전송 경로상에 여러 개의 MANE을 포함하는 아키텍쳐인 경우에는 각 MANE에서 사용하는 라벨이 서로 다르게 정해질 수 있다. 이 경우에 선행 MANE에서는 라벨 스와핑 (swapping) 과정을 통하여 후행 MANE에서 사용하는 라벨로 바꿀 수 있다. 이러한 스와핑은 서버에서 파일을 읽어서 전송하기 전에 행해질 수도 있다.
이상에서 본 발명을 특정의 바람직한 실시예를 예로 들어서 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니한다. 본 발명의 실시예는 후술하는 특허청구범위에 의하여 특정되는 본 발명의 정신을 벗어나지 않는 범위 내에 서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변경과 수정이 가능할 것이다.
도 1은 H.264/AVC에 있어서의 비디오 코딩 계층(Video Coding Layer, VCL)과 네트워크 추상 계층(NAL)의 위치 관계를 보여 주는 개념도이다.
도 2는 현재 SVC의 표준화에서 제안되어 있는 NALU 포맷의 일례를 개념적으로 보여 주는 블록도이다.
도 3은 MANE에서 NALU(또는 패킷, 비트스트림)의 전송을 결정하는 기존의 절차를 보여 주는 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 NALU 포맷을 보여 주는 블록도이다.
도 5는 본 발명의 제2 실시예에 따른 NALU 포맷을 보여 주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 SVC 부호화기의 구성을 보여 주는 블록도이다.
도 7은 본 발명의 일 실시예에 따라서 라벨을 이용하여 패킷의 전송 여부를 결정하는 네트워크 중간 노드의 구성을 보여 주는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 네트워크 중간 노드에서의 패킷 전송 여부 결정 절차를 보여 주는 흐름도이다.
도 9는 복호화기에서의 도 4 또는 도 5의 포맷을 갖는 NALU의 복호화 절차를 보여 주는 흐름도이다.
도 10은 H.264/AVC에서 사용하는 14개의 NALU 타입을 14개의 라벨과 일치시키는 방법의 일례를 보여 주는 도면이다.
도 11은 복호화기에서의 도 4 또는 도 5의 포맷을 갖는 NALU의 처리 알고리 즘을 보여 주는 도면이다.
도 12는 호재된 망(Heterogenous Network)에서 비디오 스트림을 멀티캐스트하는 방법을 보여 주는 도면이다.
도 13a는 IPv6 프로토콜을 이용해서 패킷 스위칭을 하는 경우에 읽어야 하는 정보의 양을 보여주기 위한 것이고, 도 13b는 본 발명의 실시예에 따라서 라벨 스위칭을 하는 경우에 읽어야 하는 정보의 양을 보여 주기 위한 것이다.
도 14는 본 발명의 일 실시예에 따른 IPv6 헤더의 플로우 라벨의 구성의 일례를 보여 주는 블록도이다.

Claims (14)

  1. 네트워크 추상 계층 유닛(NALU)을 구성하는 방법에 있어서,
    상기 네트워크 추상 계층 유닛은 부호화된 데이터의 중요도를 지시하기 위한 라벨을 포함하는 네트워크 추상 계층 헤더(NALH)와 상기 부호화된 데이터를 포함하는 네트워크 추상 계층 페이로드(NAL Payload)를 포함하고,
    상기 라벨은 상기 부호화된 데이터의 우선순위, 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨을 포함하는 계층 정보의 조합에 기초하여 결정되는 것을 특징으로 하는 NALU의 구성방법.
  2. 제1항에 있어서, 상기 네트워크 추상 계층 헤더(NALH)는 상기 네트워크 추상 계층 유닛(NALU)의 유형을 지시하는 필드를 더 포함하거나 또는 상기 라벨을 결정하는데 있어서 상기 네트워크 추상 계층 유닛의 유형을 지시하는 정보도 이용되는 것을 특징으로 하는 NALU의 구성방법.
  3. 제1항에 있어서, 상기 네트워크 추상 계층 헤더(NALH)는 상기 부호화된 데이터의 우선순위, 상기 공간계층화 레벨, 상기 시간계층화 레벨, 및 상기 품질계층화 레벨 각각을 지시하는 정보를 더 포함하는 것을 특징하는 NALU의 구성방법.
  4. 입력 영상을 계층 정보에 따라서 복수의 부호화 모듈에서 복수의 계층의 부호화된 데이터로 생성하는 단계;
    상기 계층 정보에 기초하여 상기 복수의 계층 중에서 상기 부호화된 데이터가 해당되는 계층을 식별하기 위한 라벨을 매핑하는 단계; 및
    상기 라벨이 네트워크 추상 계층 헤더(NALH)에 포함되고 상기 부호화된 데이터를 상기 네트워크 추상 계층 페이로드(NAL Payload)에 포함된 네트워크 추상 계층 유닛(NALU)을 생성하는 단계를 포함하고,
    상기 계층 정보는 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제4항에 있어서, 상기 라벨 매핑 단계에서는 상기 공간계층화 레벨, 상기 시간계층화 레벨, 및 상기 품질계층화 레벨의 조합과 상기 레벨을 대응시키는 매핑표를 이용하는 것을 특징으로 하는 영상 부호화 방법.
  6. 복수의 복호화 모듈을 포함하는 복호화기에서 네트워크 추상 계층 유 닛(NALU)을 처리하는 방법에 있어서,
    상기 네트워크 추상 계층 유닛은 부호화된 데이터의 중요도를 지시하기 위한 라벨을 포함하는 네트워크 추상 계층 헤더(NALH)와 상기 부호화된 데이터를 포함하는 네트워크 추상 계층 페이로드(NAL Payload)를 포함하고,
    상기 복호화기는 상기 라벨에 기초하여 상기 복수의 복호화 모듈 중에서 어떤 복호화 모듈에서 상기 부호화된 데이터를 처리할지를 결정하는 것을 특징으로 하는 복호화기에서의 NALU 처리방법.
  7. 제6항에 있어서, 상기 라벨은 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨을 포함하는 계층 정보의 조합에 기초하여 결정된 값인 것을 특징으로 하는 복호화기에서의 NALU 처리방법.
  8. 네트워크 중간 노드에서 부호화된 데이터의 계층 정보에 따라 상기 부호화된 데이터를 포함하는 패킷의 전송 여부를 결정하는 방법에 있어서,
    상기 패킷은 상기 부호화된 데이터의 계층 정보를 지시하는 라벨을 포함하는 패킷 헤더와 상기 부호화된 데이터를 포함하는 패킷 페이로드로 구성되고,
    상기 네트워크 중간 노드는 상기 라벨을 독출하고, 독출된 상기 라벨에 따라서 상기 패킷을 전송할지를 결정하며, 또한
    상기 계층 정보는 상기 부호화된 데이터의 공간계층화 레벨, 시간계층화 레벨, 및 품질계층화 레벨 중에서 적어도 하나를 포함하는 것을 특징으로 하는 네트워크 중간 노드에의 패킷 전송방법.
  9. 제8항에 있어서, 상기 네트워크 중간 노드는 미디어 인지 네트워크 요소(Media Aware Network Element, MANE)인 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
  10. 제8항에 있어서, 상기 네트워크 중간 노드는 추출맵을 이용하여 상기 패킷을 전송할지를 결정하며,
    상기 추출맵은 소정의 조건에 따라 상기 라벨의 값에 따라서 전송여부가 결정되는 있는 정보를 포함하는 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
  11. 제10항에 있어서, 상기 전송여부는 상기 라벨의 값에 따라 1비트로 나타내는 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
  12. 제10항에 있어서, 상기 소정의 조건은 채널 상황을 포함하는 네트워크 조건, 단말기 조건, 및 사용자 조건 중에서 적어도 하나를 포함하는 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
  13. 제10항에 있어서, 상기 추출맵은 서버가 초기에 또는 서비스 도중에 전송하는 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
  14. 제8항에 있어서, 상기 네트워크 중간 노드는 IPv6를 사용하는 IPv6 라우터이고, 상기 패킷은 IPv6 패킷이며,
    상기 라벨은 상기 IPv6 패킷의 헤더의 플로우 라벨(flow label)에 포함되는 것을 특징으로 하는 네트워크 중간 노드에서의 패킷 전송방법.
KR1020080003698A 2007-01-12 2008-01-12 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치 KR101468082B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020070003809 2007-01-12
KR20070003809 2007-01-12
KR20070005162 2007-01-17
KR1020070005162 2007-01-17
KR1020070007119 2007-01-23
KR20070007119 2007-01-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140130365A Division KR101478280B1 (ko) 2007-01-12 2014-09-29 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한 비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질 제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치

Publications (2)

Publication Number Publication Date
KR20080066624A true KR20080066624A (ko) 2008-07-16
KR101468082B1 KR101468082B1 (ko) 2014-12-03

Family

ID=39608851

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020080003698A KR101468082B1 (ko) 2007-01-12 2008-01-12 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치
KR1020140130365A KR101478280B1 (ko) 2007-01-12 2014-09-29 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한 비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질 제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140130365A KR101478280B1 (ko) 2007-01-12 2014-09-29 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한 비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질 제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치

Country Status (5)

Country Link
US (9) US9344362B2 (ko)
EP (3) EP1994721A4 (ko)
KR (2) KR101468082B1 (ko)
CN (1) CN101543018B (ko)
WO (1) WO2008085013A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099417A3 (ko) * 2011-01-19 2012-11-22 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2012099421A3 (ko) * 2011-01-19 2012-12-06 삼성전자 주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20130057404A (ko) * 2011-11-23 2013-05-31 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
KR101376025B1 (ko) * 2009-04-14 2014-03-19 애플 인크. 미디어 데이터 전송 방법 및 장치
WO2015102441A1 (ko) * 2014-01-03 2015-07-09 삼성전자 주식회사 효율적인 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
KR101143282B1 (ko) 2002-10-05 2012-05-08 디지털 파운튼, 인크. 연쇄 반응 코드의 체계적 인코딩 및 디코딩
EP1665539B1 (en) 2003-10-06 2013-04-10 Digital Fountain, Inc. Soft-Decision Decoding of Multi-Stage Chain Reaction Codes
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
WO2007095550A2 (en) 2006-02-13 2007-08-23 Digital Fountain, Inc. Streaming and buffering using variable fec overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
CA2697764A1 (en) 2007-09-12 2009-03-19 Steve Chen Generating and communicating source identification information to enable reliable communications
US8363548B1 (en) * 2008-12-12 2013-01-29 Rockstar Consortium Us Lp Method and system for packet discard precedence for video transport
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN102742245B (zh) * 2010-01-28 2015-12-16 汤姆森许可贸易公司 用于解析网络抽象层以实现可靠数据通信的方法和设备
CN106100803A (zh) * 2010-01-28 2016-11-09 汤姆森特许公司 用于作出重发决定的方法和装置
JP6067378B2 (ja) 2010-01-28 2017-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 再送決定する方法及び装置
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8467324B2 (en) 2010-11-03 2013-06-18 Broadcom Corporation Managing devices within a vehicular communication network
EP2664075A4 (en) * 2011-01-14 2015-08-19 Vidyo Inc ENHANCED NAL UNIT HEADER
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
KR20120138604A (ko) 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CN103733580B (zh) * 2011-08-18 2016-08-17 Vid拓展公司 用于分组差别化的方法和系统
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
KR101995221B1 (ko) * 2011-11-24 2019-07-16 삼성전자주식회사 통신 시스템에서 패킷 송수신 장치 및 방법
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
EP2805520A1 (en) 2012-01-20 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Sub-bitstream extraction
KR102047492B1 (ko) * 2012-03-12 2019-11-22 삼성전자주식회사 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
TWI458317B (zh) * 2012-07-02 2014-10-21 Chunghwa Telecom Co Ltd According to the home network equipment distribution IPv6 first code and do QoS control and traffic shunt system and methods
EP2871567A4 (en) * 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
KR102435018B1 (ko) 2013-07-15 2022-08-22 지이 비디오 컴프레션, 엘엘씨 네트워크 장치 및 오류 처리
US9825884B2 (en) 2013-12-30 2017-11-21 Cavium, Inc. Protocol independent programmable switch (PIPS) software defined data center networks
CN103825820B (zh) * 2014-01-22 2018-03-30 汉柏科技有限公司 一种基于IPv6流标签的QoE管理方法
US9635146B2 (en) 2014-06-19 2017-04-25 Cavium, Inc. Method of using bit vectors to allow expansion and collapse of header layers within packets for enabling flexible modifications and an apparatus thereof
US10616380B2 (en) 2014-06-19 2020-04-07 Cavium, Llc Method of handling large protocol layers for configurable extraction of layer information and an apparatus thereof
US9516145B2 (en) * 2014-06-19 2016-12-06 Cavium, Inc. Method of extracting data from packets and an apparatus thereof
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
KR101687115B1 (ko) * 2015-09-09 2016-12-15 한국과학기술원 통신 시스템의 암호화 패킷 전송 방법
KR102207453B1 (ko) * 2015-10-30 2021-01-25 에스케이텔레콤 주식회사 Mmt 패킷 구성 장치 및 mmt 패킷 구성 방법
WO2017190329A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 视频业务的传输方法和装置
EP3557824B1 (en) 2016-12-19 2022-04-20 LG Electronics Inc. Network device and queue management method for network device
CN107391527B (zh) * 2017-03-28 2020-03-27 创新先进技术有限公司 一种基于区块链的数据处理方法及设备
US10798145B1 (en) 2017-04-25 2020-10-06 Benjamin J. Garney Analyzing data streams
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
US11444877B2 (en) * 2019-03-18 2022-09-13 At&T Intellectual Property I, L.P. Packet flow identification with reduced decode operations
US20230199198A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte. Ltd. Video codec importance indication and radio access network awareness configuration
US11824653B2 (en) 2021-12-17 2023-11-21 Lenovo (Singapore) Pte. Ltd. Radio access network configuration for video approximate semantic communications
US11917206B2 (en) 2021-12-17 2024-02-27 Lenovo (Singapore) Pte. Ltd. Video codec aware radio access network configuration and unequal error protection coding

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
EP1107520A1 (en) * 1999-12-06 2001-06-13 Telefonaktiebolaget Lm Ericsson Method and arrangement in a communication network
JP2002198994A (ja) * 2000-12-26 2002-07-12 Nec Corp Ｇｆｐフレーム転送装置およびｇｆｐフレーム転送方法
FI115687B (fi) * 2002-04-09 2005-06-15 Nokia Corp Pakettidatan siirtäminen langattomaan päätelaitteeseen
JP2004056169A (ja) 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 画像データ受信装置、画像データ送信装置
EP1579446A2 (en) * 2002-12-20 2005-09-28 Koninklijke Philips Electronics N.V. Method for dividing user storage space of an optical disc, optical disc having divided storage space, and method and device for storing information
CN100568964C (zh) * 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
JP3924787B2 (ja) * 2003-02-27 2007-06-06 ソニー株式会社 記録装置、ファイル管理方法、ファイル管理方法のプログラム、ファイル管理方法のプログラムを記録した記録媒体
JP2005229587A (ja) 2004-01-15 2005-08-25 Matsushita Electric Ind Co Ltd 多重化方式変換装置
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7657056B2 (en) * 2004-06-05 2010-02-02 Samsung Electronics Co., Ltd. Apparatus for identifying a photographer of an image
CN100362782C (zh) * 2004-08-24 2008-01-16 华为技术有限公司 对丢失数据单元进行恢复的方法
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US7383278B2 (en) * 2004-12-20 2008-06-03 Microsoft Corporation Systems and methods for changing items in a computer file
KR100694205B1 (ko) * 2005-02-14 2007-03-14 삼성전자주식회사 Ｍｐｌｓ 패킷 처리 장치 및 방법
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
AU2006233279C1 (en) * 2005-04-13 2011-01-27 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
US20060256723A1 (en) * 2005-05-16 2006-11-16 Hellenthal Jan W Scheduling incoming packet traffic on an output link of a network device associated with a data network
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
CN101313578B (zh) * 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information
KR101029854B1 (ko) * 2006-01-11 2011-04-15 노키아 코포레이션 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
US7715397B2 (en) * 2006-09-21 2010-05-11 Sprint Communications Company L.P. Data communications method and structure
US7983170B2 (en) * 2006-12-19 2011-07-19 Citrix Systems, Inc. In-band quality-of-service signaling to endpoints that enforce traffic policies at traffic sources using policy messages piggybacked onto DiffServ bits
US8537659B2 (en) * 2006-12-20 2013-09-17 Apple Inc. Method and system for reducing service interruptions to mobile communication devices
JP5188870B2 (ja) * 2008-04-28 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 基地局、移動局及び周波数分割多重通信方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101376025B1 (ko) * 2009-04-14 2014-03-19 애플 인크. 미디어 데이터 전송 방법 및 장치
US10630603B2 (en) 2011-01-19 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
WO2012099421A3 (ko) * 2011-01-19 2012-12-06 삼성전자 주식회사 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US11316799B2 (en) 2011-01-19 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
US9560171B2 (en) 2011-01-19 2017-01-31 Samsung Electronics Co., Ltd. Method and apparatus for transmitting a multimedia data packet
US9584441B2 (en) 2011-01-19 2017-02-28 Samsung Electronics Co., Ltd. Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
WO2012099417A3 (ko) * 2011-01-19 2012-11-22 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US9906631B2 (en) 2011-01-19 2018-02-27 Samsung Electronics Co., Ltd. Method and apparatus for transmitting a multimedia data packet
KR20130057404A (ko) * 2011-11-23 2013-05-31 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
KR20200102406A (ko) * 2011-11-23 2020-08-31 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
KR20190088947A (ko) * 2011-11-23 2019-07-29 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
US9794582B2 (en) 2012-06-12 2017-10-17 Lg Electronics Inc. Image decoding method and apparatus using same
US10469861B2 (en) 2012-06-12 2019-11-05 Lg Electronics Inc. Image decoding method and apparatus using same
US10448039B2 (en) 2012-06-12 2019-10-15 Lg Electronics Inc. Image decoding method and apparatus using same
US10863187B2 (en) 2012-06-12 2020-12-08 Lg Electronics Inc. Image decoding method and apparatus using same
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US11546622B2 (en) 2012-06-12 2023-01-03 Lg Electronics Inc. Image decoding method and apparatus using same
WO2015102441A1 (ko) * 2014-01-03 2015-07-09 삼성전자 주식회사 효율적인 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
CN101543018A (zh) 2009-09-23
US20210385160A9 (en) 2021-12-09
US10728148B2 (en) 2020-07-28
CN101543018B (zh) 2012-12-26
EP3041195A1 (en) 2016-07-06
US20210250289A1 (en) 2021-08-12
US20180083875A1 (en) 2018-03-22
KR101478280B1 (ko) 2014-12-31
US20090175353A1 (en) 2009-07-09
EP1994721A1 (en) 2008-11-26
US11848864B2 (en) 2023-12-19
US20210250290A1 (en) 2021-08-12
US20240073133A1 (en) 2024-02-29
KR20140133491A (ko) 2014-11-19
US20200389400A1 (en) 2020-12-10
US20240073134A1 (en) 2024-02-29
US11743185B2 (en) 2023-08-29
US11374861B2 (en) 2022-06-28
US9344362B2 (en) 2016-05-17
EP1994721A4 (en) 2013-09-25
EP3484123A1 (en) 2019-05-15
US9853893B2 (en) 2017-12-26
WO2008085013A1 (en) 2008-07-17
US20150043591A1 (en) 2015-02-12
KR101468082B1 (ko) 2014-12-03
US20210250291A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
KR101478280B1 (ko) 네트워크 추상 계층 유닛의 패킷 구성방법, 이를 이용한 비디오 부호화 및 복호화 알고리즘 및 장치, 서비스품질 제어를 위한ＩＰｖ6 라벨 스위칭 알고리즘 및 장치
AU2007230602B2 (en) System and method for management of scalability information in scalable video and audio coding systems using control messages
US9609339B2 (en) Individual buffer management in video coding
CN104639943B (zh) 一种基于h.264编码标准的通用视频加密方法及系统
KR101131266B1 (ko) 비확장성 디코더와 호환성 있는 확장성 비디오 코딩/멀티플렉싱
US20220007032A1 (en) Individual temporal layer buffer management in hevc transport
KR102170717B1 (ko) 멀티미디어 서비스를 위한 비트 에러율을 이용한 레이트 어댑테이션 방법 및 그 장치
CA2647823A1 (en) System and method for management of scalability information in scalable video and audio coding systems using control messages
KR20110061505A (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20120084202A (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR20120083992A (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR102060410B1 (ko) 멀티미디어 데이터 패킷을 수신하는 방법 및 장치
KR102014882B1 (ko) 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US20060087970A1 (en) Method for encoding a multimedia content
Wenger et al. RFC 6190: RTP Payload Format for Scalable Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 6