KR20100048696A - 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법 - Google Patents

네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법 Download PDF

Info

Publication number
KR20100048696A
KR20100048696A KR1020080107971A KR20080107971A KR20100048696A KR 20100048696 A KR20100048696 A KR 20100048696A KR 1020080107971 A KR1020080107971 A KR 1020080107971A KR 20080107971 A KR20080107971 A KR 20080107971A KR 20100048696 A KR20100048696 A KR 20100048696A
Authority
KR
South Korea
Prior art keywords
video
network
svc
quality
packet
Prior art date
Application number
KR1020080107971A
Other languages
English (en)
Other versions
KR100970388B1 (ko
Inventor
김대업
류정동
이상민
이범철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080107971A priority Critical patent/KR100970388B1/ko
Priority to US12/561,144 priority patent/US20100111165A1/en
Publication of KR20100048696A publication Critical patent/KR20100048696A/ko
Application granted granted Critical
Publication of KR100970388B1 publication Critical patent/KR100970388B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 네트워크 흐름기반 스케일러블 비디오 코딩(SVC: Scalable video coding) 적응 장치에 관한 것이다.
본 발명은 네트워크 송신단에서 영상 미디어 데이타를 전체 네트워크에 여러 화질을 가진 영상 미디어 데이타로 세분화하여 보내지 않고 하부의 해당 가입자 네트워크 인입부(ingress)의 네트워크 장치에 처리 가능한 적응 장치를 설치하고, 적응 장치에 의해 영상서비스를 제공할 네트워크 및 단말의 속성 등의 하부의 가입자 네트워크의 정보를 네트워크 송신단과 공유함으로써 가입자 단말에 해당 화질의 영상서비스를 제공하여 네트워크의 효율을 극대화 시킨다.

Description

네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법{Network flow based scalable video coding adaptation device and method thereof}
본 발명은 스케일러블 비디오 코딩(SVC: Scalable video coding) 적응 장치 및 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제번호: 2008-S-009-01, 과제명: 패킷-광 통합 스위치 기술 개발].
종래에는 원본 영상정보를 해당 응용 단말에 적절히 전달하기 위하여 원본 영상 데이터를 스케일러블 비디오 코딩(SVC: Scalable video coding)하고, 해당 응용 단말의 영상처리 능력에 따라 3차원인 화면크기(Spatial Scalability; Picture resolutions), 초당프레임수(Temporal Scalability; frame rates), 화질선명도(SNR Scalability; quality levels) 요소를 세분화한다. 스케일러블 비디오 코딩된 원본 영상 데이터를 해당 응용 단말에 맞게 비트율, 화면율, 해상도와 관련된 대역폭 등을 조정 및 재편집(adaptation and construction)한 후, IP/UDP/RTP(Real time transport protocol) 패킷 또는 다른 스트리밍 프로토콜(streaming protocol) 패킷 에 포장(Packetization)하여 네트워크에 전송한다.
응용 단말 및 응용 영상서비스를 제공하는 가입자영역 네트워크에 맞는 영상 데이터의 대역폭 조정은 영상 데이터를 스케일러블 비디오 코딩(SVC: Scalable video coding)의 특성에 따라 기본계층(Base Layer)과 여러 개의 확장계층(Scalable layer, Enhancement layer)으로 구성하여 조정하게 된다. 기본계층(Base Layer)은 H.264/AVC의 파일 형태와 호환되는 형태로 독자적으로 영상서비스가 제공되기 위한 기본 계층이다. 확장 계층은 3차원의 요소를 해당 차원에 의존하여 계층화한 것으로, 기본 계층에 해당 차원의 계층을 연속적으로 많이 쌓을수록 해당 차원의 기능 요소인, Spatial Scalability(Picture resolutions), Temporal Scalability(frame rates), SNR Scalability(quality levels)가 향상된 영상서비스를 영상서비스 단말에서 구현할 수 있다.
그러나 상기의 과정을 거침으로서 전달망(전체 네트워크)에서는 하나의 원본 영상으로부터 이종의 용량(대역폭)과 속성을 갖는 여러 개의 응용 단말용 영상이 생성이 되어 네트워크 내부에서 대역폭 프로파일(profile) 관리 등이 복잡할 뿐만 아니라, 영상서비스의 특성상 많은 대역폭을 처리하기 위한 네트워크의 확장이 요구되어 시설투자비용과 관리비용의 증가가 불가피해지게 된다.
본 발명은 스케일러블 비디오 코딩(SVC: Scalable video coding)된 영상 미디어 데이터의 패킷으로 원하는 하위 네트워크의 서비스 용량 또는 단말에 적합한 영상서비스를 제공하기 위하여 스케일러블 비디오 코딩(SVC: Scalable video coding)된 영상 미디어 데이터 패킷을 원하는 대역폭과 화질로 효과적으로 줄일 수 있는 네트워크 기반 스케일러블 비디오 코딩(SVC: Scalable video coding) 적응(adaptation) 방법과 이를 이용한 장치를 제공하는 데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 네트워크 송신단에서 영상 미디어 데이타를 전체 네트워크에 여러 화질을 가진 영상 미디어 데이타로 세분화하여 보내지 않고 하부의 해당 가입자 네트워크 인입부(ingress)의 네트워크 장치(액세스 라우터, 스위치, 셋탑박스 등)에 처리 가능한 적응 장치를 설치하고, 적응 장치와 네트워크 송신단이 영상서비스를 제공할 네트워크 및 단말의 속성 등의 하부의 가입자 네트워크의 정보를 공유하며 적응 장치가 각 단말에 해당 영상품질의 영상서비스를 제공하게 함으로써 네트워크의 효율을 극대화 시킨다.
본 발명의 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치는, 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 수신한 최고 영상품질의 스트리밍 패킷에서 상기 송신단과 공유하는 가입자 네트워크 정보를 기초로 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터를 선별하는 SVC적응부; 및 상기 스트리밍 패킷의 정보를 상기 선별된 영상데이터를 포함하는 신규 스트리밍 패킷의 정보로 업데이트하는 패킷분석처리부;를 포함할 수 있다.
본 발명의 하나 이상의 가입자 단말이 속한 네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 전송하는 장치는, 상기 네트워크 장치와 공유할 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 포함하는 영상정보 제어패킷을 생성하고, SVC 영상데이터로 코딩된 원본영상으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보가 반영되어 계층화된 최고 영상품질의 스트리밍 패킷을 생성하는 계층적응부;를 포함할 수 있다.
본 발명의 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법은, 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 최고 영상품질의 스트리밍 패킷을 수신하는 단계; 상기 송신단과 공유하는 네트워크 정보를 기초로 상기 스트리밍 패킷에서 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터를 선별하는 단계; 및 상기 스트리밍 패킷의 정보를 상기 선별된 영상데이터를 포함하는 신규 스트리밍 패킷의 정보로 업데이트하는 단계;를 포함할 수 있다.
본 발명의 SVC 영상서비스 전송 장치가 하나 이상의 가입자 단말이 속한 네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 전송하는 방법은, 상기 네트워크 장치와 공유할 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 포함하는 영상정보 제어패킷을 생성하는 단계; 및 SVC 영상데이터로 코딩된 원본영상으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보가 반영되어 계층화된 최고 영상품질의 스트리밍 패킷을 생성하는 단계;를 포함할 수 있다.
본 발명은 스케일러블 비디오 코딩(SVC: Scalable video coding)된 영상서비스를 제공하는 네트워크에서 특정 용도 또는 특정 영역의 하위 네트워크로 전달 또는 접속을 지원하는 패킷 라우터, 스위치 및 가입자 접속 노드, 게이트웨이 등과 같은 네트워크 장치에 SVC 적응 장치를 실장한다.
본 발명은 실장된 네트워크 흐름 기반 스케일러블 비디오 코딩(SVC) 적응 장치를 활용함으로써 네트워크 장치에서 해당 가입자 네트워크에 필요한 단말의 응용 스케일러블 비디오 코딩(SVC) 영상품질로 적응 작업을 직접 수행하게 되고, 영상 서버 영역의 네트워크 송신단 장치와 연결된 상위 네트워크로부터는 최고 영상 품질로 계층화된 대역폭이 큰 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터 한 종류를 수신하여, 다수의 단말 각각에 필요한 영상품질을 제공할 수 있게 된다. 그러므로 네트워크의 복잡성과 관리의 어려움을 줄여 줌으로써 유지 비용을 줄일 수 있다.
본 발명은 앞으로 폭발적으로 수요가 증가할 것으로 예상되고 네트워크에서 필요로 하는 대역폭이 많은 영상서비스에 대하여 스케일러블 비디오 코딩(SVC)의 특성을 활용하여 네트워크에서 효과적으로 영상 트래픽을 관리하여 방송과 VOD(video on demand) 형태의 다양한 영상서비스 품질과 이를 수신하는 이종의 단말기에 적합한 화질을 제공할 수 있다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 명세서에 기재된 "…부", "…기", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 스케일러블 비디오 코딩된 영상서비스를 제공하는 네트워크(Network)에서 같은 원본에 파생된 여러 형태의 비디오 품질을 갖는 영상미디어 데이터에 의해 발생할 수 있는 트래픽의 증가와 혼잡성을 줄이고, 스케일러블 비디오 코딩(SVC: Scalable video coding) 영상 미디어 데이터를 네트워크 장치 상에서 효과적으로 처리 하기 위한 관리 방법과 이 관리 방법을 수용하는 네트워크 흐름기반 스케일러블 비디오 코딩(SVC: Scalable video coding) 적응장치 및 방법에 관한 것이다.
본 발명은 송신단에서 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터를 여러 화질을 가진 영상 미디어 데이터로 세분화하여 보내지 않고 하부의 가입자 네트워크에서 사용되는 각 서비스에 대해 최고 화질을 가진 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터를 네트워크에 전달하고, 이 최고 화질의 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터를 하부의 해당 가입자 네트워크 인입부(ingress)의 네트워크 장치(액세스 라우터, 스위치, 셋탑박스 등)에서 처리 가능하도록 적응 장치를 네트워크 장치에 설치하고, 영상서비스를 제공할 네트워크 및 단말의 속성 등의 하부의 가입자 네트워크의 정보를 송신단과 적응 장치가 공유함으로써 불필요한 네트워크 대역폭 낭비 및 복잡한 패킷 관리 요소들을 제거하여 네트워크의 효율을 극대화시킨다.
도 1a 및 도 1b는 스케일러블 비디오 코딩에 의한 영상 데이터가 계층화된 것을 나타낸다. 영상원본의 영상의 품질을 3가지 차원별로 데이터 큐브(Data cube, Tier)로 세분화 할 수 있고, 데이터 큐브의 조합을 통하여 최소 품질의 영상서비스에서부터 단계별로 영상 품질을 구성할 수 있다. 최대, 최고 화질을 제공하는 원본 영상과 유사한 영상은 데이터 큐브 전체를 통해서 제공이 가능하다.
도 1a는 시간(temporal) 방향으로 계층 0~3이 구성되고, 도 1b는 공간(spatial) 방향으로 계층 0~3이 구성되고 있다. 계층의 생성은 가입자 네트워크의 대역폭과 단말의 영상서비스 능력 등을 수집하여 영상서비스 특성(화면크기, 초당프레임수, 화질)에 맞추어 여러 방식으로 도 1a 및 도 1b처럼 다양한 계층 형태로 구성될 수 있다.
가입자 네트워크 정보가 반영된 기본계층과 확장계층의 영상데이터는 NALU(Network Abstraction Layer (NAL) unit) 단위로 패킷화된다. NAL unit은 RTP 또는 다른 스트리밍 프로토콜(streaming protocol) 패킷의 페이로드(Payload)로 구성된다. NAL Unit을 RTP (또는 다른 스트리밍 프로토콜)에 패킷화하는 방식은 SNU(single NAL unit), STAP-A(Simple-Time Aggregation Packet-A), STAP-A(Simple-Time Aggregation Packet-B), MTAP16(Multi-Time Aggregation Packet 16), MTAP24(Multi-Time Aggregation Packet 24), FU-A(Fragmentation Unit-A), FU-B(Fragmentation Unit-B) 등 여러 형태가 있다. 이 형태들도 기본적으로 NAL unit을 단위로 하여 하나의 NAL unit이 RTP 또는 다른 스트리밍 프로토콜 패킷 하나를 형성할 수도 있고, 여러 개가 모여서 하나의 RTP 또는 다른 스트리밍 프로토콜 패킷을 형성할 수도 있다.
도 2는 RTP (또는 다른 스트리밍 프로토콜 패킷)의 페이로드(Payload)에 스케일러블 비디오 코딩된 영상 데이터를 실어 나르기 위한 스케일러블 비디오 코딩(SVC) NAL Unit의 헤더를 나타낸 것이다.
SVC NAL Unit의 헤더는 AVC 헤더(AVC header)와 SVC 확장 헤더(SVE extension header)를 포함하며, SVC 확장 헤더에는 계층식별정보인 SVC 화질을 결정하는 3차원 요소에 대한 ID 정보(공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨) 및 우선순위 ID 정보(우선순위 레벨)가 담겨져 있다.
SVC 확장 헤더에서 알 수 있듯이 Dependency Scalability와 Spatial Scalability(Picture resolutions)는 최대 2^3 = 8종류, Temporal Scalability(frame rates)도 최대 2^3 = 8종류, SNR Scalability(quality levels)는 최대 2^4 = 16종류로 분류될 수 있으며, 이에 따라 원본 영상이 최대 8*8*16 = 1024개의 데이터 큐브(Data cube, Tier)로 편집될 수 있다. 그리고 Prority_id 필드에서 확인할 수 있듯이 2^6 = 64개의 우선순위를 줄 수 있다.
도 3은 기존 SVC 네트워크 시스템에서 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터가 네트워크에서 해당 가입자 영역으로 전달되는 흐름을 도시한다.
도 3을 참조하면, SVC 네트워크 시스템은 스케일러블 비디오 코딩된 영상 미디어 데이터를 네트워크 영역으로 송신하는 스케일러블 비디오 코딩(SVC) 네트워크 송신단(300), 코어/백본 전송 네트워크(Core/Backbone Transport network)를 통해 단말 특성에 맞게 조정된 영상 미디어 데이터 패킷을 수신하는 다수의 SVC 수신기(응용1SVC 수신기 내지 응용4SVC 수신기)(350)를 포함한다. SVC 네트워크 송신단(300)은 영상서비스를 제공할 네트워크 및 단말의 속성을 모든 하부의 가입자 네트워크에서 수집하여 하나의 원본 영상에서 3차원의 요소[Spatial Scalability(Picture resolutions), Temporal Scalability(frame rates), SNR Scalability(quality levels)] 특성을 달리하여 다른 용량(대역폭)을 가진 영상 데 이터를 생성하여 이를 필요로 하는 네트워크에 전달하게 된다.
SVC 네트워크 송신단(300)은 SVC 인코더(SVC encoder)(301), SVC 계층적응부(303), 패킷 송신부(305)를 포함한다. SVC 인코더(SVC encoder)(301)는 원본 영상을 스케일러블 비디오 코딩하고, 계층 적응부(303)는 해당 스케일러블 비디오 코딩된 영상 미디어 데이터가 서비스되는 해당 가입자 영역 네트워크의 영상서비스 단말의 영상 품질에 대하여 수집된 정보를 기준으로 영상 미디어 데이터를 NAL unit 단위로 계층화 분류를 설정하여 스케일러블 비디오 코딩 계층화를 수행한다. 패킷 송신부(305)는 영상 데이터를 IP/UDP/RTP(Real time transport protocol) 패킷 또는 다른 스트리밍 프로토콜(streaming protocol) 패킷에 포장(Packetization)하여 네트워크에 전송한다(플로우 b).
SVC 수신기(350)는 개별적으로 영상서비스 서버측인 SVC 네트워크 송신단(300)으로 영상품질에 대한 정보를 전송한다(플로우 a).
도 4는 본 발명의 일 실시예에 따른 스케일러블 비디오 코딩된 영상 미디어 데이터가 네트워크에서 해당 가입자 영역으로 전달되는 흐름을 도시한다.
도 4의 SVC 네트워크 시스템은 네트워크 송신단(400), 네트워크 장치(430) 및 다수의 SVC 수신기(응용1SVC 수신기 내지 응용4SVC 수신기)(450)를 포함한다.
네트워크 송신단(400)은 가입자 단말(또는 영상서비스 단말)이 속한 네트워크(가입자영역 네트워크)에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 최고 영상품질의 SVC 영상서비스를 전송한다. 네트워크 송신단(400)은 기본적으로 기존 기술에서 변화없이 사용이 가능하며, 최고 영상품질의 영상서비스를 전송(플로우 B)하거나, 각 가입자 단위로 해당 영상품질의 영상서비스를 전송(플로우 B')할 수 있다.
네트워크 송신단(400)은 SVC 인코더(SVC encoder)(401), 계층 적응부(403), 패킷 송신부(405)를 포함한다.
SVC 인코더(SVC encoder)(401)는 원본 영상을 스케일러블 비디오 코딩하고 계층화한다.
계층 적응부(403)는 영상 미디어 데이터를 NAL unit 단위로 계층화 분류를 설정하여 계층화된 스케일러블 비디오 코딩 영상데이터의 계층화 적응을 수행한다. 계층 적응부(403)는 스케일러블 비디오 코딩된 영상 미디어 데이터가 서비스되는 해당 가입자영역 네트워크 및 가입자 단말에 대하여 수집된 정보를 기준으로 최고 영상품질의 영상데이터로 SVC 적응을 수행한다. 계층 적응부(403)는 해당 네트워크 품질 및 단말의 영상 품질 속성을 스케일러블 비디오 코딩(SVC) 계층식별정보와 매핑한 매핑테이블(407)을 생성 및 관리하고, 해당 가입자 네트워크 장치(430)와 공유한다.
패킷 송신부(405)는 최고 영상품질의 영상 데이터를 IP/UDP/RTP(Real time transport protocol) 패킷 또는 다른 스트리밍 프로토콜(streaming protocol) 패킷에 포장(Packetization)하여 네트워크에 전송한다.
네트워크 장치(430)는 영상서비스 단말과 서버 측의 네트워크 송신단(400) 사이의 RTP(또는 다른 스트리밍 프로토콜)/RTCP 도메인을 직접 운영하고, 관리 도메인을 단계별로 분리하여 관리할 수 있다. 본 발명에 의한 네트워크 기반 스케일 러블 비디오 코딩 적응기를 실장한 해당 가입자 네트워크 장치(430)는 가입자 네트워크 단말의 영상 품질에 적합한 스케일러블 비디오 코딩된 영상 미디어 데이터의 적응에 따른 RTP(또는 다른 스트리밍 프로토콜)/RTCP 패킷의 적응을 제공하고, 해당 가입자 네트워크 내의 하나의 영상 서비스에 대한 멀티캐스팅/브로드캐스팅 및 여러 종류의 영상품질에 의한 여러 계층의 스케일러블 비디오 코딩된 영상 미디어 데이터 지원을 위한 새로운 RTP(또는 다른 스트리밍 프로토콜)/RTCP 도메인 생성도 지원한다.
본 발명에서는 관리 도메인을 단계별로 분리(관리도메인 C 및 관리도메인 S)하므로 개별적으로 서비스 단말이 영상서비스 서버 쪽으로 영상품질에 대한 정보를 보낼 필요가 없고, 해당 가입자 네트워크 장치(430)가 해당 네트워크 품질 및 단말의 영상 품질 속성 등을 일괄적으로 네트워크 송신단(400)으로 통보한다(플로우 A). 해당 가입자 네트워크 장치(430)는 네트워크 송신단(400)과 매핑테이블(407)을 공유하여 네트워크 흐름 기반 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 적응 장치를 실현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 계층화된 스케일러블 비디오 코딩(SVC) 영상정보와 NAL unit 헤더 내의 영상정보가 매핑된 매핑테이블을 나타낸다.
상기 매핑테이블은 NAL unit 헤더의 Dependency id(공간계층화 레벨), Temporal id(시간계층화 레벨), Scalability id(품질계층화 레벨)와 Priority id(우선순위 레벨)의 조합과 스케일러블 비디오 코딩(SVC)의 계층화가 매핑된 테이블로서, 스케일러블 비디오 코딩(SVC) 네트워크 송신단과 네트워크 장치의 네트워 크 기반 SVC 적응기가 공유한다. 특정 영상 서비스에 대하여 가입자 네트워크의 네트워크 품질 및 응용 단말의 영상품질에 맞게 계층이 결정되고, 계층화가 적용된 계층에 대해 NAL unit의 3차원 ID(Dependency id, Temporal id, Scalability id)가 테이블에 반영된다. 네트워크 기반 SVC 적응기에서 간단한 네트워크 적응을 위하여 Priority id를 매핑하여, NAL unit 헤더의 Priority id 필더를 통하여 계층화 정보를 알 수 있도록 한다. 계층화와 우선순위가 서로 매핑되었음을 나타내는 우선순위 mapping 필드에 1을 표시한다. 상기 매핑테이블의 리스트는 영상서비스 단위로 구성된다.
본 발명에 의한 네트워크 흐름 기반 스케일러블 비디오 코딩(SVC) 적응 장치를 탑재한 네트워크 장치에서는 상기 계층화된 스케일러블 비디오 코딩(SVC)의 계층화 정보를 테이블로 네트워크 송신단과 공유하고 있으므로, 해당 가입자 네트워크에 필요한 단말의 응용 스케일러블 비디오 코딩(SVC) 영상품질로 적응 작업을 직접 수행하게 되고 영상서비스 서버 영역의 네트워크 송신단과 연결된 상위 네트워크로부터는 최고 영상 품질로 계층화된 대역폭이 큰 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터 한 종류로도 필요한 영상품질을 얻을 수 있게 된다. 이는 네트워크의 복잡성과 관리의 어려움을 줄여 줌으로 해서 유지비용을 줄일 수 있다.
도 6은 본 발명의 일실시 예에 따른 네트워크 흐름 기반 스케일러블 비디오 코딩(SVC) 적응 장치의 내부 구성을 개략적으로 도시한 블록도이다.
이하에서는 영상데이터를 페이로드로 갖는 패킷을 스트리밍 패킷으로 칭하고 제어정보를 페이로드로 갖는 패킷을 영상정보 제어패킷으로 칭하며, 설명의 편의를 위해 RTP 패킷을 예로서 설명하겠으나, 본 발명은 이에 한정되지 않으며 다양한 스트리밍 패킷에 적용될 수 있음은 자명하다.
도 6을 참조하면, 본 발명의 SVC 적응 장치(600)는 스위치, 라우터, 가입자 접속 노드, 게이트웨이와 같은 네트워크 장치에 탑재되며, 패킷 프로세싱부(601), SVC 계층레벨 관리부(602), SVC 적응부(603), SVC 응용 패킷분석처리부(604)를 포함한다.
패킷 프로세싱부(601)는 인입부에 송신단으로부터 수신한 패킷을 스트리밍 패킷과 네트워크 정보를 포함하는 영상정보 제어패킷으로 분류하는 깊은 패킷 분석부(Deep Packet Inspection unit)(605)를 구비한다. 네트워크 장치로 들어오는 모든 패킷은 패킷 프로세싱부(601)의 깊은 패킷 분석부(605)를 거친다. 깊은 패킷 분석부(605)는 링크 계층(L2), 네트워크 계층(L3), 전달 계층(L4: UDP, TCP, 또는 다른 전달 네트워크 프로토콜(transport network protocol))과 RTP(또는 다른 스트리밍 프로토콜)/RTCP 및 스케일러블 비디오 코딩(SVC) 부하 등의 패킷 헤더 정보를 파악할 수 있다. 깊은 패킷 분석부(605)는 RTP(또는 다른 스트리밍 프로토콜)/RTCP 패킷과, 계층화된 스케일러블 비디오 코딩(SVC)과 NAL unit 헤더에 포함되는 영상데이터 계층식별정보를 매핑한 매핑테이블과 관련된 영상정보 제어패킷을 분류한다. 영상정보 제어패킷은 SVC 계층 레벨 관리부(602)로 전송되고, SVC 영상 페이로드를 담은 RTP/RTCP 패킷은 SVC 응용 패킷분석 처리부(604)로 전송되고, 나머지 패킷은 패킷 메모리에 저장되고, 스위칭, 라우팅 규칙 등에 의하여 패킷 프로세싱부(601)에서 처리된다. 패킷 프로세싱부(601)는 새로운 RTP 패킷을 SVC 응용 패킷 분석 처리부(604)로부터 수신하여 멀티캐스트 또는 브로드캐스트 방식으로 해당 가입자 단말로 전송한다.
SVC 계층레벨 관리부(602)는 영상정보 제어패킷으로부터 각 영상서비스에 대한 정보를 수집하여 매핑테이블을 네트워크 정보로서 생성 및 관리한다. 매핑테이블은 영상정보 제어패킷으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 추출하여 생성된다. 또한 SVC 계층레벨 관리부(602)는 관리도메인을 단계별로 분리 관리한다. 예를 들어, SVC 계층레벨 관리부(602)는 추가되는 가입자 단말로부터 영상서비스 요청을 수신한 경우, 영상서비스 요청을 처리하여 요청된 영상서비스가 기 수신한 영상서비스이면 별도의 영상서비스 요청을 네트워크 송신단에 전송하지 않고 추가되는 가입자 단말에 해당 영상품질의 영상서비스를 제공할 수 있도록 하고, 새로운 영상서비스의 요청이면 해당 영상서비스를 요청하는 새로운 요청메시지를 생성하여 네트워크 송신단에 전송할 수 있다. 요청메시지에 대한 응답으로 SVC 적응 장치가 수신한 새로운 영상서비스는 가입자 단말의 속성에 따라 해당 영상품질의 영상서비스로 적응하여 제공된다.
SVC 응용 패킷분석 처리부(604)는 스트리밍 패킷의 정보를 선별된 영상데이터를 포함하는 신규 스트리밍 패킷의 정보로 업데이트한다. SVC 응용 패킷분석 처리부(604)는 계층화된 스케일러블 비디오 코딩(SVC)된 영상 데이터를 페이로드(Payload)로 가진 RTP(또는 다른 스트리밍 프로토콜)와 관련 RTCP 패킷을 수신하여 처리한다. SVC 응용 패킷분석 처리부(604)는 패킷 기반 스케일러블 비디오 코딩(SVC) 적응부(603)에서 최고 영상 품질로 계층화된 대역폭이 큰 스케일러블 비디 오 코딩(SVC)을 해당 네트워킹 장치에서 관리하는 영상서비스 단말에 적합하게 스케일러블 비디오 코딩(SVC)으로 적응하여 최종적으로 해당 단말에 적합하게 보낼 수 있도록 하기 위하여 RTP(또는 다른 스트리밍 프로토콜), RTCP와 관련된 메타데이터(Metadata), 길이(length), 시퀀스(sequence), 타임스탬프(timestamp) 정보를 수정 및 업데이트한다.
패킷기반 SVC 적응부(603)는 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 수신한 최고 영상품질의 스트리밍 패킷에서 송신단과 공유하는 네트워크 정보를 기초로 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터 단위(예를 들어, NAL 유닛)를 선별한다. 패킷기반 SVC 적응부(603)는 스트리밍 패킷에서 상기 네트워크 정보로부터 획득한 가입자 단말의 영상품질에 대응하는 영상데이터 계층식별정보를 갖는 영상데이터를 선별한다. 패킷기반 SVC 적응부(603)는 SVC 계층레벨 관리부(602)의 매핑테이블을 근거로 하여 최고 영상 품질로 계층화된 대역폭이 큰 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터를 해당 가입자 네트워크에 적당한 스케일러블 비디오 코딩(SVC)들로 적응 작업을 수행한다. 적응 작업은 SVC 확장(extension) 헤더의 SVC 화질을 결정하는 3차원 요소에 대한 ID 정보와 Priority ID 정보를 기준으로 수행한다. 3차원 요소에 대한 ID 정보 및 Priority ID 정보는 영상데이터 계층식별정보로서 공간계층화 레벨, 시간계층화 레벨, 품질계층화 레벨 및 우선순위 레벨이다. 패킷기반 SVC 적응부(603)와 SVC 응용 패킷분석 처리부(604)의 동작 동안 패킷은 패킷 메모리에 저장된다.
도 7은 본 발명의 일 실시예에 따른 도 6의 패킷기반 SVC 적응부(603)에서의 패킷기반 스케일러블 비디오 코딩(SVC) 적응 과정을 도시한 흐름도이다.
임의의 해당 SVC 영상서비스 패킷 흐름이 존재하면(S701) 매핑테이블을 확인하여 하부 가입자 망 내의 필요 영상 품질을 확인한다(S702). 이때 하부 가입자망 내에 여러 개의 영상품질을 필요로 하는 이종의 단말이 존재하면 여러 종의 영상품질 서비스를 제공해야 한다. 그러므로 패킷 복사와 멀티캐스팅을 위한 분류 작업을 수행한다. 수신한 패킷은 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 전송된 최고 영상품질의 스트리밍 패킷이다.
송신단과 공유하는 네트워크 정보를 기초로 스트리밍 패킷에서 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터를 선별하게 된다. 또한 송신단으로부터 수신한 영상정보 제어패킷으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 제공하는 네트워크 정보를 추출하여 매핑테이블을 생성 및 관리한다. 영상데이터를 선별은 스트리밍 패킷에서 상기 네트워크 정보로부터 획득한 가입자 단말의 영상품질에 대응하는 영상데이터 계층식별정보를 갖는 영상데이터를 선별하여 수행된다. 네트워크 정보로부터 각 가입자 단말의 영상품질에 대응하는 우선순위를 확인하고, 스트리밍 패킷에서 확인된 우선순위 이상의 우선순위를 갖는 영상데이터를 선별한다. 스트리밍 패킷의 영상데이터에 우선순위가 매핑되어 있지 않은 경우, 상기 네트워크 정보 내의 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨의 조합을 갖는 영상데이터를 선별한다.
예를 들어, 확인 및 복사 등의 작업이 끝난 최고 영상 품질로 계층화된 대역폭이 큰 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터의 NAL unit들의 우선 순위 매핑이 '1'로 설정되어 있는지 여부를 판단한다(S703).
NAL unit들의 우선 순위 매핑이 '1'로 설정되어 있는 영상 흐름인 경우, NAL unit의 우선순위만 파악하여 필터링한다(S704). 우선순위가 높은 것은 Base Layer에 가까운 계층이다. NAL unit 헤더를 분석하여 단계 702에서 확인된 가입자 단말의 우선순위 이상인 우선순위를 갖는 NAL unit 만을 전송하고(S705), 부가적으로 영상 품질을 높이는 데 필요한 우선순위가 낮은 NAL unit은 필터링을 통해 폐기한다(S706). 해당 SVC 영상 서비스 패킷 흐름이 종료될 때까지 NAL unit 필터링을 계속적으로 수행한다(S707).
우선 순위 매핑이 '0'으로 설정되어 있는 영상 흐름인 경우, 수신 NAL Unit의 NAL unit 헤더를 분석하여 NAL Unit의 3차원 ID가 매핑테이블의 해당 응용 영상서비스 3차원 ID에 존재하는지를 파악한다(S708).
수신 NAL Unit의 3차원 ID가 매핑테이블의 해당 응용 영상서비스 3차원 ID에 존재하면 NAL unit을 전송하고(S709), 3차원 ID에 존재하지 않으면, 즉 부가적으로 영상 품질을 높이는 데 필요한 NAL unit은 필터링을 통해 폐기한다(S710). 해당 SVC 영상 서비스 패킷 흐름이 종료될 때까지 NAL unit 필터링을 계속적으로 수행한다(S711).
패킷기반 SVC 적응부(603)를 거친 계층화된 스케일러블 비디오 코딩(SVC)된 NAL unit은 가입자영역의 각 영상 단말에 적합한 영상 품질을 가진 NAL unit으로 분류 정리되며, SVC 응용 패킷분석처리부(604)에서 새로운 패킷화가 이루어지고, 해당 응용 영상서비스를 가입자 단말로 전달하기 위하여 변경된 패킷, RTP(또는 다른 스트리밍 프로토콜), RTCP와 관련된 Metadata, length, sequence, timestamp 정보를 수정 및 업데이트하여 패킷 프로세싱부(601)로 전달한다.
패킷 프로세싱부(601)의 출력단(607)에서 하나의 영상품질에 대한 사용 응용 단말의 수용 개수에 맞추어 네트워크 멀티캐스팅/브로드캐스팅 작업을 수행하여 원하는 가입자에 알맞은 영상품질의 영상서비스를 제공한다.
도 8은 본 발명의 일 실시예에 따른 네트워크 송신단에서 하위네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 계층적으로 전송하는 방법을 개략적으로 설명하는 흐름도이다.
네트워크 송신단은 가입자영역 네트워크의 대역폭 등 품질정보를 수신하여 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보를 매핑한 매핑테이블을 생성하고 가입자 단말이 속한 네트워크의 정보 변경요청(추가적인 화질, 대역폭 변경 등)에 의해 매핑테이블을 업데이트한다(S801). 매핑테이블 정보는 네트워크 장치의 SVC 코딩 적응 수단과 공유되기 위해 별도의 제어신호로서 영상정보 제어패킷을 생성하고(S803), 네트워크 장치로 전송한다(S809).
네트워크 송신단은 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 원본영상을 SVC 코딩하고, 영상데이터를 계층화한다(S805). 매핑테이블을 기초로 최고 영상품질의 스트리밍 패킷을 생성하고(S807), 네트워크 장치로 전송한다(S809).
다른 실시예에서, 본 발명은 본 발명을 실시하기 위한 컴퓨터 소프트웨어 명령으로 프로그램된 프로세서/컨트롤러 대신 또는 그 결합에 의한 하드웨어가 사용될 수 있다. 따라서 본 발명은 하드웨어 및 소프트웨어의 특정 결합에 제한되지 않는다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a 및 도 1b는 스케일러블 비디오 코딩에 의한 영상 데이터가 계층화된 것을 도시한다.
도 2는 RTP 패킷의 페이로드(Payload)에 스케일러블 비디오 코딩된 영상 데이터를 실어 나르기 위한 스케일러블 비디오 코딩(SVC) NAL Unit의 헤더를 나타낸 것이다.
도 3은 기존 SVC 네트워크 시스템에서 스케일러블 비디오 코딩(SVC)된 영상 미디어 데이터가 네트워크에서 해당 가입자 영역으로 전달되는 흐름을 도시한다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 비디오 코딩된 영상 미디어 데이터가 네트워크에서 해당 가입자 영역으로 전달되는 흐름을 도시한다.
도 5는 본 발명의 일 실시예에 따른 계층화된 스케일러블 비디오 코딩(SVC) 영상정보와 NAL unit 헤더 내의 영상정보가 매핑된 매핑테이블을 나타낸다.
도 6은 본 발명의 일실시 예에 따른 네트워크 흐름 기반 스케일러블 비디오 코딩(SVC) 적응 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 도 6의 패킷기반 SVC 적응부(603)에서의 패킷기반 스케일러블 비디오 코딩(SVC) 적응 과정을 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 네트워크 송신단에서 하위네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 계층적으로 전송하는 방법을 개략적으로 설명하는 흐름도이다.

Claims (18)

  1. 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 수신한 최고 영상품질의 스트리밍 패킷에서 상기 송신단과 공유하는 가입자 네트워크 정보를 기초로 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터를 선별하는 SVC적응부; 및
    상기 스트리밍 패킷의 정보를 상기 선별된 영상데이터를 포함하는 신규 스트리밍 패킷의 정보로 업데이트하는 패킷분석처리부;를 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  2. 제1항에 있어서,
    상기 송신단으로부터 수신한 패킷을 상기 스트리밍 패킷과 상기 네트워크 정보를 포함하는 영상정보 제어패킷으로 분류하는 패킷프로세싱부; 및
    상기 영상정보 제어패킷으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 추출하여 상기 네트워크 정보로서 생성하여 관리하는 SVC계층레벨관리부;를 더 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  3. 제1항에 있어서, 상기 SVC적응부는
    상기 스트리밍 패킷에서 상기 네트워크 정보로부터 획득한 가입자 단말의 영 상품질에 대응하는 영상데이터 계층식별정보를 갖는 영상데이터 유닛을 선별하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  4. 제3항에 있어서,
    상기 영상데이터 계층식별정보는 우선순위 레벨, 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨을 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  5. 제1항에 있어서,
    상기 스케일러블 비디오 코딩 적응 장치는 SVC 영상서비스를 제공하는 네트워크에서 특정 용도 또는 영역의 하위네트워크로 상기 SVC 영상서비스 전달을 지원하는 네트워크 장치에 실장되는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  6. 제1항에 있어서,
    네트워크 품질 및 각 가입자 단말의 영상품질 속성을 상기 송신단으로 전송하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치.
  7. 하나 이상의 가입자 단말이 속한 네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 전송하는 장치에 있어 서,
    상기 네트워크 장치와 공유할 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 포함하는 영상정보 제어패킷을 생성하고, SVC 영상데이터로 코딩된 원본영상으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보가 반영되어 계층화된 최고 영상품질의 스트리밍 패킷을 생성하는 계층적응부;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스의 계층적 전송 장치.
  8. 제7항에 있어서,
    상기 계층식별정보는 우선순위 레벨, 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨을 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스의 계층적 전송 장치.
  9. 제7항에 있어서, 상기 계층적응부는,
    상기 네트워크 장치로부터 네트워크 품질 및 각 가입자 단말의 영상품질 속성을 수신하여 상기 매핑 관계를 업데이트하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스의 계층적 전송 장치.
  10. 하나 이상의 가입자 단말이 속한 네트워크에 특정 영상서비스를 제공하기 위해 송신단으로부터 최고 영상품질의 스트리밍 패킷을 수신하는 단계;
    상기 송신단과 공유하는 네트워크 정보를 기초로 상기 스트리밍 패킷에서 각 가입자 단말의 영상품질 속성에 따라 계층화된 스케일러블 비디오 코딩(SVC) 영상데이터를 선별하는 단계; 및
    상기 스트리밍 패킷의 정보를 상기 선별된 영상데이터를 포함하는 신규 스트리밍 패킷의 정보로 업데이트하는 단계;를 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  11. 제10항에 있어서,
    상기 송신단으로부터 수신한 영상정보 제어패킷으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 제공하는 상기 네트워크 정보를 추출하여 관리하는 단계;를 더 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  12. 제10항에 있어서, 상기 데이터 선별 단계는,
    상기 스트리밍 패킷에서 상기 네트워크 정보로부터 획득한 가입자 단말의 영상품질에 대응하는 영상데이터 계층식별정보를 갖는 영상데이터 유닛을 선별하는 단계;를 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  13. 제12항에 있어서,
    상기 영상데이터 계층식별정보는 우선순위 레벨, 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨을 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  14. 제10항에 있어서, 상기 데이터 선별 단계는,
    상기 네트워크 정보로부터 각 가입자 단말의 영상품질에 대응하는 우선순위를 확인하는 단계; 및
    상기 스트리밍 패킷에서 상기 확인된 우선순위 이상의 우선순위를 갖는 영상데이터를 선별하는 단계;를 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  15. 제14항에 있어서,
    상기 스트리밍 패킷의 영상데이터에 우선순위가 매핑되어 있지 않은 경우, 상기 네트워크 정보 내의 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨의 조합을 갖는 영상데이터를 선별하는 단계;를 더 포함하는 것을 특징으로 하는 네트워크 흐름기반 스케일러블 비디오 코딩 적응 방법.
  16. SVC 영상서비스 전송 장치가 하나 이상의 가입자 단말이 속한 네트워크에 스케일러블 비디오 코딩(SVC) 영상서비스를 전달하는 네트워크 장치로 SVC 영상서비스를 전송하는 방법에 있어서,
    상기 네트워크 장치와 공유할 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보의 매핑 관계를 포함하는 영상정보 제어패킷을 생성하는 단계; 및
    SVC 영상데이터로 코딩된 원본영상으로부터 가입자 단말의 영상품질 속성과 영상데이터 계층식별정보가 반영되어 계층화된 최고 영상품질의 스트리밍 패킷을 생성하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스 전송 방법.
  17. 제16항에 있어서,
    상기 계층식별정보는 우선순위 레벨, 공간계층화 레벨, 시간계층화 레벨 및 품질계층화 레벨을 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스 전송 방법.
  18. 제16항에 있어서,
    상기 네트워크 장치로부터 네트워크 품질 및 각 가입자 단말의 영상품질 속성을 수신하여 상기 매핑 관계를 업데이트하는 단계;를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 코딩 영상서비스 전송 방법.
KR1020080107971A 2008-10-31 2008-10-31 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법 KR100970388B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080107971A KR100970388B1 (ko) 2008-10-31 2008-10-31 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
US12/561,144 US20100111165A1 (en) 2008-10-31 2009-09-16 Network flow-based scalable video coding adaptation device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080107971A KR100970388B1 (ko) 2008-10-31 2008-10-31 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100048696A true KR20100048696A (ko) 2010-05-11
KR100970388B1 KR100970388B1 (ko) 2010-07-15

Family

ID=42131364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080107971A KR100970388B1 (ko) 2008-10-31 2008-10-31 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20100111165A1 (ko)
KR (1) KR100970388B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2017069450A1 (ko) * 2015-10-21 2017-04-27 경희대학교 산학협력단 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135488A1 (en) * 2008-12-01 2010-06-03 Electronics And Telecommunications Research Institute Svc encryption apparatus and method and contents providing system and method
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
KR101278351B1 (ko) * 2009-12-15 2013-07-05 한국전자통신연구원 Ｄｐｉ 기능을 이용한 끊김 없는 맞춤형 서비스 제공 시스템 및 방법
US10530574B2 (en) 2010-03-25 2020-01-07 Massachusetts Institute Of Technology Secure network coding for multi-description wireless transmission
US8571214B2 (en) 2010-03-25 2013-10-29 Massachusetts Institute Of Technology Secure network coding for multi-resolution wireless video streaming
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
CN102469072A (zh) 2010-11-08 2012-05-23 华为技术有限公司 流媒体服务方法、系统及客户端
US9294113B2 (en) 2011-07-05 2016-03-22 Massachusetts Institute Of Technology Energy-efficient time-stampless adaptive nonuniform sampling
US9544126B2 (en) 2011-10-31 2017-01-10 Massachusetts Institute Of Technology Joint use of multi-packet reception and network coding for performance improvement
US9001701B1 (en) * 2011-11-03 2015-04-07 Cisco Technology, Inc. Priority assignment and signaling of scalable video in a switch based system
WO2013067488A1 (en) 2011-11-05 2013-05-10 Massachusetts Institute Of Technology Method and apparatus for efficient transmission of information to multiple nodes
US8780693B2 (en) 2011-11-08 2014-07-15 Massachusetts Institute Of Technology Coding approach for a robust and flexible communication protocol
US9537759B2 (en) 2012-01-31 2017-01-03 Massachusetts Institute Of Technology Multi-path data transfer using network coding
US9160687B2 (en) 2012-02-15 2015-10-13 Massachusetts Institute Of Technology Method and apparatus for performing finite memory network coding in an arbitrary network
TWI504245B (zh) * 2012-03-19 2015-10-11 Univ Nat Pingtung Sci & Tech 視訊傳輸控制方法
US20130339482A1 (en) * 2012-06-15 2013-12-19 Samsung Electronics Co., Ltd Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system
US9369255B2 (en) 2012-10-18 2016-06-14 Massachusetts Institute Of Technology Method and apparatus for reducing feedback and enhancing message dissemination efficiency in a multicast network
US9313093B2 (en) * 2012-11-14 2016-04-12 Ciena Corporation Ethernet fault management systems and methods
US9369541B2 (en) 2013-03-14 2016-06-14 Massachusetts Institute Of Technology Method and apparatus for implementing distributed content caching in a content delivery network
WO2014160194A2 (en) 2013-03-14 2014-10-02 Massachusetts Institute Of Technology Method and apparatus for secure communication
US9607003B2 (en) 2013-03-14 2017-03-28 Massachusetts Institute Of Technology Network coded storage with multi-resolution codes
US9019643B2 (en) 2013-03-15 2015-04-28 Massachusetts Institute Of Technology Method and apparatus to reduce access time in a data storage device using coded seeking
US9185529B2 (en) 2013-03-15 2015-11-10 Massachusetts Institute Of Technology Wireless reliability architecture and methods using network coding
US9723305B2 (en) * 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US9794131B2 (en) * 2014-04-30 2017-10-17 The Boeing Company File, command, and airplane data transfer tool
CN106303611B (zh) * 2015-06-02 2020-09-08 中兴通讯股份有限公司 一种实现片源推送的方法及系统
CN105635765A (zh) * 2015-12-28 2016-06-01 惠州市伟乐科技股份有限公司 一种自适应环境的编码器及编码方法
US11424861B2 (en) 2017-03-29 2022-08-23 Massachusetts Institute Of Technology System and technique for sliding window network coding-based packet generation
KR102495915B1 (ko) 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
WO2019222472A1 (en) 2018-05-16 2019-11-21 Code On Network Coding, Llc Multipath coding apparatus and related techniques
US10885186B2 (en) * 2018-11-13 2021-01-05 Forcepoint, LLC System and method for operating a protected endpoint device
CN114070777B (zh) * 2020-07-29 2023-07-04 中国电信股份有限公司 组播树构建方法、组播数据传输方法、控制器及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100486713B1 (ko) * 2002-09-17 2005-05-03 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
JP2009510966A (ja) * 2005-10-07 2009-03-12 韓國電子通信研究院 スケーラブルビデオコーディング技術が適用されたビットストリーム適応変換装置及び方法
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 ｓｖｃ 파일포맷에서의 비디오데이터 공유방법
WO2007112384A2 (en) * 2006-03-27 2007-10-04 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
FR2899758A1 (fr) * 2006-04-07 2007-10-12 France Telecom Procede et dispositif de codage de donnees en un flux scalable
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8170094B2 (en) * 2006-11-30 2012-05-01 Motorola Mobility, Inc. Method and system for scalable bitstream extraction
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9794582B2 (en) 2012-06-12 2017-10-17 Lg Electronics Inc. Image decoding method and apparatus using same
US10448039B2 (en) 2012-06-12 2019-10-15 Lg Electronics Inc. Image decoding method and apparatus using same
US10469861B2 (en) 2012-06-12 2019-11-05 Lg Electronics Inc. Image decoding method and apparatus using same
US10863187B2 (en) 2012-06-12 2020-12-08 Lg Electronics Inc. Image decoding method and apparatus using same
US11546622B2 (en) 2012-06-12 2023-01-03 Lg Electronics Inc. Image decoding method and apparatus using same
WO2017069450A1 (ko) * 2015-10-21 2017-04-27 경희대학교 산학협력단 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Also Published As

Publication number Publication date
KR100970388B1 (ko) 2010-07-15
US20100111165A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
KR100970388B1 (ko) 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
US10728591B2 (en) Method of configuring and transmitting an MMT transport packet
KR101757771B1 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US10498492B2 (en) Method and device for receiving and transmitting information in multimedia system
US10499094B2 (en) Transmission apparatus, transmitting method, reception apparatus, and receiving method
AU2012321424A1 (en) Apparatus and method for transmitting multimedia data in hybrid network
KR102107514B1 (ko) 방송 시스템에서 동적 큐 관리 방법 및 장치
US20100162337A1 (en) Apparatus and method for processing video service flow using dual scheduler for headend cable modem in hfc network
US7596138B2 (en) Method of sending a multipoint stream in a local area network and connection device implementing the method
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
US20190058747A1 (en) Edge node control
Li et al. Qualitative Communication for Emerging Network Applications with New IP
KR20120083992A (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN111417013B (zh) 多媒体传输系统中发送和接收数据相关信息的方法和装置
Oche et al. Quality of service management for IPTV services support in VANETs: a performance evaluation study
Sutinen et al. Towards ubiquitous video services through scalable video coding and cross-layer optimization
KR101405455B1 (ko) 서브 플로우를 기반으로 네트워크를 관리하기 위한 장치
US20220021920A1 (en) Communication entity and a method for transmitting a video data stream
CN109040199A (zh) 一种分发资源数据的方法、系统及存储介质
KR100978355B1 (ko) 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
JP2006303980A (ja) 多地点配信システムおよび方法
KR101491918B1 (ko) 콘텐츠 중심 네트워크의 혼잡 제어 방법 및 장치
Ahmed et al. Delivering of MPEG-4 multimedia content over next generation Internet
US20060087970A1 (en) Method for encoding a multimedia content
Li Scalable and adaptive video multicast over the internet

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee