KR20040079975A - 가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를스트리밍하는 방법 - Google Patents

가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를스트리밍하는 방법 Download PDF

Info

Publication number
KR20040079975A
KR20040079975A KR10-2004-7011891A KR20047011891A KR20040079975A KR 20040079975 A KR20040079975 A KR 20040079975A KR 20047011891 A KR20047011891 A KR 20047011891A KR 20040079975 A KR20040079975 A KR 20040079975A
Authority
KR
South Korea
Prior art keywords
streams
stream
encoded
group
parameter values
Prior art date
Application number
KR10-2004-7011891A
Other languages
English (en)
Other versions
KR100989222B1 (ko
Inventor
필립프 젠트릭
이브스 라맨진
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040079975A publication Critical patent/KR20040079975A/ko
Application granted granted Critical
Publication of KR100989222B1 publication Critical patent/KR100989222B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를 스트리밍하는 방법은, 멀티미디어 소스로부터 입력되는 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 포함하는 스트림 요소들로 형성된 인코딩된 스트림들의 집합(set)을 공급하는 단계을 포함한다. 인코딩된 스트림들은, 클라이언트 디코더가 특정 디코딩 파라미터 값들에 관해 스트림 요소들을 디코딩하도록 클라이언트 어플리케이션 디코더에 전송될 특정 디코딩 파라미터 값에 대응하는 다양한 사전결정된 비트율을 갖는다. 상기 인코딩 단계은, 스트림들의 적어도 하나의 그룹내에서 스트림 요소들을 디코딩하기 위해 디코더가 동일한 디코딩 파라미터 값들을 사용하도록, 디코딩 파라미터들의 적어도 일부에 대해 공통값들을 결정하는 예비 단계과, 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 만드는 단계을 포함한다.

Description

가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를 스트리밍하는 방법{STREAMING MULTIMEDEA DATA OVER A NETWORK HAVING VARIABLE BANDWIDTH}
GPRS(General Packet Radio System) 또는 UMTS(Universal Mobile Telephony System)와 같은 이동 네트워크들(mobile network)과 인터넷은 일반적으로 보증된 서비스 품질을 제공하지 않는다. 유효 순간 대역폭은 예컨대, 정체 현상(congestion), 전송 에러들, 또는 자원 공유(resource sharing)때문에 시간에 따라 변화한다. 상기 네트워크들상의 멀티미디어 스트리밍의 프레임워크(framework)에 있어서, 한편으론 데이터의 손실을 최소화하고 다른 한편으론 클라이언트에 의해 수신된 콘텐츠의 품질을 최대화하기 위해서, 서버들은 상기 변화들에 대한 적응 메커니즘들(adaptation mechanism)을 제공해야 한다. 상기 문제에 관한 고전적인 해결 방법은 "스트림 스위칭(Stream Switching)"으로 공지되어 있다. 동일한 콘텐츠는 몇 개의 비트율들에서 몇 개의 스트림들로 미디어 인코더에 의해 인코딩된다. 현재 이용 가능한 대역폭에 관하여, 이용 가능한 대역폭에 관한 적합한 비트율을 갖는 적합한 스트림은 미디어 서버를 통해 클라이언트에게 전송되도록 선택되고, 이것은 송신될 상기 적합한 스트림을 선택하기 위해 대응하는 스트림 스위칭을 동작시킨다.
본 발명은 멀티미디어 전송들에 관한 것이다. 특히, 가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를 스트리밍하는 방법에 관한 것으로서, 멀티미디어 소스로부터 입력되는 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 포함하는 스트림 요소들로 형성되는 인코딩된 스트림들의 집합(set)을 공급하는 단계를 포함하며, 상기 인코딩된 스트림들은, 클라이언트 디코더(client decoder)가 그들의 특정 디코딩 파라미터 값들에 관해 스트림 요소들을 디코딩할 수 있게 하는 클라이언트 어플리케이션 디코더(client application decoder)에 서버를 통해 전송될 특정 디코딩 파라미터 값들과 연관된 다양한 사전결정된 비트율들을 갖는다.
본 발명은 또한, 인코더, 서버, 및 상기 인코더와 서버를 포함하는 전송기(transmitter)에 관한 것이다.
본 발명은 또한, 전술된 방법을 실행하는 컴퓨터 프로그램 제품, 및 상기 컴퓨터 프로그램을 실행하는 신호에 관한 것이다.
본 발명은 유효 순간 대역폭(effective instantaneous bandwidth)이 시간에 따라 변하는 네트워크들상의 멀티미디어 스트리밍 시스템들에 적용한다. 특히,MPEG-4 음성 및 영상(Moving Picture Expert Group-4) 표준들을 사용하여 이동 전화 시스템들상의 영상 전송들에 적용한다.
도 1은 본 발명에 따른 서버 및 디코더를 포함하는 전송기 및 시스템을 도시하는 블록도.
도 2는 본 발명에 따른 미디어 서버내에서 스트림 스위칭의 메커니즘을 개략적으로 도시하는 도면.
도 3은 본 발명에 따른 인코딩 방법을 도시하는 다이어그램.
도 4는 본 발명의 제 1의 실시예에 따른 인코딩 방법의 예를 도시하는 다이어그램.
도 5는 본 발명의 양호한 실시예에 따른 인코딩 방법에 의해 생성된 영상 스트림의 예를 개략적으로 도시하는 도면.
본 발명의 목적은 멀티미디어 스트리밍의 프레임 워크에서 인코팅 방법을 제공하는 것으로서, 단말 사용자(end user)를 위해 보다 나은 서비스 품질을 공급하고자 하는 것이다.
본 발명의 이하의 특징들을 고려한다. 미디어 인코더들은 미디어 서버를 통해 클라이언트 어플리케이션에 공급될 사전결정된 비트율들을 갖는 스트림들을 인코딩한다. 상기 인코더는 콘텐츠와 스트림들의 목표된 비트율들에 관해 선택된 인코딩 정보를 사용한다. 상기 정보는, 클라이언트 어플리케이션 디코더에 의해 전송 시스템의 또다른 단부에서 수신된 콘텐츠의 품질을 최적화하도록 선택된다. 그들의 콘텐츠와 비트율들에 관한 인코딩된 스트림들을 정확하게 디코딩할 수 있기 위해서, 상기 정보는 정확하게 구성된 클라이언트 어플리케이션 디코더에 전달되어야 한다. 따라서, 각각의 스트림은 그 자신의 디코더 구성을 갖는다. 따라서, 예컨대, 공급된 스트림의 비트율을 네트워크의 이용 가능한 대역폭에 적합하게 하기 위한 경우와 같이 서버가 하나의 스트림에서 다른 스트림으로 스위칭되는 경우에, 신규 공급 스트림에 대응하는 신규 디코더 구성은 클라이언트 디코더에 전송되어야 한다. 상기 디코더는 그 후 신규 디코더 구성으로 재초기화(re-initialize)된다. 그러므로 상기 스트림 스위칭은, 클라이언트에 대해 한결같지 않고 단말 사용자의 시점에서 서비스 품질에 악영향을 미칠수 있다.
상기 단점을 해결하기 위해, 본 발명은 도입부에서 언급된 바와 같은 방법을 제안하는 것으로서, 인코딩 단계는, 인코딩된 스트림들의 집합 내에서 스트림들의 적어도 한 그룹에 대해 적합한 디코딩 파라미터들의 적어도 일부에 대한 공통 값들을 결정하여 디코더가 상기 스트림들의 그룹내의 모든 스트림들로부터 모든 스트림 요소들을 디코딩하는 동일한 디코딩 파라미터 값을 사용할 수 있는 예비 단계, 및 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 설정하는 단계를 포함한다.
본 발명에 따르면, 그룹을 형성하고 동일한 멀티미디어 콘텐츠에 대응하는 몇 개의 스트림들은, 그룹내의 모든 스트림들이 동일한 디코더 구성에 대응하도록 몇 개의 비트율들로 인코딩된다. 상기는 디코더가 그것의 디코딩 파라미터들을 재초기화하지 않고, 하나의 스트림에서 그룹내의 또다른 스트림으로 스위칭할 수 있게 한다.
본 발명을 유리하게 실현하도록 선택적으로 사용될 수 있는 본 발명 및 부가적인 특징들이, 이하 기술되는 도면을 참조하여 분명해지고 명료해질 것이다.
이하의 설명들은 참조 부호들에 관한 것이다. 동일 구성요소들은 모든 도면들에서 동일 참조 문자들로 표시된다.
도 1은 본 발명에 따른 멀티미디어 스트리밍 시스템의 기본 특성을 도시한다. 시스템은 멀티미디어 소스(1), 전송기(2), 이동 무선 통신 네트워크 또는 인터넷 등의 네트워크(3), 및 수신기(4)를 포함한다. 전송기는 미디어 인코더(12) 및 미디어 서버(13)를 포함한다. 미디어 인코더(12)는 멀티미디어 소스(1)로부터 멀티미디어 데이터를 수신하고 상기 멀티미디어 데이터를 포함하는 연속적인 스트림 요소들로 형성된 S1, S2, S3로 표시된 인코딩된 스트림들의 집합을 생성한다. 주어진 멀티미디어 소스에 대해, 집합{S1, S2, S3}내의 모든 생성된 인코딩된 스트림들은 동일한 멀티미디어 콘텐츠를 포함하지만 각각 R1, R2, R3로 표시된 상이한 사전결정된 비트율들을 갖는다. 비트율들은, 시스템이 수신기의 클라이언트 어플리케이션에게, 한편으로는 특정한 이용 가능한 대역폭을 요구하며 전송된 각각의 콘텐츠(음성, 정지 이미지들, 영상 등)의 본질에 관해, 한편으로는 클라이언트 어플리케이션의 사용자(단말 사용자)에 의해 요구된 서비스의 품질에 관해, 선택된 여러 서비스 품질을 공급하도록 사전결정된다. 다양한 이용 가능한 비트율들은 또한, 시스템이 이용 가능한 대역폭의 변화들에 대처할 수 있게 하는데 유용하고, 상기는 종종 전송된 스트림들의 비트율의 감소를 야기한다. 사실, 네트워크의 유효 이용 가능한 대역폭은 몇 개의 파라미터들에 관해, 시간에 따라 변화할 수도 있다. 상기 파라미터들은 현재 이용가능한 대역폭에 상당한 영향을 미칠 수 있는 현재 트래픽(current traffic) 및 무선 전송 조건들을 포함한다. 상기 현재 이용 가능한 대역폭 및 요구된 서비스 품질에 대해, 적합한 스트림이 미디어 서버(13)를 통해 스트림 스위칭 수단(14)에 의해 수신기(4)에 공급될 것이다.
도 1은 인코딩될 미디어가 파일내에 포함되고 인코딩된 비트 스트림들이 파일내에 저장되는 파일들을 이용하는 시스템을 도시한다. 그럼에도 불구하고, 멀티미디어 소스(1)는 라이브 소스(live source)(예컨대, 카메라)일 수 있고, 미디어 서버(13)는 인코더(12)의 출력들 중의 하나를 직접 브로드캐스트(broadcast)할 수 있다는 원리는 또한, 실시간 콘텍스트(context)에서 유효하다.
도 2는 S1, S2로 표시된 2개의 상이한 인코딩된 스트림들로부터 도 1의 인코더(12)에 의해 생성된 HS로 표시된 하이브리드 인코딩된 스트림(hybrid encoded stream)을 도시한다. 본 발명에 따르면, 하이브리드 스트림(HS)은 스트림 스위칭 수단(14)을 사용하여 제조된다. 각각 인코딩된 스트림(S1, S2)은 특정 인코딩 파라미터들을 사용하여 인코딩되고, 상기 특정 인코딩 파라미터들은 비트율을 포함하는 몇 개의 요소들에 관해 선택되고 특정 디코딩 파라미터 값들에 대응한다. 따라서, 선택된 인코딩 파라미터 값들로부터 유래하는 디코딩 파라미터 값들은, 수신기(reciver)가 수신된 스트림들의 콘텐츠를 적합하게 디코딩할 수 있게 하도록 수신기에 전송되어야 한다. 인코딩된 스트림들은 액세스 유닛들(access units)(AU)이라불리는 스트림 요소들로 형성되는데, 전송된 스트림들내의 액세스 유닛들의 위치를 표시하는 타임 스탬프(time stamp)와 연관된다. 본 발명에 따르면, 수신기의 디코더가 그룹의 모든 스트림들에 대해 동일한 방법으로 초기화되도록, 공통 디코딩 파라미터들은 인코딩된 스트림들의 집합 중에서 선택된 스트림들의 그룹내의 모든 인코딩된 스트림들에 할당된다. 따라서, 서버가 스트림(S1)에서 스트림들의 동일한 그룹내의 또다른 스트림(S2)으로 스위칭할 때마다, 디코더는 재구성될 필요가 없다. 상기 스위칭 메커니즘은 따라서 단순화되고, 디코더의 파라미터들의 몇 개의 재구성을 방지한다. 상기 결과인 하이브리드 스트림(HS)은 스트림(S1) 및 스트림(S2) 양자로부터 스트림 요소들 또는 액세스 유닛들로 구성된다. 따라서, 비트율은 S1의 비트율로부터 S2의 비트율로 변한다. 모든 스트림 요소들의 디코딩 파라미터들은 동일하기 때문에, 스트림 스위칭은 디코더의 구성에 영향을 끼치지 않는다.
멀티미디어 소스(1)의 특징들(예컨대, 영상의 경우의 사이즈 및 프레임) 및 사용자 셋팅들(단말 사용자에 공급될 스트림의 요구된 비트율)로부터, 인코더(12)는 상이한 사전결정된 비트율들을 갖고 스트림들의 그룹을 형성하는 몇 개의 스트림들에 적합한 공통 디코더 구성(디코딩 파라미터들)을 결정한다. 그 후, 인코더는 공통의 사전결정된 디코더 구성을 사용하여 목표되는 비트율로 각각의 스트림을 인코딩한다.
도 3은 도 2의 하이브리드 스트림(HS)이 생성되도록, 본 발명에 따른 인코딩 방법으로 스트림들을 스위칭하는 알고리즘을 도시한다. 상기 알고리즘은 이하의 단계들을 포함한다:
- K0 : 클라이언트의 요구의 수신(RX)
- K1 : 현재 전송된 스트림(S=Sc) 및 인덱스(t)가 제로인 위치(t=0)를 갖는 스트림 스위칭 수단의 초기화
- K2 : 현재 스트림(dec_par Sc)에 관한 디코더의 구성의 전송
- K3 : 현재의 스트림의 다음 액세스 유닛(next_AU(Sc,t))의 전송
- K4 : 변수(t(t++))의 증분(incrementation)
- K5 : 현재의 대역폭 조건들(?)에 관해 다른 스트림으로 스위칭할 필요가 있는가의 확인, 만일 답이 Yes라며 K6으로 가고, No라면 K3으로 되돌아가기
- K6 : 신규의 대역폭 조건들에 따르는 신규 스트림(Sn?)의 결정
- K7 : 현재 스트림을 신규 스트림(S=Sn)으로 업데이트하고 K3으로 되돌아 가기
도 4는 MPEG-4 영상 전송 시스템에 적합한 본 발명의 특정 실시예에서 인코딩하는 방법의 예를 도시한다. 본 실시예는 권고(recommendation) ISO/IEC 14496-2:2001에 따라 영상 콘텐츠의 데이터가 MPEG-4 포맷으로 코딩되는 영상 콘텐츠의 전송에 관한 것이다.
MPEG-4 영상 스트림은 VOPs로 표시된 영상 이미지들에 대한 VOPs(Video Object Planes standing)을 포함하는 연속적인 액세스 유닛들이다. I 또는 I-VOP으로 표시되는 인트라(Intra), P 또는 P-VOP으로 표시되는 프레딕티브(Predictive), 및 B 또는 B-VOP로 표시되는 바이디렉셔널(Bi-directional)인 3종류의 VOPs가 있다. I-VOP는 자체에 포함된 프레임이다. 상기는 I-VOP의 모든 인코딩 요소들이 현재 I-VOP 프레임에 포함되어 있다는 것을 의미한다. P-VOP는 이전 프레임으로부터의 정보를 사용하여 인코딩된다. P-VOP의 디코딩은 표시 순서대로 스트림의 이전 VOP로부터의 정보를 요구한다. 단지 둘다 전방 및 후방 방향이라는 점에서는 B-VOP는 P-VOP와 유사하다. B-VOP은 표시 순서대로 이전 및 다음의 프레임 또는 플레인(plane)으로부터의 정보를 사용하여 코딩 및 디코딩된다. VOP의 각각의 종류는 다른 것들 중에서 비트율에 영향을 미치는 특정 코딩 및 디코딩 성질들을 갖는다. 따라서 그것들은, VOL로 표시된 영상 오브젝트 레이어 해더(Video Object Layer header)라 불리는 사전결정된 액세스 유닛내의 신규 영상 스트림의 시작시에 전송되는 특정 디코딩 파라미터들을 갖는다.
디코딩 파라미터들은 "low_delay" 파라미터 및 "time_increment_resolution" 파라미터를 포함한다. 상기 "low_delay" 파라미터는 스트림에서 B-VOPs의 사용을 나타낸다. 상기 "time_increment_resolution" 파라미터는 전송된 액세스 유닛들의 모든 타임 스탬프들을 고려하여 스트림에 적합한 시간 척도(time scale)를 나타낸다. 본 발명에 따르면, 사용자 셋팅들을 포함하는 각각의 스트림에 할당된 사전결정된 인코딩 파라미터들을 알고 있는 인코더는, 공통 디코딩 파라미터들을 포함할 수 있는 스트림들의 그룹을 선택하고 상기 공통 파라미터들의 값들을 결정한다. 도 4에 도시된 예에 있어서, 공통값들이 할당되는 상기 공통 파라미터들은 "low_delay" 파라미터 및 "time_increment_resolution" 파라미터이다. 상기 인코더는 선택된 그룹내에서 모든 스트림들에 적합한 공통의 시간 척도를 결정하고 B-VOP들이 상기 그룹에서 사용될 수 있는가를 결정한다.
예컨대, 인코더는 그룹의 가장 작은 시간 척도를 사용하여 모든 스트림들을 인코딩하고, 공통 디코딩 파라미터들을 갖는 스트림들의 사전결정된 그룹 내에서 적어도 하나의 스트림이 그들을 사용한다면 B-VOPs가 사용된다는 것을 나타내기 위해 "low_delay" 파라미터 값을 최대로 설정한다. 본 발명에 따르면, 스트림들의 디코딩 파라미터들은 모든 이용 가능한 스트림들 중에서 적어도 몇 개의 스트림들에 대해 유효하도록 제어되어, 전송 체인(chain)의 또다른 단부에서 디코더가 수신된 스트림들을 디코딩할 수 있는 구성을 종종 변경하여야 하는 것을 방지한다.
상기 장점은 단말 사용자가 비트율 변화들을 너무 많이 겪지 않고서 변동하는 비트율로 그의 이동 전화상에서 영상을 관찰할 수 있게 한다. 스트림 스위치들은 디코딩 파라미터들이 스트림 스위치 이후에 갱신될 필요가 없기 때문에 영상 표시 도중에 디코더가 정지되는 것을 야기하지 않는다. 디코딩 파라미터들은 특히, 하나의 스트림에서 다른 스트림까지 유효하게 유지되도록 선택된다. 예컨대 무선 전송 또는 트래픽 조건들의 변경에 기인한 이용 가능한 대역폭의 변화는 단말 사용자에 대해 큰 혼란을 야기하지 않을 것이다. 실제로, 단말 사용자는 예컨대 그의 이동 전화기 상에서 그가 수신한 영상 이미지들의 품질이 상기와 같은 스트림 스위치에 의해 영향을 받기 때문에, 스트림 스위치를 적절히 알것이고, 영상은 중단되지 않을 것이다.
도 4는 본 발명의 단순 실시예에 따른 인코딩 방법의 한 예를 도시하는 것으로서, 동일한 공통 디코딩 파라미터 값들이 모든 스트림들에 할당된다(그룹은 인코딩된 스트림들의 전체 집합과 동등하다). 상기 방법은 이하의 단계들을 포함한다.
- K0 : 인코딩될 모든 스트림들에 대한 사용자 인코딩 파라미터들을 판독(READ),
- K1 : 인코딩될 모든 프레임들의 최대 비트율에 대응하는 값으로 최대 프레임 레이트 파라미터를 설정(max_frame_rate=MAX(encoding_frame_rate)),
- K2 : 최대 프레임 레이트 값이 p/q인(max_frame_rate=p/q), p로 표시되는 최소 정수값의 계산, 여기서 q도 또한 정수, 및 시간 결정 증분(time resolution increment)을 p로 설정(time_increment_resolution=p),
- K3 :적어도 하나의 스트림이 B_VOP(B-VOP?)를 사용하는지를 체크하고, 만일 답이 Yes라며 단계 K4으로 가고, No라면 단계 K5로 진행,
- K4 : low-delay 파라미터를 제로(0)로 설정(low-delay=0),
- K5 : low-delay 파라미터를 1로 설정(low-delay=1),
- K6 : 가변 인덱스 N을 제로(0)로 설정(N=0),
- K7 : 단계 K2, K4, 및 K5(VOL)에서 설정된 값으로 VOL 헤더의 low-delay fields 및 time_increment_resolution의 값을 강제하는 인코드 스트림 인텍스(N),
- K8 : 증분(increment) N(N++),
- K9 : 모든 스트림이 인코딩되었는지를 체크(stream ?), 만일 답이 Yes라면 단계 K10으로 진행하고, No라면 단계 K7로 되돌아가기,
- K10 : 알고리즘의 종료.
도 5는 본 발명의 양호한 실시예에 따른 인코딩된 스트림의 한 예를 도시한다. 주어지 멀티미디어 콘텐츠에 대해, 모든 변경 스트림들은 동일 디코더 구성 파라미터들이 수신측에서 사용될 수 있도록 인코딩된다. 이와 같이 하여, 하나의 스트림에서 다른 스트림까지의 변경은 클라이언트의 관점에서 보아 한결같게 될 수 있다. 본 실시예는 영상 포맷이 MPEG-4 영상(영상 포맷은 트리밍 가능한 포맷이라면 어떤것도 무방함)인 Audio/Video의 스트리밍에 관련된다.
네트워크 구성이 실제로 불량한 경우에, 이용 가능한 밴트 폭은 음성 및 영상 스트림들을 전송하는데 더 이상 충분하지 않다. 서비스를 인터럽트 하지 않기 위해, 수용 가능한 대체 시스템 위치(fall back positon)은 영상 스트림의 전송을 중단하고 음성 스트림만을 존속시키는 데 있다. 스트림 스위치는 디코딩 파라미터들이 반드시 갱신되도록 하지 않으므로, 서버는 스트림이 변경됐다는 것을 자동으로 알려주지 않을 것이다. 영상 패킷의 부재는 클라이언트에 의해 접속 실패 또는 네트워크의 혼잡 등의 오류 조건으로 해석된다. 상기는 적절한 조처를 취하게 한다. 더욱이, 네트워크 조건이 음성 및 영상 스트림을 재차 전송하도록 보다 양호해지면, 서버는 영상 패킷들이 아직은 클라이언트 디코더에 의해 대기되고 있다는 확인을 필요로 한다.
상기에 관한 하나의 해결책은, 이용 가능한 밴트 폭이 수용 가능한 영상 스트림을 전송하기 위해 시스템에 대해 제한될 때 마다, MBRVS라고 표시되는 사전결정된 최소의 비트율 영상 스트림을, 대기되는 영상 스트림 대신에 음성 스트림과 함께 전송하는 것이다. MBRVS 해결책에 따르면, 몇몇의 영상 패킷들은 클라이언트에게 아직까지 전송되기는 하지만, 거의 전송되지 않고, 전송 되더라도 최소의 사이즈로 전송된다. 따라서, 서버는 정규의 음성 및 영상 스트림을 아직까지 스트리밍하고 있는 것처럼 동작하지만, 영상 스트림은 더이상 대역폭의 상당 부분을 요구하지 않는다. 상기는 특히 인코딩된 스트림들의 집합 내에서 최하위 비트율을 갖는 스트림에 특히 적용된다. 서버의 관점에서, 상기 비트 스트림(단지 인코딩된 음성 데이터만을 전송하는 것)과 다른 비트 스트림들(진정한 음성 및 영상 데이터 둘 모두를 포함하는 것) 사이에 차이가 없다.
상기와 같은 최소의 영상 스트림 MBRVS는 도 5에 도시된다. 상기는 도 4에 관하여 상술한 바와 같은 공통 디코딩 파라미터들을 전송하기 위한 제 1의 Access Unit VOL, 및 연속하는 Access Units VOPs를 포함한다. 제 2 및 연속하는 Access Units는 RAP라고 표시되는 MPEG-4 권장 사항에 따른 랜덤한 Access Points를 포함한다. 상기 RAP들은 VOP-I 타입의 프레임 다음에 절대 시간 기준을 전송하기 위해 Video Objects 타입의 그룹의 헤더를 포함한다. RAP들은 절대 시간 기준을 전송하기 때문에 하나의 스트림으로부터 다른 스트림까지의 용이한 스위칭을 허용한다. 스트림의 제 2의 Access Unit은 예컨대, VOP-I 타입의 블랙 또는 빈 정지 이미지를 포함한다. 이 경우에, 블랙 이미지는 가장 단순한 인코딩된 영상 프레임에 대응한다. 본 실시예에 따르면, 제 3 및 연속하는 Access Units RAP들의 VOP-I 필드는 예컨대, 타입 "VOP_not_coded"의 명령으로 채워지고, 이는 디코더가 상기 경우에 블랙의 정지 이미지였던 이전의 프레임의 콘텐츠를 카피하도록 한다. 상기 "VOP_not_coded" 시그널링은 단지 수 비트만이 필요하다.
실제로 MPEG-4 영상에서, VOP는 그 헤더에서 "not coded"로서 지시될 수 있다. 상기 VOP에 대해 스트림들에서 코딩된 더 이상의 정보는 없고, 대응하는 이미지는 과거의 일시적인 기준의 정확한 재 카피(recopy)이다. 갱신되는 유일한 것은 VOP의 타임 스탬프이다. 따라서, MBRVS는 단지 "not coded" VOP들을 사용하여 사전에 정의된 디코더 구성에 의해 만들어진다. 상기 스트림으로의 즉각적인 스위칭을 가능하게 하도록, 모든 VOP들의 코딩 타입은 Intra mode VOP-I로 설정되고 GOV는 각각의 VOP에 대응된다(즉, 모든 VOP들은 랜덤한 Access Points이다). 유일한 예외는 스트림의 제 1의 VOP에 대한 것이다. MPEG-4에 의한 정확한 디코딩을 가능하게 하기 위해, 제 1의 VOP는 블랙 VOP으로서 코딩된다.
여기의 도면 및 그 설명은 본 발명을 한정하지 않는다. 첨부된 청구 범위 내에 해당하는 수많은 변형이 있다는 것은 자명하다.
본 발명에 따르면, 멀티미디어 스트리밍의 프레임 워크에서 인코팅 방법을 제공하는 것으로서, 단말 사용자에 대한 보다 나은 서비스 품질을 공급할 수 있다.

Claims (10)

  1. 가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를 스트리밍(streaming)하는 방법으로서,
    멀티미디어 소스로부터 입력되는 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 포함하는 스트림 요소들로 형성되는 인코딩된 스트림들의 집합(set)을 공급하는 단계를 포함하고,
    상기 인코딩된 스트림들은, 클라이언트 디코더가 그들의 특정 디코딩 파라미터 값들에 관해 상기 스트림 요소들을 디코딩할 수 있게 하는 클라이언트 어플리케이션 디코더(client application decoder)에 전송될 특정 디코딩 파라미터 값들과 연관된 다양한 사전결정된 비트율들을 갖고,
    상기 인코딩 단계는, 상기 디코더가 상기 스트림들의 그룹내의 모든 스트림들로부터의 모든 스트림 요소들을 디코딩하는 상기 동일한 디코딩 파라미터 값들을 사용할 수 있도록, 상기 인코딩된 스트림들의 집합 내에서 적어도 하나의 스트림들 그룹에 적합한 적어도 일부의 디코딩 파라미터들에 대한 공통 값들을 결정하는 예비 단계, 및 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 설정하는 단계를 포함하는, 멀티미디어 데이터를 스트리밍하는 방법.
  2. 제 1 항에 있어서,
    상기 클라이언트 어플리케이션 디코더는 MPEG-4(Moving Picture ExpertGroup-4) 권고에 따른 것이고, 공통 값들이 할당되는 상기 디코딩 파라미터들은 "low_delay" 및 "time_increment_resolution" 파라미터들을 포함하는, 멀티미디어 데이터를 스트리밍하는 방법.
  3. 제 2 항에 있어서,
    인코딩된 스트림들 그룹내의 B-VOP(Bi-directional Video Object Plane)을 사용하는 최고 확률에 대응하는 값은 상기 "low_delay" 파라미터에 할당되는, 멀티미디어 데이터를 스트리밍하는 방법.
  4. 제 2 항에 있어서,
    인코딩된 스트림들 그룹내에서 필요한 최소 시간 증분 결정(time increment resolution)은 "time_increment_resolution" 파라미터에 할당되는, 멀티미디어 데이터를 스트리밍하는 방법.
  5. 제 2 항에 있어서,
    상기 클라이언트 어플리케이션 디코더는 MPEG-4(Moving Picture Expert Group-4) 권고 ISO 14496-2 MPEG-4 visual에 따른 것으로서, 각각의 인코딩된 스트림은 음성 및 영상 데이터를 별도로 인코딩하는 영상 인코딩된 스트림 및 음성 인코딩된 스트림을 포함하는 한 쌍의 인코딩된 스트림들을 포함하고,
    한 쌍의 인코딩된 스트림들내의 적어도 하나의 영상 스트림은 상기 권고에따라 액세스 유닛들로 불리는 연속된 스트림 요소들로 형성되고, 상기 요소들은 상기 공통 디코딩 파라미터 값들을 전송하는 제 1 액세스 유닛, 상기 권고에 따라 인트라(Intra) 타입의 사전결정된 정지 이미지를 전송하는 제 2 액세스 유닛, 및 상기 클라이언트 어플리케이션 디코더가 이전 액세스 유닛을 카피하도록 지시하는 상기 권고에 따른 "VOP_not_code" 정보의 형태 부분 및 절대 시간 기준을 전송하기 위해 랜덤 액세스 포인트 정보를 포함하는 제 3 및 후속 액세스 유닛들을 포함하는, 멀티미디어 데이터를 스트리밍하는 방법.
  6. 멀티미디어 소스로부터 입력되는 데이터를 인코딩하고, 상기 인코딩된 멀티미디어 데이터를 포함하는 스트림 요소들로 형성되는 인코딩된 스트림들의 집합(set)을 공급하는 인코더로서,
    상기 인코딩된 스트림들은, 클라이언트 어플리케이션 디코더가 그들의 특정 디코딩 파라미터 값들에 관해 상기 스트림 요소들을 디코딩할 수 있게 하는 클라이언트 어플리케이션 디코더에 전송될 특정 디코딩 파라미터 값들과 연관된 다양한 사전결정된 비트율들을 갖고,
    상기 인코더는, 상기 디코더가 상기 스트림들 그룹내의 모든 스트림들로부터 모든 스트림 요소들을 디코딩하는 상기 동일한 디코딩 파라미터 값을 사용할 수 있도록, 인코딩된 스트림들의 집합내에서 적어도 하나의 스트림들 그룹에 적합한 적어도 일부의 디코딩 파라미터들에 대한 공통값들을 결정하는 수단과, 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 설정하는 수단을 포함하는, 데이터를 인코딩하고 인코딩된 스트림들의 집합을 공급하는 인코더.
  7. 멀티미디어 소스로부터 입력되는 인코딩된 데이터를 포함하는 스트림 요소들로 미디어 인코더에 의해 설정된 인코딩된 스트림들의 집합내에서 선택된 인코딩된 스트림을 클라이언트 어플리케이션에 제공하는 서버에 있어서,
    상기 인코딩된 스트림들은, 클라이언트 디코더가 그들의 특정 디코딩 파라미터 값들에 관해 상기 스트림 요소들을 디코딩할 수 있게 하는 대응하는 선택된 인코딩된 스트림과 연관되는 클라이언트 어플리케이션 디코더에 상기 서버를 통해 전송될 특정 디코딩 파라미터 값들과 연관된 다양한 사전결정된 비트율들을 갖고,
    상기 인코더는, 상기 디코더가 상기 스트림들 그룹내의 모든 스트림들로부터 모든 스트림 요소들을 디코딩하는 상기 동일한 디코딩 파라미터 값들을 사용할 수 있도록, 인코딩된 스트림들의 집합내에서 적어도 하나의 스트림들 그룹에 적합한 적어도 일부의 디코딩 파라미터들에 대한 공통값을 결정하는 수단과, 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 설정하는 수단을 포함하는, 클라이언트 어플리케이션에 인코딩된 스트림을 제공하는 서버.
  8. 가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를 스트리밍하는 전송기로서,
    멀티미디어 소스로부터 입력되는 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 포함하는 스트림 요소들로 형성되는 인코딩된 스트림들의 집합을 생성하는 미디어 인코더와,
    상기 미디어 인코더에 의해 설정된 인코딩된 스트림들의 집합 내에서 선택된 인코딩된 스트림을 클라이언트 어플리케이션을 제공하는 미디어 서버를 포함하고,
    상기 인코딩된 스트림들은, 클라이언트 어플리케이션 디코더가 그들의 특정 디코딩 파라미터 값들에 관해 상기 스트림 요소들을 디코딩할 수 있게 하는 상기 클라이언트 어플리케이션 디코더에, 서버를 통해 전송될 특정 디코딩 파라미터 값들과 연관된 다양한 사전결정된 비트율들을 갖고,
    상기 미디어 인코더는, 상기 디코더가 상기 스트림들의 그룹내에서 모든 스트림들로부터 모든 스트림 요소들을 디코딩하는 상기 동일한 디코딩 파라미터 값들을 사용할 수 있도록, 인코딩된 스트림들의 집합내에서 스트림들의 적어도 한 그룹에 대해 적합한 디코딩 파라미터들의 적어도 일부에 대한 공통값을 결정하는 수단과, 공통 디코딩 파라미터 값들이 할당되는 상기 스트림들의 그룹을 설정하는 수단을 포함하는, 멀티미디어 데이터를 스트리밍하는 전송기.
  9. 상기 인코더로 로딩(loading)되는 경우 인코더가 상기 제 1항의 방법을 실행하도록 하는 명령들의 집합을 계산하는 인코더에 대한 컴퓨터 프로그램 제품.
  10. 컴퓨터 프로그램을 전송하는 신호로서, 상기 컴퓨터 프로그램은 제 1항의 방법을 실행하도록 배열된, 컴퓨터 프로그램을 전송하는 신호.
KR1020047011891A 2002-01-30 2003-01-27 멀티미디어 데이터로부터의 인코딩된 스트림 세트를 제공하는 방법 및 인코더와, 클라이언트 애플리케이션에 인코딩된 스트림을 제공하는 서버와, 가변 대역폭을 갖는 네트워크상에서 멀티미디어 데이터를 스트리밍하는 송신기 KR100989222B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02290209 2002-01-30
EP02290209.2 2002-01-30
PCT/IB2003/000259 WO2003065683A1 (en) 2002-01-30 2003-01-27 Streaming multimedia data over a network having a variable bandwidth

Publications (2)

Publication Number Publication Date
KR20040079975A true KR20040079975A (ko) 2004-09-16
KR100989222B1 KR100989222B1 (ko) 2010-10-20

Family

ID=27635894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047011891A KR100989222B1 (ko) 2002-01-30 2003-01-27 멀티미디어 데이터로부터의 인코딩된 스트림 세트를 제공하는 방법 및 인코더와, 클라이언트 애플리케이션에 인코딩된 스트림을 제공하는 서버와, 가변 대역폭을 갖는 네트워크상에서 멀티미디어 데이터를 스트리밍하는 송신기

Country Status (6)

Country Link
US (1) US7483489B2 (ko)
EP (1) EP1472847A1 (ko)
JP (1) JP4472347B2 (ko)
KR (1) KR100989222B1 (ko)
CN (1) CN1625880B (ko)
WO (1) WO2003065683A1 (ko)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004021668A1 (en) * 2002-08-28 2004-03-11 Koninklijke Philips Electronics N.V. Method of streaming multimedia data
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JPWO2005025225A1 (ja) * 2003-09-04 2006-11-16 日本電気株式会社 動画像データ変換方法および装置ならびにプログラム
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
JP4971144B2 (ja) * 2004-05-07 2012-07-11 デジタル ファウンテン， インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
US7567565B2 (en) 2005-02-01 2009-07-28 Time Warner Cable Inc. Method and apparatus for network bandwidth conservation
WO2007011116A1 (en) * 2005-07-20 2007-01-25 Humax Co., Ltd. Encoder and decoder
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US7979885B2 (en) * 2005-08-11 2011-07-12 Harmonic Inc. Real time bit rate switching for internet protocol television
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US8458753B2 (en) 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
US7916755B2 (en) * 2006-02-27 2011-03-29 Time Warner Cable Inc. Methods and apparatus for selecting digital coding/decoding technology for programming and data delivery
US8170065B2 (en) 2006-02-27 2012-05-01 Time Warner Cable Inc. Methods and apparatus for selecting digital access technology for programming and data delivery
US8718100B2 (en) 2006-02-27 2014-05-06 Time Warner Cable Enterprises Llc Methods and apparatus for selecting digital interface technology for programming and data delivery
US8243826B2 (en) 2006-03-17 2012-08-14 Nec Corporation Encoded stream transmitter
US20070234385A1 (en) * 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager
WO2007126381A2 (en) * 2006-05-03 2007-11-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for re-constructing media from a media representation
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
WO2008012739A2 (en) * 2006-07-28 2008-01-31 Nxp B.V. Media playback decoder tracing
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
US20080062322A1 (en) * 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
WO2008044916A2 (en) * 2006-09-29 2008-04-17 Avinity Systems B.V. Method for streaming parallel user sessions, system and computer software
NL1032594C2 (nl) * 2006-09-29 2008-04-01 Avinity Systems B V Werkwijze voor het streamen van parallelle gebruikerssessies, systeem en computerprogrammatuur.
US7743161B2 (en) * 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US20080235746A1 (en) 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
US7941483B2 (en) * 2007-03-28 2011-05-10 Sap Ag Low latency display methods for thin client devices
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
JP5027305B2 (ja) * 2007-09-12 2012-09-19 デジタル ファウンテン， インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US8561116B2 (en) 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
US9071859B2 (en) 2007-09-26 2015-06-30 Time Warner Cable Enterprises Llc Methods and apparatus for user-based targeted content delivery
US8099757B2 (en) 2007-10-15 2012-01-17 Time Warner Cable Inc. Methods and apparatus for revenue-optimized delivery of content in a network
US8706907B2 (en) 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8001261B2 (en) * 2007-10-19 2011-08-16 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8699678B2 (en) 2007-10-19 2014-04-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8682336B2 (en) * 2007-10-19 2014-03-25 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8111713B2 (en) 2007-10-19 2012-02-07 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8391312B2 (en) 2007-10-19 2013-03-05 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8321581B2 (en) * 2007-10-19 2012-11-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8380874B2 (en) 2007-10-19 2013-02-19 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8145780B2 (en) * 2007-10-19 2012-03-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8090867B2 (en) * 2007-10-19 2012-01-03 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8813143B2 (en) 2008-02-26 2014-08-19 Time Warner Enterprises LLC Methods and apparatus for business-based network resource allocation
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US8488661B2 (en) * 2008-06-13 2013-07-16 Verizon Patent And Licensing Inc. Systems and methods for data streaming
KR101065972B1 (ko) 2008-08-26 2011-09-19 에스케이 텔레콤주식회사 미디어 스트리밍을 위한 전송 대역폭 측정 시스템 및 그 방법
US20100121977A1 (en) * 2008-11-10 2010-05-13 Nokia Corporation Predictive Bit-Rate Modification of Content Delivery in a Wireless Network
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8909806B2 (en) 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9237387B2 (en) 2009-10-06 2016-01-12 Microsoft Technology Licensing, Llc Low latency cacheable media streaming
KR101750049B1 (ko) * 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
US9521178B1 (en) * 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
WO2012099589A1 (en) * 2011-01-20 2012-07-26 Vidyo, Inc. Participant aware configuration for video encoder
US8925027B2 (en) * 2011-01-20 2014-12-30 Vidyo, Inc. Participant aware configuration for video encoder
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8250228B1 (en) * 2011-09-27 2012-08-21 Google Inc. Pausing or terminating video portion while continuing to run audio portion of plug-in on browser
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9854280B2 (en) 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9131283B2 (en) 2012-12-14 2015-09-08 Time Warner Cable Enterprises Llc Apparatus and methods for multimedia coordination
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
US10911794B2 (en) 2016-11-09 2021-02-02 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11166175B2 (en) * 2018-11-30 2021-11-02 T-Mobile Usa, Inc. UAV modular redundant communications
JP7196331B2 (ja) * 2019-03-15 2022-12-26 ドルビー・インターナショナル・アーベー ニューラルネットワークを更新するための方法および装置
US11240540B2 (en) 2020-06-11 2022-02-01 Western Digital Technologies, Inc. Storage system and method for frame trimming to optimize network bandwidth

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
EP1021044A1 (en) * 1999-01-12 2000-07-19 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding or decoding audio or video frame data
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
KR20020019554A (ko) * 2000-05-23 2002-03-12 요트.게.아. 롤페즈 Ｍｐｅｇ-4 원격 액세스 단말기를 갖는 통신 시스템

Also Published As

Publication number Publication date
US7483489B2 (en) 2009-01-27
EP1472847A1 (en) 2004-11-03
CN1625880B (zh) 2010-08-11
US20050135476A1 (en) 2005-06-23
KR100989222B1 (ko) 2010-10-20
CN1625880A (zh) 2005-06-08
JP2005516547A (ja) 2005-06-02
WO2003065683A1 (en) 2003-08-07
JP4472347B2 (ja) 2010-06-02

Similar Documents

Publication Publication Date Title
KR100989222B1 (ko) 멀티미디어 데이터로부터의 인코딩된 스트림 세트를 제공하는 방법 및 인코더와, 클라이언트 애플리케이션에 인코딩된 스트림을 제공하는 서버와, 가변 대역폭을 갖는 네트워크상에서 멀티미디어 데이터를 스트리밍하는 송신기
US11856329B2 (en) Dynamic advertisement stream replacement
JP3931595B2 (ja) データ修正装置及びデータ修正方法
CN101116308B (zh) 用于信号发送缓冲区参数的方法、通信系统、终端、服务器和用于确定缓冲器状态的方法
EP1316216B1 (en) Adaptive video delivery
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
KR20100124811A (ko) 서버 장치와 콘텐츠 배신 방법
CN101795264A (zh) 一种视频数据传送方法及系统
KR20050038646A (ko) 멀티미디어 데이터를 스트리밍하는 방법
MX2008010961A (es) Sistema dinamico de distribucion de imagenes y dispositivo de conversion.
KR101100458B1 (ko) 콘텐츠 배신 시스템, 변환 장치 및 그들에 이용하는 콘텐츠 배신 방법
JP2000224584A (ja) 画像符号化装置および動画像伝送システム
US20110191448A1 (en) Subdivision of Media Streams for Channel Switching
KR100772346B1 (ko) 통신 시스템, 송신기, 전송 오류들에 대한 보호 방법
WO2002052859A1 (en) Feedback control from decoder
KR101656193B1 (ko) 이기종 망에서의 uhd 비디오 전송을 위한 mmt 기반 방송 시스템 및 방법
WO2014047938A1 (zh) 数字视频码流的解码方法拼接方法和装置
KR20080049701A (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
KR101244551B1 (ko) Ｄｍｂ에서 ｈｔｔｐ 스트리밍 비디오 서비스를 제공하기 위한 방송 시스템
JPH10178637A (ja) 動画像伝送システム
KR100527846B1 (ko) 디지털 오디오 방송 전송 시스템에서 비트율 제어 방법 및그를이용한 미디어 스트림 변환 장치 및 그 방법
KR20180065562A (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에 사용되는 단말기
CN116095324A (zh) 一种视频数据传输方法、装置及设备
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
JP2003204575A (ja) マルチメディアデータ送信装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee