KR100966447B1 - 데이터 스트리밍 시스템 및 방법 - Google Patents

데이터 스트리밍 시스템 및 방법 Download PDF

Info

Publication number
KR100966447B1
KR100966447B1 KR1020047015314A KR20047015314A KR100966447B1 KR 100966447 B1 KR100966447 B1 KR 100966447B1 KR 1020047015314 A KR1020047015314 A KR 1020047015314A KR 20047015314 A KR20047015314 A KR 20047015314A KR 100966447 B1 KR100966447 B1 KR 100966447B1
Authority
KR
South Korea
Prior art keywords
data
buffer
client
encoded
stream
Prior art date
Application number
KR1020047015314A
Other languages
English (en)
Other versions
KR20040099369A (ko
Inventor
닐슨마이클얼링
젭티모시랠프
Original Assignee
브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 filed Critical 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Publication of KR20040099369A publication Critical patent/KR20040099369A/ko
Application granted granted Critical
Publication of KR100966447B1 publication Critical patent/KR100966447B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

데이터 스트리밍 시스템과 방법이 설명된다. 서버(10)는 클라이언트(40, 50, 60)에게 복수의 인코딩된 데이터 스트림 중의 하나를 스트리밍하도록 마련된다. 복수의 데이터 스트림의 각각은 복수의 데이터 스트림 중의 다른 것과 상이한 해상도로 인코딩된 공통 데이터 소스의 독립적인 표현이다. 서버(10)는 전송기(100)와 제 1 버퍼(120)를 포함한다. 전송기는 제 1 버퍼(120)를 통해 클라이언트(40, 50, 60)에게로 인코딩된 데이터 스트림의 데이터 패킷을 전송하도록 마련된다. 전송기(100)는 제 1 버퍼(120)의 내용을 모니터링하고, 소정의 기준이 상기 제 1 버퍼(120)로부터 검출되는 경우에 복수의 데이터 스트림 중의 다른 것을 전송하게끔 스위칭하도록 마련된다.

Description

데이터 스트리밍 시스템 및 방법{DATA STREAMING SYSTEM AND METHOD}
[기술분야]
본 발명은 IP(Internet Protocol) 네트워크 상에서 오디오 및 비디오 콘텐트를 스트리밍하기에 적합한 시스템과 방법에 관한 것이다. 특히, 본 발명은 이용가능한 비트율이 물리적인 네트워크 특성 및/또는 다른 트래픽과의 경쟁 때문에 원래부터 가변적인 곳에서 사용하기에 적합하다. 예를 들면, 본 발명은 GPRS(General Packet Radio Service)나 3G 네트워크를 통해 PDA(Personal Digital Assistant)와 같은 모바일 핸드헬드 단말기로 멀티미디어 스트리밍을 하는데 적합하다.
[배경기술]
케이블과 ADSL(Asymmetric Digital Subscriber Line) 모뎀과 같은 새로운 데이터 네트워크 액세스 기술은 무료 클라이언트 소트트웨어의 이용가능성과 압축에서의 진보와 함께 인터넷 상에서의 비디오 스트리밍의 성장을 구동하고 있다. 이러한 기술의 사용은 매 6개월마다 크기에 있어서는 아마도 2배로 되면서 기하급수적으로 성장하고 있으며, 2000년에는 5억개의 스트림이 서비스되고 있다고 추정된다. 그러나, 인터넷 스트리밍에 대한 사용자의 지각은 정체와 큰 시동 지연의 경험에 의해 여전히 특징지워진다.
현재의 IP 네트워크는 가변적인 달성가능한 스루풋(throughput) 뿐만 아니라 패킷 손실, 지연 및 지터(지연 변동)를 보임에 따라 비디오 콘텐트의 스트리밍에 그렇게 적합하지 않으며, 이것들 모두는 멀티미디어 콘텐트에 대한 최종 사용자의 즐거움을 떨어뜨린다.
실시간 비디오 애플리케이션은 모든 패킷이 시간에 맞게 도착할 것을 요구한다. 만약 패킷이 손실된다면, 인코더와 디코더 사이의 동기는 깨지며, 에러는 렌더링된 비디오를 통해 얼마간의 시간 동안 전파된다. 만약 패킷이 과도하게 지연된다면, 그것들은 실시간으로 동작해야만 하는 디코더에서는 쓸모없게 되며, 손실로서 취급된다. 패킷 손실과 렌더링된 비디오에 대한 그것의 시각적 효과는 H. 263과 같은 예측적 비디오 코딩 시스템에서 특히 심각하다. 패킷 손실의 효과는 비디오 스트림에 에러 보호를 도입함으로써 감소되어 질 수는 있지만 제거될 수는 없다. 그러한 복원 기술은 패킷 손실의 효과를 제거하기 보다는 최소화시킬 수 있을 뿐이라는 것이 알려져 왔다.
스루풋에서의 장기 저하를 가리키는 지속적인 패킷 손실의 경우에, 스트리밍 시스템은 그것의 장기 필요조건들을 감소시킬 수 있을 필요가 있다. 일반적으로 이것은 스트리밍되는 매체의 비트율이 감소되어야 함을 의미한다.
H.263 및 MPEG-4와 같은 표준 압축 기술은 인코딩 속도를 동적으로 변화시킬 수 있는 멀티미디어 소스를 제공할 수 있다. 그러한 특성을 갖는 비디오 소스는 여기서 신축적 소스, 즉 네트워크 스루풋에서의 장기 변동에 적응할 수 있는 소스로 설명된다. 이것은 일반적으로 연속적으로 적응 비디오 비트율을 제공함으로써 성취된다. 이것은 아마도 오디오 코덱과는 다르게, 비디오 압축 표준은 절대적인 작동 비트율을 규정하기 않기 때문일 것이다.
비디오 스트리밍 시스템은 가변하는 비트율을 갖는 인코딩된 스트림을 제공하도록 설계될 수 있으며, 여기서 비트율은 클라이언트의 피드백에 응답하여, 이용가능한 네트워크 대역폭에 순간적으로 적응한다. 그러한 시스템은 패킷 손실의 경우에는 급격하게 감소하고 다른 경우에는 천천히 증가하도록 전송률을 제어함으로써 네트워크에 우호적으로 만들어질 수 있다.
그러나, 그러한 솔루션은 두 가지 이유에서 실용적이지 않다. 첫째, 실시간 비디오 인코딩은 대개 많은 양의 처리 능력을 필요로 하고, 그리하여 그러한 솔루션이 많은 사용자를 지원하게끔 스케일링(scaling)되는 것을 막는다. 둘째, 전체적인 품질에 대한 최종 사용자의 지각은 순간적인 품질에서의 급격한 변동에 의해 불리하게 영향받을 것이다.
단방향 스트리밍 애플리케이션에 대해서, 전송자와 수신자 사이의 지연은 단지 시동 시에만 지각가능하다. 그러므로, 일반적인 기술은 패킷 손실과 지터를 지연과 교환한다. 비디오 스트림의 평균 스루풋 필요조건이 평균 이용가능 대역폭과 일치한다면 수신기의 버퍼 크기는 지연에서의 평균 변동을 포함하도록 크기가 변동될 수 있다.
시장을 선도하는 스트리밍 시스템은 인터넷에서 마주칠 수 있는 지터의 효과를 감소시키기 위해서 상당한 클라이언트측 버퍼링을 사용한다고 여겨진다. 이것은 도움이 되는 반면에, 그것은 또한 버퍼가 차는 동안에 일반적으로 5초에서 30초 사이의 큰 시동 지연을 도입한다. 이들 시스템은 클라이언트로 하여금 이용가능한 대역폭에서의 변동에 적응하도록 허용하는 기술을 또한 포함한다. 이들 기술의 상세가 공개적으로 이용가능하지 않다할 지라도, 그것들은 일반적으로 단일 파일내에서 다중 데이터 속도 인코딩(SNR 스케일러빌리티(scalability)) 및 오디오 품질을 유지하기 위해 비디오 픽처 속도의 서버측 감소와 같은 지능형 전송 기술을 사용한다고 의심된다. 그러한 많은 양의 버퍼링은 아마도 패킷의 상당한 비율이 재전송되도록 허용할 수 있을 것인데, 하지만 이들 재전송은 동일한 네트워크 특성에 종속된다. 손실된 데이터를 재전송하는 결정은 이것과 다른 다수의 요인에 따른다. 그러한 기술은 일반적으로 유니캐스트(unicast) 전송에만 적용가능하다. 멀티캐스트 전송 시스템은 일반적으로 RLM 및 RLC와 같은 수신기 기반 스케일러빌리티나 포워드(forward) 에러 정정에 의해 보다 잘 서비스된다. S. McCanne, 'Receiver driven layered multicast', Proceedings of SIGCOMM 96, 스탠포드. CA. 1996년 8월. L. Vicisano, L. Rizzo 및 J. Crowcroft, 'TCP-like cogestion control for layered multicast data transfer', Infocom '98.
전술한 바와 같은 버퍼의 사용은 시스템으로 하여금 패킷 손실과 지터를 극복하도록 허용한다. 그러나, 네트워크로부터 이용가능한 불충분한 비트율이 있는 문제는 극복하지 못한다. 만약 비디오물의 장기 평균 비트율 필요조건이 네트워크로부터 이용가능한 평균 비트율을 초과한다면, 클라이언트 버퍼는 결국 고갈될 것이며 비디오 렌더러는 버퍼가 다시 찰 때까지 정지할 것이다. 이용가능한 네트워크 비트율과 콘텐트가 인코딩된 속도 사이의 불일치의 정도가 버퍼를 다시 채우기 위한 일시정지의 빈도를 결정한다.
전술한 바와 같이, H.263과 MPEG-4를 포함한 대부분의 비디오 압축 알고리즘은 연속적으로 적응하는 비트율을 제공하도록 구현될 수 있다. 그러나, 일단 비디오 및 오디오가 압축되고 나면, 그것들은 비탄력적이 되며, 인코딩된 비트율로 전송될 필요가 있다.
네트워크 스루풋에서의 단기 변동과 네트워크 지터가 수신기에서의 버퍼 동작에 의해 흡수될 수 있지만, 탄력성은 네트워크 스루풋에서의 장기 변동이 또한 흡수될 수 있을 때에만 성취될 수 있다.
레어어드(layered) 인코딩은 탄력적인 비디오 소스를 생성하는 잘 알려진 기술이다. 레이어드 비디오 압축은 계층적인 코딩 스킴을 사용하는데, 여기서 수신기에서의 품질은 보다 고층 레이어들의 수신과 디코딩에 의해 향상되며, 이들 고층 레이어들은 기본 화상(representation)에 순차적으로 부가된다. 임의의 시간에, 각 클라이언트는 임의의 갯수의 이들 비디오 레이어를 수신할 수 있으며, 이는 소스에 대한 현재 네트워크의 연결성에 의존한다. 가장 단순한 구현에서, 이것은 네트워크 상태에 대한 조악한 적응을 제공하며, 이는 멀티캐스트 상황에서 유리하다. 레이어드 비디오 압축은 네트워크 상태에 대한 세밀한 적응을 부가하기 위해 클라이언트에서의 버퍼링과 또한 결합되었다. 그러나, 레이어드 인코딩 기술은 비효율적이며, 아마도 감소된 처리 능력을 갖는 모바일 장치를 다룰 특별한 문제를 야기하는 클라이언트에서 상당히 더 많은 프로세싱을 일반적으로 필요로 할 것이다.
트랜스코딩은 탄력적인 비디오 소스를 생성하는 또다른 공지의 기술이다. 비디오 트랜스코딩은 비디오 인코딩보다 훨씬 더 낮은 계산 복잡도를 갖도록 설계될 수 있음이 알려져 왔다. 그러나, 계산 복잡도는 무시할 수 없을 정도이며, 그 리하여 비디오 스트리밍을 위한 스케일러블 구조로 귀결되지 않을 것이다.
[발명의 상세한 설명]
본 발명의 일국면에 따르면, 복수의 인코딩된 데이터 스트림 중의 하나를 클라이언트에게 스트리밍하도록 마련된 서버를 포함하는 데이터 스트리밍 시스템을 제공하며, 상기 복수의 데이터 스트림의 각각은 복수의 데이터 스트림의 다른 것에 상이한 해상도로 인코딩된 공통 데이터 소스의 독립적 표현이고, 상기 서버는 전송기와 제 1 버퍼를 포함하며, 상기 전송기는 제 1 버퍼를 통해 클라이언트에게 인코딩된 데이터 스트림의 데이터 패킷을 전송하도록 마련되고, 여기서 상기 전송기는 제 1 버퍼의 내용(content)을 모니터링하고 소정의 기준이 제 1 버퍼로부터 검출되는 경우에 복수의 데이터 스트림 중의 다른 것을 전송하기 위해 스위칭되도록 마련된다.
전체 시스템의 핵심 속성 중의 약간은 다음과 같다.
●네트워크에 친화적인 방식으로 전송률을 변경함.
●매체 인코딩 속도로부터의 전송률의 디커플링.
●시동 지연을 일으키지 않으면서 클라이언트에서 데이터의 버퍼를 설립.
●클라이언트 버퍼링의 사용에 의해 네트워크 스루풋에서의 단기 변동을 완화.
●상이한 비트율들로 인코딩된 멀티미디어 스트림 사이에서 스위칭함으로써 네트워크에서 이용가능한 자원들을 매칭시키 위해 장기 평균 대역폭 필요조건들을 조정.
●사용자에 의해, 클라이언트 버퍼링의 사용에 의해 지각된 품질에 영향을 미침이 없이, 손실된 패킷을 선택적으로 재전송함으로써 패킷 손실에 대해 복원력(resilience)을 제공함.
본 발명은 변화하는 네트워크 상태에 따라 압축 비디오의 전송 비트율을 스케일링하는 것을 허용한다.
본 발명에서, 제작된 오디오-비주얼 스트림은 고정된 단일 비트율로 전송될 필요가 없으며, 그리하여 네트워크가 순간적으로 지원하는 어떠한 속도에서의 전송도 허용한다. 전송 손실에 있어서의 복원력은 수신기에서 데이터의 버퍼를 만듦으로써 제공되며, 손실된 데이터가 디코딩과 프리젠테이션을 위해 필요해지기 전에 재전송될 시간을 허용한다.
임의의 한 시각에서, 그러한 스트림의 계층구조로부터 단지 하나의 비디오 스트림과 하나의 오디오 스트림만이 클라이언트에게로 전송된다. 이것은 조악한 적응성을 위한 소위 "동시방송 스위칭(simulcast switching)"과 세밀한 적응을 위한 전송률 변동의 조합의 형태로 구현된다.
시스템은 GPRS 네트워크 상에서 잘 동작하며, 이용가능한 네트워크 대역폭을 충분히 이용하고, 만족스러운 멀티미디어 품질을 제공함을 보여주었다.
시스템은 IP 네트워크, 특히 모바일 IP 네트워크의 특성을 극복하며, 일정한 품질의 멀티미디어를 갖는 사용자에게 최소의 시동 지연을 제공하도록 설계되었다.
전송기는 클라이언트에서 버퍼링되는 데이터의 양을 제 1 버퍼의 내용(content)으로부터 판정하도록 마련될 수 있으며, 여기서 소정의 기준은 클라이언트에서 버퍼링되도록 판정된 데이터의 소정의 레벨을 포함한다. 데이터 패킷은 그 패킷의 수신에 대한 클라이언트의 수신통지에 따라 제 1 버퍼로부터 제거될 수 있다. 전송기는 제 1 버퍼로부터 제거된 최신 데이터 패킷에 따라, 그리고 클라이언트에 의해 디코딩된 패킷들의 추정 개수에 따라 클라이언트에서 버퍼링된 데이터의 양을 판정하도록 마련될 수 있다.
제 1 버퍼는 제 1 버퍼에 있는 패킷들에 대한 데이터를 저장하는 미러 버퍼를 포함할 수 있으며, 전송기는 미러 버퍼에 있는 데이터를 이용하여 제 1 버퍼의 내용을 모니터링하도록 마련된다.
데이터 패킷은 확장된 TPKT 프로토콜을 이용하여 클라이언트에게로 전송될 수 있으며, 데이터 패킷은 디코딩 타임스탬프와 데이터 스트림 식별자를 포함하는 헤더를 포함한다.
시스템은 복수의 전송기를 추가로 포함할 수 있으며, 각각은 개개의 제 1 버퍼를 통하여 개개의 클라이언트와 통신하여 개개의 소정의 기준에 따라 결정된 복수의 데이터 스트림 중의 하나를 전송한다.
데이터 스트림은 인코딩된 비디오 데이터일 수 있다.
전송기는 데이터 패킷의 전송 내로 오디오 패킷과 비디오 패킷을 다중화하도록 마련될 수 있다. 오디오 및 비디오 패킷을 이웃시키는 것은 실질적으로 동시에 재현하도록 의도된 오디오 및 비디오 정보를 재현할 수 있다.
데이터 스트림은 인코딩된 오디오 데이터일 수 있다.
해상도는 데이터의 인코딩 비트율일 수 있다.
서버는 데이터 피드(feed)를 수용하고 그 데이터 피드를 복수의 인코딩된 데이터 스트림으로 인코딩하도록 마련된 인코더를 포함할 수 있다.
시스템은 복수의 버퍼를 추가로 포함할 수 있으며, 여기서 인코더는 각각의 인코딩된 데이터 스트림을 복수의 버퍼 중의 개개의 하나로 출력하도록 마련되며, 전송기는 복수의 버퍼 중의 개개의 하나로부터 개개의 데이터 스트림에 대한 데이터 패킷을 얻도록 마련된다.
서버는 복수의 인코딩된 데이터 스트림을 저장하는 파일 소스를 포함할 수 있다.
본 발명의 다른 국면에 따르면, 클라이언트와 서버를 포함하는 데이터 스트리밍 시스템이 제공되며, 서버는 복수의 인코딩된 데이터 스트림 중의 하나를 클라이언트에게 스트리밍하도록 마련되고, 복수의 데이터 스트림의 각각은 복수의 데이터 스트림 중의 다른 것과 상이한 해상도로 인코딩된 공통 데이터 소스의 독립적인 표현이며, 서버는 전송기와 제 1 버퍼를 포함하고 클라이언트는 수신 버퍼를 구비하며, 여기서 전송기는 제 1 버퍼를 통해 클라이언트에 인코딩된 데이터 스트림의 데이터 패킷을 전송하도록 마련되고, 여기서 클라이언트는 수신된 데이터 패킷을 수신 버퍼에 저장하고 서버에 수신통지를 하도록 마련되며, 여기서 전송기는 수신통지가 수신될 때 제 1 버퍼로부터 패킷을 삭제하도록 마련되고, 서버는 소정의 기준이 만족되는 경우에 복수의 데이터 스트림 중의 다른 것으로 스위칭하도록 마련되며, 소정의 기준은 제 1 버퍼의 내용에 대한 분석을 포함한다.
패킷은 패킷 시퀀스 데이터를 포함할 수 있으며, 클라이언트는 시퀀스 데이터에 기초하여 수신되지 않은 패킷의 재전송을 요청하도록 마련되며, 서버는 재전송 요청의 수신에 따라 제 1 버퍼로부터 패킷을 재전송하도록 마련된다.
본 발명의 추가적인 국면에 따르면, 복수의 인코딩된 데이터 스트림 중의 하나를 클라이언트에게 스트리밍하는 방법이 제공되며, 각각의 복수의 데이터 스트림은 복수의 데이터 스트림 중의 다른 것과 상이한 해상도로 인코딩된 공통 데이터 소스의 독립적인 표현이고, 상기 방법은 다음의 단계를 포함한다:
인코딩된 데이터 스트림의 데이터 패킷을 제 1 버퍼를 통해 클라이언트에게 전송하는 단계;
제 1 버퍼의 내용을 모니터링하는 단계; 및
소정의 기준이 제 1 버퍼로 검출되는 경우에 복수의 데이터 스트림 중의 다른 것을 전송하도록 스위칭하는 단계.
복수의 데이터 스트림은 각각 상이한 비트율로 인코딩될 수 있으며, 상기 방법은 최저의 비트율 데이터 스트림을 초기에 전송하는 단계를 추가로 포함한다.
소정의 기준은 클라이언트에서 버퍼링되도록 판정된 데이터의 양을 포함할 수 있다.
소정의 기준은 하나 이상의 네트워크 스루풋 문턱값을 포함할 수 있다.
네트워크 스루풋은 다음의 단계에 의해 계산될 수 있다:
제 1 버퍼로 전달되는 바이트의 갯수를 세는 단계;
제 1 버퍼의 크기로부터 상기 세어진 바이트 수를 빼는 단계;
그 결과를 전송 시작부터의 시간으로 나누는 단계.
상기 방법은 스루풋 변동을 판정하기 위해서 하나보다 많은 구간에 걸쳐 네 트워크 스루풋을 측정하는 단계를 추가로 포함할 수 있다.
소정의 기준은 복수의 데이터 스트림 중의 다른 것을 유지하기 위해 충분한 네트워크 스루풋의 판정을 포함할 수 있다.
상기 방법은 클라이언트에서 버퍼링되는 데이터의 양에 상관없이 최대 속도로 데이터를 전송하는 단계를 추가로 포함할 수 있으며, 여기서 소정의 기준은 최대 속도에서 판정된 네트워크 스루풋을 포함한다.
데이터 스트림은 데이터 스트림에 있는 이전 픽처들에 따라 예측적으로 인코딩된 일련의 픽처로서 인코딩될 수 있으며, 데이터 스트림은 일련의 픽처에서 소정의 주기로 산재된 양자화된 소스 액세스 픽처들을 포함하고, 여기서 양자화된 소스 액세스 픽처들을 인코딩하는 방법은 다음의 단계를 포함한다:
예측된 픽처로서 픽처를 인코딩하는 단계; 및
만약 픽처의 한 영역에 대한 어떠한 정보도 인코딩된 예측된 픽처에서 지시되지 않는다면, 양자화된 소스 액세스 픽처로서 인코딩할 때 양자화기 지수를 세밀 양자화 값으로 설정하는 단계.
[도면의 간단한 설명]
본 발명의 예는 아래의 첨부된 도면을 참조하면서 상세히 설명될 것이다.
도 1은 본 발명의 실시예에 따른 오디오-비주얼 데이터 스트리밍 시스템의 도식도;
도 2는 도 1의 시스템에서 사용된 비디오 인코딩 계층구조의 도식도;
도 3은 성취될 비디오 스트림들 사이에서 불일치(mismatch)가 없는 스위칭을 허용하는 비디오 인코딩 아키텍처의 도식도;
도 4는 도 1의 시스템에서 사용되기에 적합한 클라이언트-서버 아키텍처의 도식도;
도 5a와 5b는 각각 본 발명에 대해 구현된 구조의 변동과 표준 TKPT 전송 패킷 수송 구조를 예시하는 다이어그램; 및
도 6a 내지 6c는 본 발명에서 사용되는 데이터를 저장하기에 적합한 오디오-비주얼 데이터 스트림을 포함하는 데이터 구조의 양상들을 예시하는 도식도이다.
도 1은 본 발명의 실시예에 따른 오디오-비주얼 데이터 스트리밍 시스템의 도식도이다.
[실시예]
서버(10)는 인코딩된 멀티미디어 콘텐트를 직접 인코더(20)로부터 또는 파일(30)로부터 수신하며, 이 콘텐트를 하나 이상의 클라이언트(40-60)에 서비스한다. 서버(10)는 그것이 거의 아무런 프로세싱도 수행하지 않는 동안에 독립적으로 콘텐트의 많은 부분을 액세스하는 많은 클라이언트(40-60)를 지원하기 위해 스케일링하며, 온워드(onward) 전송을 위한 패킷들을 단지 선택한다. 매체에 대한 어떠한 인코딩이나 트랜스코딩도 서버(10)에서 수행되지 않는다.
원칙적으로, 서버(10)는 인코더(20)로부터 제공되고 양쪽의 라이브 스트림에 대해 그리고 파일(30)로부터의 프리(pre)-인코딩된 스트림에 대해 동일한 방식으로 동작한다. 이러한 특별한 실시예에서, 라이브 매체의 스트리밍이 설명된다. 프리-인코딩된 파일로부터의 매체를 스트리밍하는 것에서의 차이점은 차후의 실시예에서 설명된다.
서버(10)는 다수의 원형 버퍼(70-90)를 포함한다. 각각의 클라이언트(40- 60)에 대해 패킷 전송기(100)의 하나의 실례가 있다. 패킷 전송기(100)는 언제 그리고 어느 버퍼(70-90)로부터 다음번 패킷이 판독될 지를 결정하고, 선택된 패킷을 판독하며 그것을 네트워크 연결(110)을 통해 개개의 클라이언트에게 전송한다.
서버(10)로부터 각각의 개별 클라이언트(40-60)까지의 반신뢰성있는(semi-reliable) 네트워크 연결(110)은 거의 모든 발신된 패킷이 수신됨을 보장하기 위해 필요하며, 그리하여 사용자가 인식하는 품질에 있어서의 혼란을 최소화한다. 그러므로, 버퍼(120, 130)는 네트워크 연결(110)의 개별 끝단에서 사용되어 손실된 패킷의 재전송을 허용한다. 네트워크 연결(110)은 또한 네트워크 친화적으로, 즉 정체가 경험되지 않을 때는 사용되는 비트율이 증가하도록 하고, 정체가 발생할 때는 극적으로 감소하도록 하는 것이 요구된다.
시스템 구성요소들이 예시되고 통합되고 분리된 구성요소들의 조합으로서 설명되지만, 상이한 구성이 사용될 수도 있음이 이해될 것이다. 예를 들면, 외부 인코더(20) 및/또는 파일 저장장치(30)가 사용될 수 있다. 동등하게, 버퍼(130)는 클라이언트 장치(40-60)에 통합될 수 있다.
도 2는 도 1의 시스템에서 사용된 비디오 인코딩 계층구조의 도식도이다. 인코더(20)는 라이브 또는 저장된 멀티미디어 콘텐트를 탄력적으로 인코딩된 화상으로 인코딩한다. 오디오는 단일 인코딩된 비트 스트림으로 낮은 비트율로 인코딩되며, 그리하여 그 자체로서는 비탄력적이다. 그러나, 오디오는 일반적으로 비디오 보다 작은 비트율을 필요로 하기 때문에, 만약 제공된 비디오가 탄력적인 방식으로 인코딩되면, 오디오와 비디오의 결합 인코딩은 탄력적이라고 간주될 수 있다.
오디오는 AMR(Adaptive Multi-Rate) 인코더를 사용하여 4.8kbit/s로 인코딩된다. 비디오는 탄력적인 화상으로 인코딩된다. 레이어링과 유사한 방식으로, 인코더(20)는 독립적인 비디오 스트림의 계층구조를 생성한다. 각 스트림을 계층구조에서 보다 낮은 모든 스트림에 종속적으로 만듦으로써 이러한 계층구조를 설립하는 대신에, 각 스트림은 독립적으로 인코딩된다. 그러한 계층구조는 잘 알려져 있으며, '동시방송(simulcast)'이라고 지칭된다.
오디오 데이터는 낮은 비트율 AMR 스킴을 사용하여 인코딩되는 것으로 설명되었지만, 다른 AMR 인코딩 속도 및 MP3와 같은 다른 인코딩 표준이 또한 지원될 수 있다. 다양한 속도로 인코딩된 오디오는 비디오에 대해 아래에서 설명되는 것과 유사한 방식으로 독립적인 스트림의 계층구조로 조직될 수 있다. 그러나, 각 오디오 프레임이 일반적으로 독립적으로 코딩된다는 사실로부터 인코딩된 화상들 사이의 스위칭은 보다 간단하다.
ITU-T 표준 H.263으로의 확장을 사용하여 생성된 비디오 계층구조는 비디오 스트림에 대한 랜덤 액세스를 허용하기 위한 인트라 스트림(200)과, 콘텐트에 대한 일상적인 열람을 위한 하나 이상의 플레이 스트림(210a, 210b)을 포함한다. 각각의 플레이 스트림(210a, 210b)은 상이한 비트율로 인코딩되며, 그리하여 주어진 클라이언트(40-60)로 하여금 서버(10)로의 현재 네트워크 연결(110)에 적합한 속도로 수신하는 것을 허용한다. 계층구조는 인트라 스트림(200)으로부터 최저 속도 플레이 스트림(210a)으로의 스위칭과 플레이 스트림들간의 스위칭을 허용하는 스위칭 스트림(220, 230, 240)을 또한 포함한다.
인코딩 알고리즘은 움직임-보상 예측을 이용하기 때문에, 플레이 스트림에서 임의의 지점에서의 비트 스트림들간의 스위칭은, 비록 가능하다고는 해도, 상이한 비트 스트림의 동일한 시간 순간에서 재구성된 프레임들간의 불일치로 인한 시각적인 결과물로 귀결될 것이다.
현재의 비디오 인코딩 표준에서, 비트 스트림 사이의 완전한(불일치가 없는) 스위칭은 미래 프레임/영역이 현재의 스위칭 지점 이전의 어떤 정보를 사용하지 않는 위치에서만, 즉 액세스 픽처에서만 가능하다. 또한, 액세스 픽처를 고정된(예를 들면, 1초) 구간에 위치시킴에 의해, 스트리밍 비디오 콘텐트에 대한 랜덤 액세스나 "빨리 감기" 및 "뒤로 감기"(증가된 재생 속도)와 같은 VCR 기능들이 성취된다. 사용자는 비디오의 일부를 건너 뛸 수 있으며, 임의의 액세스 픽처 지점에서 재생을 다시 시작할 수 있다. 유사하게, 증가된 재생 속도, 즉 빨리감기는 단지 액세스 픽처만을 전송함에 의해 성취될 수 있다.
그러나, 액세스 픽처는 움직임-보상 예측된 프레임보다 더 많은 비트를 필요로 함이 잘 알려져 있다. 그리하여, 인트라 스트림(200)과 스위칭 스트림(220, 230, 240)이 사용된다. 스위칭 스트림의 주요 특성은 상이한 기준 프레임들이 사용될 때 조차도 동일한 픽처들이 얻어질 수 있다는 것이다.
계층구조의 주요 목적은 서버(10)로 하여금 플레이 스트림(210a 또는 210b)을 클라이언트(40-60)로 전송하는 것을 허용하여 패킷 손실과 네트워크 스루풋에서의 갑작스러운 저하에 대한 복원력을 제공하기 위해 클라이언트(40-60)에서 수신되는 데이터의 버퍼를 만드는 것과, 네트워크 연결(110)의 순간적으로 지원하는 최고의 비트율에 따라 클라이언트(40-60)에 최선의 플레이 스트림(210a 또는 210b)를 제공하는 것 사이에서의 최적의 균형을 성취하는 것이다.
인트라 스트림(200)은 심각한 에러 상태로부터의 복구와 랜덤 액세스를 제공하기 위해 사용되는 일련의 인트라 코딩된 픽처(201, 202)이다. 플레이 스트림(210a, 210b)은 양방향으로 예측될 수 있는 예측적으로 코딩된 픽처(211a, 212a, 213a, 214a, 215a; 211b, 212b, 213b, 214b, 215b)를 포함하며, 다수의 기준 화상으로부터 예측될 수 있다. 플레이 스트림(210a, 210b)은 주기적 액세스 픽처(216a, 217a; 216b, 217b)를 또한 포함한다. 스위칭 스트림(220, 230, 240)은 일련의 연결 픽처(221, 222; 231, 232; 241, 242)로 구성된다.
원형 버퍼(70-92)는 각각의 스트림 유형에 대해 지정되며, 각각의 인트라(70), 플레이(80, 95) 및 콘텐트의 각 부분에 대한 스위칭(90, 91, 92) 스트림에 대해서 하나씩이다.
우선 클라이언트(40)가 서버(10)에 연결될 때, 서버(10)는 인트라 스트림을 저장하고 있는 원형 버퍼(70)로부터 적절한 인트라 픽처(예를 들면, 인트라 픽처(201))를 찾아내며, 이것을 클라이언트(40)로 전송한다. 서버(10)는 이후 최저의 인코딩 비트율로 인트라 스트림(220)으로부터 플레이 스트림(210a)으로 스위칭하기 위한 연결 픽처(221)를 선택하고, 이후 그 플레이 스트림(213a 전방)으로부터 서비스를 계속한다.
클라이언트(40)로의 패킷의 전송은 독립적인 프로세스이며 사용된 전송 프로토콜과 네트워크의 상태에 따른 전송률을 갖는다. 그러나, 의도는 다음과 같다. 즉, 최초에 전송률은 최저 인코딩 비트율을 갖는 플레이 스트림(210a)의 인코딩 비트율보다 더 크다. 이것은 클라이언트(40)로 하여금 디코딩을 개시하고 데이터가 수신되고 디코딩되는 지점에서 즉시 사용자에게 매체를 상연하는 것을 허용하며, 동시에 클라이언트(40)로 하여금 디코딩 버퍼에 과도하게 압축된 매체 데이터를 쌓아 놓는 것을 또한 허용한다.
액세스 픽처(위의 예에서의 액세스 픽처(217a)와 같은)의 지점에서, 클라이언트(40) 및/또는 서버(10)는 상이한 플레이 스트림이 보다 적합하다고 판정할 수 있다(예를 들면 증가된 또는 감소된 네트워크 용량에 기인하여). 위의 예에서, 낮은 속도 플레이 스트림(210a)으로부터 보다 높은 속도 플레이 스트림(210b)으로의 스위칭은 서버(10)가 액세스 픽처(217a) 대신에 연결 픽처(232)를 전송함으로써 성취된다. 연결 픽처(232)는 보다 높은 속도 플레이 스트림(210b)의 플레이 스트림 픽처(215b)에 연결되며 클라이언트(40)로 하여금 그 플레이 스트림을 수신하는 것을 허용한다. 감소된 비트율의 플레이 스트림으로의 스위칭은 유사한 방식으로 성취된다.
연결 픽처를 인코딩하는 세가지 방법이 연구되어 왔다. 각 방법은 스위칭으로부터의 드리프트(drift)의 축적, 실제 스위칭의 비트율에 관한 비용, 및 드리프트가 없는 낮은 비트율 스위칭을 허용하는 유형의 통상적 픽처를 인코딩함으로써 야기되는 개개 플레이 스트림의 품질에 대한 영향 사이에서의 상이한 타협을 제공한다.
1. 예측적으로 코딩된 연결 픽처
제 1 방법에서, 연결 픽처는 예측된 픽처로서 생성된다. 그것들은 재구성될 때 목적지의 플레이 스트림에 있는 동시적인 액세스 픽처의 재구성과 예를 들면 작은 평균 제곱 차이를 갖는다는 점에서 유사하게 되는 방식으로 코딩된다. 액세스 픽처는 예측된 픽처로서 코딩될 수 있다. 연결 픽처를 인코딩하는데 사용되는 비트의 갯수는 재구성된 연결 픽처가 재구성된 액세스 픽처와 얼마나 잘 일치하는가를 결정하며, 그리하여 스위칭의 결과로서 발생할 드리프트의 양을 결정한다. 그러나, 드리프트는 각각의 스위칭의 발생에 대해 축적될 것이다.
2. 인트라 코딩된 연결 픽처
제 2 방법에서, 연결 픽처는 인트라 픽처로서 생성된다. 그것들은 재구성될 때 목적지의 플레이 스트림에 있는 동시적인 액세스 픽처의 재구성과 예를 들면 작은 평균 제곱 차이를 갖는다는 점에서 유사하게 되는 방식으로 코딩된다. 액세스 픽처는 예측된 픽처로서 코딩될 수 있다. 연결 픽처를 인코딩하는데 사용되는 비트의 갯수는 재구성된 연결 픽처가 재구성된 액세스 픽처와 얼마나 잘 일치하는가를 결정하며, 그리하여 스위칭의 결과로서 발생할 드리프트의 양을 결정한다. 그러나, 주어진 불일치의 양에 대해서, 인트라 코딩된 연결 픽처는 대개 예측적으로 코딩된 연결 픽처보다 더 많은 비트를 필요로 할 것이다. 연결 픽처에 대한 인트라 코딩의 사용은 드리프트의 축적을 방지한다.
3. 양자화된-소스 코딩된 연결 픽처
제 3 방법에서, 연결 픽처는 "ITU-텔리커뮤니케이션 표준화 섹터 비디오 코딩 전문가 그룹의 12번째 회의에 Marta Karczewicz와 Ragip Kurceren에 의해 제출 된 VCEG-L27, SP-프레임을 위한 제안: Eibsee, 독일, 2001년 1월 9-12일, ftp://standard.pictel.com/video-site/에서 이용가능함"에서 설명된, 이하 양자화된-소스 픽처로서 지칭되는 개념에 기초한 기술로써 코딩된다.
양자화된-소스 픽처에 대한 인코딩 아키텍처는 도 3에 도시되어 있다. 소스 픽처와 움직임 보상된 예측은 동일한 양자화 지수에 의해서 각각 단계(300 및 310)에서 독립적으로 양자화되고, 단계(320)에서 감산되고 단계(330)에서 가변 길이 인코딩되기 이전에 변환된다. 재구성된 픽처는 단계(340)에서 감산기(320)의 출력과 양자화 및 변환(310)의 출력을 더함에 의해, 그리고 단계(350)에서 그 결과를 역변환하고 역양자화함에 의해 형성된다. 재구성된 픽처는 픽처 저장장치(360)에 저장된다. 그 결과는 재구성된 픽처가 단순히, 양자화된 소스 픽처이며, 움직임 보상된 예측에 독립적이라는 것이다. 따라서, 주어진 소스 픽처는 상이한 기준 픽처들로부터 예측될 때 동일하게 재구성될 수 있으며, 따라서 드리프트가 없는 스위칭이 가능해 진다. 움직임 보상된 예측은 무관하지 않은데, 왜냐하면 그것은 가변 길이 인코딩될 신호의 엔트로피를 감소시키고, 따라서 픽처를 인코딩함으로써 제작된 비트들의 갯수를 감소시키기 때문이다.
액세스 픽처는 연결 픽처와 동일한 코딩 모드, 인트라 혹은 인터의 선택과 양자화기 선택을 통해 양자화기-소스 픽처로서 또한 코딩된다. 이것은 연결 픽처가 목적지 플레이 스트림에 있는 동시적인 액세스 픽처와 동일하게 재구성되는 것을 보장한다.
연결 픽처를 인코딩하는데 요구되는 비트의 갯수는 상응하는 액세스 픽처의 인코딩에 의해 결정된다. 액세스 픽처를 인코딩하는데 사용되는 비트의 갯수는 양자화가 어떻게 수행되느냐에 의존하지만, 일반적으로 예측된 픽처를 인코딩하는데 사용되는 비트의 갯수보다는 더 많고 인트라 픽처를 인코딩하는데 사용되는 비트의 갯수보다는 더 적다. 이것은 인코딩이 예측의 사용으로 인해 인트라 인코딩보다 더 효율적이지만, 예측 에러의 양자화에 기인하여 정상적인 예측보다 효율적이지는 못하기 때문이다. 따라서 양자화된-소스 픽처의 사용은 드리프트가 없는 스위칭을 허용하지만 플레이 스트림의 덜 효율적인 인코딩이라는 비용이 든다.
양자화된-소스 픽처는 예측된 픽처와 동일하게 H.263 신택스(syntax)로써 인코딩되며, MPPTYPE의 처음 세 비트를 유보된 값인 "110"로 설정함으로써 예측된 픽처로부터 그것들이 구별된다는 차이가 있다.
양자화된-소스 픽처의 주기적인 인코딩은 픽처의 정적인 영역에 비팅(beating) 효과를 야기할 수 있다. 이것은 다음과 같이 설명된다. 보통의 예측적 코딩에서, 이미 소스 픽처의 합리적인 화상으로서 인코딩된, 픽처의 정적인 영역은 변경되지 않는다. 양자화된-소스 픽처에 있는 그러한 영역의 인코딩에서, 예측은 양자화되어야 하며, 만약 그 픽처의 비정적인 영역에 대해 사용된 양자화기 지수로써 행해진다면, 그 예측은 그 영역을 변화시키며, 그리하여 아마도 그것을 더 악화시킬 것이고, 어쨌든 그것을 변화시킨다. 이러한 변화가 비팅 효과이다.
이것은 그 픽처의 영역에 대한 예측이 소스에 대한 충분히 양호한 화상을 제공할 때는 정보를 전송할 필요가 없으며, 따라서 그 영역을 변화시킬 필요가 없다는 점을 주목함으로써 극복된다. 그래서, 액세스 픽처가 양자화된-소스 픽처로서 인코딩될 때, 만약 픽처가 양자화된-소스 픽처 보다는 예측된 픽처로서 인코딩되었다면 그 영역에 대한 정보가 전송되었을 것인지를 판정하는 테스트가 수행된다. 만약 어떠한 정보도 전송되지 않았다면, 단계(300, 310)의 양자화 및 단계(350)의 역양자화에 의해 사용된 양자화기 지수는 작은 값으로 설정되며, 일반적으로 예측 에러라고 알려진 감산기(320)의 출력은 영으로 설정된다. 그리하여, 새로이 재구성된 픽처의 이 영역은 세밀한 양자화기로써 양자화된 이전에 재구성된 픽처의 상응하는 영역과 동일하다. H.263 및 다른 표준에서, 양자화기 지수의 범위는 1(세밀)에서 31(조악)까지 이다. 작은 지수라 함은, 일반적으로 8 이하의 값을 의미한다. 이것은 재구성된 픽처에 대한 불필요한 변화를 최소화하면서 동시에 전송되어야만 하는 정보의 양을 최소화한다. 그러나 상응하는 연결 픽처의 비트율에서의 비용이 있을 것이며, 여기서 예측 에러는 아마 0이 되지 않을 것이지만, 동일한 세밀 양자화기가 사용되어야 한다.
도 4는 도 1의 시스템에서 사용되기에 적합한 클라이언트-서버 아키텍처의 도식도이다.
클라이언트(40)는 네트워크 버퍼(130), 디코딩 버퍼(41) 및 디코더(42)를 포함한다. 서버(10)는 전술한 바와 같은 원형 버퍼(70, 80, 90)를 포함하며, 패킷 전송기(100)와 각 클라이언트에 대한 네트워크 버퍼(120)를 포함한다.
클라이언트(40)는 디코딩 버퍼(41)에 있는 정보의 양과 데이터의 수신률을 서버(10)가 계속 알고 있도록 유지한다. 서버(10)는 이 정보를 이용하여 언제 플레이 스트림들 사이에서 스위칭할 것인지를 결정한다. 예를 들면, 클라이언트(40)가 디코딩 버퍼(41)에서 예를 들어 15초의 데이터라는 임계 데이터 보다 더 많이 축적하였고, 클라이언트(40)가 계층구조에서의 다음번 상위의 플레이 스트림의 인코딩 속도 이상의 속도로 수신하고 있을 때, 서버(10)는 클라이언트의 패킷 전송기(100)를 다음 연결 픽처에서 다음번 상위 플레이 스트림으로 스위칭할 수 있다.
유사하게, 클라이언트(40)에 의해 디코딩 버퍼(41)에 축적된 데이터의 양이 문턱값 보다 적어질 때, 서버(10)는 클라이언트의 패킷 전송기(100)를 다음 연결 픽처에서 다음번 하위 플레이 스트림으로 스위칭할 수 있다.
전체적인 효과는 다음과 같다. 즉, 전송률은 네트워크에서의 정체의 상태에 따라 네트워크 친화적인 방식으로 변화하지만, 클라이언트의 디코딩 버퍼(41)에서의 데이터의 축적 때문에, 사용자는 전송률에서의 단기 변화의 결과로서의 품질 변화를 지각하지 못한다. 전송률에서의 보다 장기간의 변화는 상이한 인코딩 속도를 갖는 스트림으로 스위칭함에 의해 취급되며, 그리하여 네트워크가 그것을 허용할 때 증가된 품질을 허용하며, 그리고 네트워크 스루풋이 저하될 때 사용자에게 상연을 멈추거나 오염된 매체를 상연함이 없이 품질을 저하시킨다.
클라이언트에서의 디코딩 버퍼(41)는 사용자에게 상연되는 매체의 품질에 대한 네트워크 성능 변동의 영향을 감소시키기 위해 사용된다. 버퍼가 취급하도록 설계된 네트워크 특성은 세 가지 카테고리로 나뉘어진다: 패킷 지터, 패킷 손실 및 가변 스루풋. 실제에 있어서, 이들 세 가지 네트워크 특성은 독립적이지 않으며, 모두는 네트워크 정체와 연관되어 있고, 모바일 네트워크인 경우에는 물리적 레이어에서의 열화와 연관되어 있다.
전송률을 매체 인코딩 속도와 디커플링시킴으로써, 클라이언트의 디코딩 버퍼(41)는 네트워크의 상태가 양호할 때 채워질 수 있으며, 네트워크 상태가 그렇게 좋지 못하는 시간을 위한 복원력을 제공한다.
디코딩 버퍼(41)에 수십초의 데이터를 축적하는 것은 동일한 크기의 패킷 지터(지연 변동)가 사용자로부터 숨겨지는 것을 허용한다. 실제에 있어서, 이것은 모든 패킷 지터를 숨기는데, 왜냐하면 더 큰 양의 지터는 일시적인 연결 드롭-아웃(drop-outs)으로 보다 잘 분류되기 때문이며, 이것은 아래에서 설명되는 에러 복구 프로세스에 의해 처리된다.
디코딩 버퍼(41)에 데이터를 축적함에 의해, 손실된 패킷들은 그것들이 디코딩에 필요해지기 전에 재전송하기 위한 시간이 이용가능하다. 또한, 다수의 왕복 지연보다 더 많은 데이터를 포함하도록 디코딩 버퍼(41)의 크기를 정함으로써, 패킷 손실로부터 회복하기 위한 약간의 재전송 시도를 위한 시간이 있다. 이것은 디코딩된 매체 품질에 영향을 미침이 없이 대부분의 패킷 손실 경우로부터의 회복을 허용하며, 연결을 반신뢰성 있게끔 만든다.
최종적으로 또한, 디코딩 버퍼(41)에 데이터를 축적함에 의해, 클라이언트(40)는 수신 비트율이 인코딩 비트율보다 더 작은 약간의 시간 동안, 그리고 수신률이 영으로 떨어지는 약간의 시간 동안, 일정한 매체 품질을 유지할 수 있다.
데이터가 인코딩 속도와는 독립적인 속도로 클라이언트(40)에게로 스트리밍되고 디코딩 버퍼(41)에 버퍼링됨에 따라, 데이터의 디코딩은 단순히 가능한한 빨 리 디코딩되고 상연되기 보다는 정확히 시간이 맞추어지는 것이 필요하다. 타임스탬프는 오디오와 비디오의 동기화를 위해서 뿐만 아니라 이러한 목적을 위해서도 사용된다.
네트워크 변동 때문에, 바이트로 측정되는, 클라이언트의 디코딩 버퍼(41)에 있는 데이터의 양은 시간에 따라 변할 수 있다. 또한, 그것이 나타내는 매체 상연 시간의 길이에 대해 측정되는, 디코딩 버퍼(41)에 있는 데이터의 양도 또한 시간에 따라 변할 것이다. 이것은 라이브 콘텐트의 스트리밍에 영향을 미친다: 만약 클라이언트(40)에게로 전송된 첫번째 데이터가 그것이 캡처링되고 인코딩된 시간으로부터 최소한의 지연을 갖고서 전송된다면, 디코딩 버퍼(41)에 데이터를 쌓는 것은 가능하지 않다. 따라서, 클라이언트(40)에게로 전송되는 첫번째 데이터는 옛 데이터, 즉 클라이언트(40)가 서버에 연결되기 약간의 시간 전에 발생한 이벤트를 나타내는 데이터이어야만 한다. 이후, 디코딩 버퍼(41)가 채워짐에 따라, 그것에 있는 가장 최근의 데이터는 점점 더 최근의 것이 되며, 동시에 사용자에게 상연되는 매체는 실제 발생 시간으로부터 일정한 지연을 갖도록 유지된다.
서버는 인코딩 후 일정한 시간 구간 동안 인코딩된 데이터를 원형 버퍼(70, 80, 90)에 버퍼링함으로써, 클라이언트(40)가 서버(10)에 연결될 때, '옛' 데이터가 클라이언트(40)로의 스트리밍을 위해 이용가능하도록 한다. 클라이언트의 디코딩 버퍼(41)가 채워짐에 따라, 원형 버퍼(70, 80, 90)로부터의 판독 지점은 이들 버퍼에 있는 가장 최신 데이터에 점점 더 가까워진다.
원형 버퍼(70, 80, 90)와 클라이언트 디코딩 버퍼(41)의 최적의 크기는, 그 것이 나타내는 매체 상연의 시간으로 측정될 때, 바람직하게는 각각이 동일한 양의 데이터를 포함할 수 있도록 하는 것이다.
서버(10)와 클라이언트(40)에 각각 있는 네트워크 버퍼(120, 130)는 반신뢰성있는 데이터 연결을 구현하는 수송 프로토콜에 의해 사용된다. 일반적으로, 데이터는 그것과 모든 이전 데이터가 클라이언트(40)에 수신되었다는 수신통지를 받기 전까지는 서버의 네트워크 버퍼(120)에 보존된다. 유사하게, 데이터는 그것과 모든 이전 데이터가 성공적으로 디코딩 버퍼(41)에 수신되고 전달되었을 때 클라이언트의 네트워크 버퍼(130)로부터 제거될 것이다. 결론적으로, 서버(10)는 자신의 네트워크 버퍼(120)에 보존된 데이터를 알고 있음으로써, 단방향 전송 지연에 의해 주어진 제한 내에, 어떤 데이터가 클라이언트(40)에 의해 성공적으로 수신되었는지를 안다.
이것은 클라이언트(40)에 의해 얼마나 많은 데이터가 수신되었는지를 서버(10)가 알기 위해서는 수송 프로토콜 자체에 의해 요구되는 것 이외에 클라이언트(40)으로부터 서버(10)로의 어떠한 피드백도 필요하지 않으며, 그리하여 그것은 플레이 스트림들 사이의 스위칭에 대한 결정을 내릴 수 있음을 의미한다.
클라이언트의 디코딩 버퍼(41)에 있는 데이터의 축적의 존재는 지터, 패킷 손실 및 가변 스루풋과 같은 다수의 네트워크 결함에 대한 복원력을 제공한다. 명확하게, 디코딩 버퍼(41)가 전체 매체 콘텐트를 보유하도록 그 크기가 정해지지 않고, 모든 데이터가 수신될 때까지 상연이 지연되지 않는다면, 모든 네트워크 결함으로부터 회복하는 것은 가능하지 않다. 이러한 경우는 스트리밍이 아니고 다운로드이므로, 심각한 네트워크 결함을부터의 회복 전략이 필요하다.
네트워크 스루풋이 상당한 시간 동안 최저 속도 플레이 스트림의 인코딩 속도 아래 수준으로 내려가는 시간에, 디코딩 버퍼(41)에 있는 데이터의 양은 감소할 것이고 결국은 영이 될 것이다. 이러한 시간에, 사용자에 대한 상연은 정지할 것이다. 그러나, 원형 버퍼를 채우는 동작은 서버(10)에서 계속될 것이다. 결과적으로, 네트워크가 최저 속도 플레이 스트림의 전송이 다시 가능한 상태로 회복될 때, 클라이언트(40)에 의해 요구되는 다음 데이터는, 그것이 보다 최신의 데이터에 의해 덮어씌어졌을 것이기 때문에, 아마도 대개의 경우는 서버의 원형 버퍼(70, 80, 90)에 있지 않을 것이다.
이러한 상황으로부터 회복하기 위해, 서버(10)는 마치 새로운 연결이 클라이언트로부터 만들어진 것처럼 스트리밍을 재시작해야 한다: 그것은 인트라 스트림에서 한 지점을 발견해서, 그것으로부터 스트리밍을 시작하고, 이후 연결 스트림을 통해 최저 속도 플레이 스트림으로 스위칭해야 한다. 사용자에 대한 영향은 디코딩 버퍼(41)가 비워진 시간부터 서버가 인트라 스트림을 전송하는 시간까지의 매체의 손실일 것이다.
서버(10)는 클라이언트의 디코딩 버퍼(41)가 비워짐을 인지할 것인데, 왜냐하면 그것은 클라이언트가 디코딩을 시작한 때와 얼마나 많은 데이터가 성공적으로 수신되었는지를 알고 있기 때문이다. 따라서 그것은 클라이언트로부터의 특정 메시지가 필요없이 인트라 스트림 픽처에서 재시작할 수 있을 것이다. 그러나, 시스템에 복원력을 제공하기 위해서는, 예를 들면 서버와 클라이언트에서의 상이한 클락 속도의 영향으로부터 회복하기 위해서는, 이러한 상황에서 클라이언트(40)로부터 서버(10)로 제어 메시지가 전송된다.
원칙적으로, 파일로부터의 스트리밍은 라이브 스트리밍과 동일하다. 실제에 있어서, 그것은 다소 더 간단하다. 데이터는 필요한 때 필요한 바대로 파일로부터 읽혀질 수 있기 때문에 원형 버퍼(70, 80, 90)에 대한 필요가 없다. 그러나 서버(10)는 클라이언트(40)에서의 디코딩 버퍼(41)를 채우고 플레이 스트림들 사이에서 스위칭하기 위해 동일한 기술을 사용한다. 디코딩 버퍼(41)가 비게 되는 경우에, 인트라 스트림 픽처를 갖는 콘텐트에서의 나중 지점에서 재시작할 필요는 없는데, 왜냐하면 상연은 네트워크 스루풋이 다시 충분히 될 때 재개될 수 있기 때문이다: 사용자는 단순히 어떠한 매체도 상연되지 않는 구간을 인식한다.
빨리 감기, 되감기 및 랜덤 액세스와 같은 트릭 모드는 인트라 스트림의 사용에 의해 가능해 진다.
덮어씌어지기 바로 전에 원형 버퍼(70, 80, 90)에 '옛' 데이터를 쓰는 것에 의해, 디코딩 버퍼(41)가 비게 되고, 인트라 스트림 픽처에 의해 회복이 발생하기 전까지 사용자가 콘텐트를 놓치는 전술한 문제는 회피될 수 있는데, 왜냐하면 클라이언트에게로 스트리밍하기 위한 데이터는 항상 이용가능할 것이기 때문이다: 그것은 원형 버퍼(70, 80, 90)로부터 보다는 파일로부터 읽혀져야 할 것이다.
그러한 기능은 또한 클라이언트로 하여금 상연 중인 매체를 정해지지 않은 시간 동안 일시 멈추게 하고, 나중에 스트리밍을 계속하는 것을 허용한다. 그것은 또한 사용자로 하여금 일시멈춤 후에 라이브 스트림을 따라잡기 위해 빨리 감기를 하는 것을 허용할 것이다.
전술한 클라이언트-서버 아키텍처에서 시험된 수송 프로토콜의 구현은 ISO TCP 수송 프로토콜 TKPT에 기초하는데, 이것은 RFC-2126에 있는, Y. Pouffary에 의한 "ISO Transport Service on top of TCP(ITOT)"에 상세히 설명되어 있다.
표준 TPKT 프로토콜은 도 5a에 예시된 헤더를 정의하며, 그 뒤에 페이로드(payload)가 따른다. 패킷 길이는 8단위로 헤더 및 페이로드의 결합 길이를 나타낸다.
본 발명을 위해 사용된 구현예에서, TPKT는 헤더를 갖도록 확장되며, 그것의 예는 도 5b에 예시되어 있으며, 그 뒤에 페이로드가 따른다. 패킷 길이는 8단위로 헤더, 만약 존재한다면 타임스탬프, 및 페이로드의 결합 길이를 나타낸다. T는 타임스탬프가 존재하는 비트를 가리키며, M은 페이로드가 오디오 또는 비디오 정보를 포함하고 있는지를 가리키는 비트이다.
전술한 바와 같이, 타임스탬프는 데이터 디코딩의 정확한 타이밍을 위해 필요하다. 패킷 헤더에 임베딩된 정보는 패킷의 길이, 패킷에 있는 데이터에 대한 타임스탬프, 스트림 식별자를 포함한다.
스트림 식별자는 오디오 및 비디오가 단일 TCP 연결내로 다중화되는 것을 허용하기 위해 제공된다. 이것은 오디오와 비디오 전송의 동기화를 보장한다. 만약 분리된 TCP 연결들이 사용된다면, 네트워크 특성에 대해 다소 상이하게 응답하고 상이한 스루풋을 성취하는 것이 가능할 것인데, 이는 결과적으로 클라이언트의 디코딩 버퍼에 있는 매우 상이한 양의 데이터(상연 시간으로 측정된)로 귀결될 것이 다. 비록 이러한 차이는 관리될 수 있지만, 그 문제는 단일 TCP 연결을 이용하고 이웃 패킷에서 동일한 상연 시간을 갖는 오디오와 비디오를 다중화함으로써 완전히 회피될 수 있다. 사실, 비디오만 있는 시스템에 오디오 부가하는 것은 관련된 비디오와 동일한 시간에 오디오 패킷을 전송할 것을 요구한다: 추가적인 어떠한 제어도 필요하지 않는다.
서버(10)는 가능한한 빨리 패킷을 전송하려 시도한다. 초기에, 다수의 패킷은 네트워크 용량에 상관없이 백-투-백(back-to-back)으로 전송되어, 서버의 네트워크 버퍼(120)에 단순히 쌓인다. 네트워크 버퍼(120)가 꽉 찰 때, 패킷이 네트워크 버퍼(120)로 전송될 수 있는 속도는 네트워크를 통한 전송률과 일치하며, 전송 프로세스는 소켓 전송 기능에 대한 콜(call)을 차단함에 의해 제한된다.
전송률은 또한 클라이언트에서 버퍼링되는 데이터의 양이 문턱값, 예를 들면 30초에 도달할 때 제한된다. 클라이언트의 디코딩 버퍼(41)가 이러한 양의 데이터를 가지고 있을 때, 서버(10)는 이러한 수준의 차 있는 정도를 유지하기 위해 전송률을 제한한다.
네트워크 스루풋은 네트워크 버퍼(120)에 전송된 바이트를 세고, 이 값에서 네트워크 버퍼의 크기를 빼고, 전송 개시로부터의 시간으로 나눔으로써 추산된다. 네트워크 스루풋의 단기 추산치는 전송된 바이트에 대한 2회의 계산과 그것들을 전송하는데 소요된 시간에 대한 2회의 측정을 이용하여 계산되는데, 한 쌍으로부터는 스루풋을 계산하고, 주기적으로 그들 사이에서 스위칭하며, 더 이상 사용되지 않는 쌍을 영으로 재설정한다. 예를 들면, 만약 재설정이 매 200초마다 일어난다면, 네 트워크 스루풋은 재설정 직후 200초 후부터 다시 재설정하기 40초 전까지의 구간 동안에서 추산된다.
이러한 기술은 서버(10)가 가능한한 빨리 스트리밍을 시도하고 있다면 만족스럽게 작동한다. 그러나, 전술한 바와 같이, 디코딩 버퍼(41)에 있는 데이터의 양이 문턱값을 초과한다면, 서버(10)는 일정한 버퍼 충만도를 유지하기 위해서 전송률을 제한한다. 이 경우, 네트워크 스루풋은 현재 플레이 스트림의 인코딩 비트율로서 추산될 것이다. 이러한 상태에 있을 때, 네트워크는 현재 스트리밍되고 있는 것보다 더 높은 속도의 플레이 스트림을 전송할 수 있을 것이지만, 서버(10)는 자신의 속도 제한 때문에 네트워크 스루풋에 대한 엄밀한 추산을 할 수 없기 때문에 스위칭하지 않는다. 이러한 상태로부터 탈출하기 위해서, 서버는 클라이언트 디코딩 버퍼 충만도 문턱값을 주기적으로 무시할 것이며, 주어진 시간 구간 동안에 또는 주어진 데이터 양에 대해서 최대 속도로 스트리밍할 것이다. 그것은 네트워크 버퍼(120)에 전송된 바이트의 갯수와 걸린 시간을 기록하는데, 전송 기능에 대한 콜을 차단함에 의해 검출되는 바, 네트워크 버퍼(120)가 완전히 차는 때에 시작한다. 이후 그것은 성취가능한 스루풋을 추산하며, 보다 높은 속도의 플레이 스트림으로 스위칭할지 여부를 판정하기 위해 그것을 이용한다.
전술한 바와 같이, 네트워크 버퍼(120)에 간직되어 있는 데이터를 알고 있음으로써, 서버(10)는 어떤 데이터가 클라이언트(40)에 의해 수신되었으며 디코딩 버퍼(41)에 전달되었는지를 암시적으로 안다. 이러한 정보는 이후 언제 플레이 스트림들 사이에서 스위칭할 것이며, 언제 에러 복구 프로시져를 불러일으킬 것인지를 판정하는데 사용될 수 있다. 그러나, 대개의 소켓 구현에서 서버의 네트워크 버퍼(120)의 충만도와 콘텐트에 대한 가시성은 지원되지 않는다. 네트워크 버퍼(120)의 콘텐트를 모니터링하기 위해서, 미러 버퍼(120a)가 구현된다. 미러 버퍼(120a)는 네트워크 버퍼(120)로 전송된 실제 데이터를 저장하지 않으며, 대신에 전송된 데이터의 갯수와 데이터의 타임스탬프를 저장한다. 네트워크 버퍼(120)의 크기를 알고 있기 때문에, 그리고 그것이 항상 차 있다고 가정하기 때문에, 서버(10)는 미러 버퍼(120a)를 통해 네트워크 버퍼(120)에 있는 가장 오래된 데이터의 타임스탬프에 대한 액세스를 가지며, 여기서 미러 버퍼는 클라이언트의 디코딩 버퍼(41)에 있는 가장 최신의 데이터의 타임스탬프와 거의 동일하다.
테스트에서, 서버(10)에서의 네트워크 버퍼(120)가 항상 차 있다는 가정은 대개의 경우 정확하다는 것이 발견되었다. 이것은 전송 프로세스는 네트워크 버퍼(120)로 가능한한 빨리 전송하게끔 제어되기 때문이다. 만약 네트워크 버퍼(120)가 덜 충만하게 된다면, 그 효과는 클라이언트(40)에서의 데이터의 양을 과소평가하는 것이며, 이것은 대개의 경우에는 안전한데, 왜냐하면 주요 문제는 오버플로우보다는 클라이언트(40)에서의 데이터의 고갈로 간주되기 때문이다. 실제에 있어서, 디코딩 버퍼(41)는 저장될 필요가 있는 가장 큰 양의 데이터보다 더 크게 그 크기가 정해질 수 있다. 어떤 경우에, 만약 디코딩 버퍼(41)가 충만하게 된다면, 클라이언트(40)는 네트워크 버퍼(130)으로부터 읽기를 중단하며, 이는 다시 서버 네트워크 버퍼(120)가 비게 되는 것을 방지하고 전송은 중단된다.
클라이언트의 디코딩 버퍼(41)에 있는 데이터의 정확한 양을 판정하기 위해 서, 서버는 또한 클라이언트가 현재 디코딩하고 상연하고 있는 데이터 패킷의 타임스탬프를 알 필요가 있다. 서버(10)는 두 가지 가정을 이용하여 이를 계산한다: 첫째, 클라이언트(40)는 서버(10)가 첫번째 패킷을 전송한 직후 디코딩을 시작한다; 둘째, 클라이언트의 클락은 스트리밍 기간 동안에 서버의 클락으로부터 크게 벗어나지는 않는다.
실제에 있어서, 두 가정은 유효한 것으로 알려졌다. 클라이언트(40)는 데이터를 수신하자 마자 디코딩을 시작하도록 설계되며, 그리하여 서버의 추산된 상연 시간에 있어서의 임의의 에러는 디코딩 버퍼(41)에 있는 데이터 양에 대한 과소평가로 귀결될 것인데, 이것은 위에서 설명된 바대로 문제가 안된다. 일반적인 스트리밍 세션 동안의 클라이언트 및 서버 클락간의 어긋남은 버퍼링되는 데이터의 양에 비하면 아마도 무시할 수 있을 것이다. 예를 들면, 100ppm(parts per million)의 차이를 가지는 경우, 1초의 어긋남이 발생하는 데는 10000초, 거의 3시간이 걸릴 것이다. 많은 양의 어긋남이 축적되는 드문 경우에, 클라이언트(40)는 전술한 바와 같이, 디코딩 버퍼 언더플로우에 대해 전송되는 것과 같은 제어 메시지를 사용함에 의해 서버(10)에게 경고할 수 있다.
서버(10)는 초기에 최저의 비트율로 플레이 스트림을 스트리밍하며, 그리하여 클라이언트(40)로 하여금 사용자에게 즉시 매체를 디코딩하고 상연할 수 있도록 하며, 동시에 또한 디코딩 버퍼(41)에 데이터의 수준을 쌓아 네트워크 결함에 대한 복원력을 제공한다. 만약 네트워크가 보다 높은 속도의 플레이 스트림의 전송을 지원하기에 충분한 용량을 가진다면, 서버(10)는, 적절한 시간에, 보다 높은 속도의 플레이 스트림으로 스위칭해야 한다.
언제 보다 높은 속도의 플레이 스트림으로 스위칭할 것인지를 결정하는데 사용될 수 있는 많은 가능한 전략이 있다. 바람직하게는, 클라이언트(40)는 소정의 시간 구간 동안에, 예를 들면 15초 동안 매체를 디코딩하고 상연하는 것을 계속할 수 있기 위해서는 디코딩 버퍼(41)에 충분한 데이터를 가지고 있어야 한다. 또한, 다음이 바람직하다. 즉, 가장 최근 60초 동안에 측정되고 최근 과거에 성취된 네트워크 스루풋은 무기한으로 스위칭되도록 플레이 스트림의 스트리밍을 유지하기에 충분해야만 한다; 즉, 최근에 성취된 네트워크 스루풋 속도는 플레이 스트림의 비트율 이상이어야 한다. 목표는 스트림들간의 빈번한 스위칭을 피하는 것인데, 왜냐하면 이것은 낮은 속도로 일정한 품질을 보여주는 경우보다 사용자에게 더 성가신 것이 될 수 있기 때문이다.
이러한 목적을 달성하기 위해서, 스위칭 다운 결정은 스위칭 업 결정에 히스테리시스한 관계를 포함하는 것이 바람직하다. 예를 들면, 다음번 낮은 속도 비트 플레이 스트림으로의 스위칭 다운은 특정한 시간 구간, 예를 들면 8초 동안에 매체를 계속해서 디코딩하고 상연할 수 있을 정도로 디코딩 버퍼(41)에 더 이상 충분한 데이터를 가지고 있지 않을 때 촉발될 수 있다. 세 개 이상의 플레이 스트림을 갖고, 현재 스트리밍되는 플레이 스트림이 세 번째나 훨씬 더 높은 속도의 플레이 스트림인 구성의 경우에, 이 전략은 계층구조의 바닥으로 즉시 떨어지는 결과를 낳지 않는데, 이는 액세스 픽처는 단지 주기적으로 발생하기 때문이며, 따라서 디코딩 버퍼 충만도는 제 2 스위칭 다운이 필요해지지 않도록 제 1 스위칭 다운 후에 회복 되는 것이 바람직하다.
도 6a 내지 6c는 본 발명에서 사용되기에 적합한 오디오-비주얼 데이터 소스를 저장하기 위한 데이터 구조의 양상들에 대한 도식도이다.
도 6a에 도시된 주요 데이터 구조는 다중 오디오 플레이 스트림, 인트라 비디오 스트림과 다중 비디오 플레이 및 스위칭 스트림을 단일 파일에 저장하는 것을 허용한다.
본 발명에서 생성되고 사용되는 오디오 비주얼 데이터 소스는 클라이언트에게 임의의 시간에 전송될 수 있는 다수의 인코딩된 스트림을 갖기 때문에, 종래의 시퀀셜 파일에 저장하는 것은 가능하지 않다. 예를 들면, 비디오의 경우에, 특정한 소스 픽처는 각각의 플레이 스트림에 인코딩될 수 있으며, 스위칭 스트림의 모두 또는 약간 및 인트라 스트림에 또한 인코딩될 수 있다.
파일은 데이터 구조를 포함하며, 그 예는 도 6a에 예시되어 있으며, 그 뒤를 스트림 데이터가 따른다. 데이터 구조는 스트림의 갯수와 유형(오디오, 비디오, 스위칭 등)에 대한 정보를 포함하는 헤더(600)를 포함한다. 각 유형의 스트림의 첫번째와 마지막 인스턴스(instance)에 대해서, 그것은 각 스트림에 대한 헤더에 대한 포인터들(610-680)(파일의 처음으로부터의 오프셋으로 표현됨)을 포함한다.
각 포인터(620-680)는 스트림 헤더(700)를 포함하는 스트림 데이터 구조를 가리키며, 스트림 헤더는 동일 유형의 다음번 스트림 헤더에 대한 포인터(710), 각각 스트림의 첫번째와 마지막 패킷에 대한 포인터(720, 730)를 포함한다. 각 스트림 유형은 특정 스트림 헤더 유형을 사용하지만, 어떤 요소들은 모든 스트림 헤더 유형에 공통이다: 스트림 식별 번호(705), 동일 유형의 다음번 스트림 헤더에 대한 포인터(710), 각각 스트림의 첫번째와 마지막 패킷에 대한 포인터(720, 730). 이들 공통 요소만을 포함하는 예시적인 스트림 헤더가 도 6b에 예시되어 있다. 플레이 및 오디오 스트림 헤더는 스트림이 인코딩된 비트율을 추가적으로 포함한다. 스위칭 스트림 헤더는 스위칭 스트림이 스위칭할 수 있는 플레이 스트림들의 스트림 식별자를 포함한다.
각 스트림은 패킷들의 시퀀스로 구성되며, 각각 패킷 데이터 구조에 의해 표현되는데, 그 예는 도 6c에 예시되어 있다. 각 패킷 데이터 구조는 패킷 헤더(800)와 페이로드(810)를 포함한다. 헤더는 스트림에 있는 다음 패킷에 대한 포인터(801), 타임스탬프(802), 패킷 시퀀스 번호(803), 패킷 크기(804), 프레임 번호(805)(즉, 아마도 다른 패킷들과 함께 그 패킷이 나타내는 비디오 픽처 또는 오디오 프레임의 시퀀스 번호)를 포함하는 데이터를 포함한다. 스위칭 패킷은 비트율 스위칭이 일어날 수 있는 플레이 스트림들에 있는 패킷들의 시퀀스 번호들을 추가로 포함한다. 스위치 스트림 패킷 헤더는 스위칭 지점을 효과적으로 정의하며, 스위칭하기 "전" 스트림으로부터 플레이되는 마지막 패킷의 시퀀스 번호와, 스위칭 "후" 스트림으로부터 플레이되는 첫번째 패킷의 시퀀스 번호를 포함한다. 시퀀스 번호는 0에서 시작하며, 결코 음수가 아니다. 포인터의 사용은 스위칭이 가능할 때 스트림들 사이에서의 네비게이션을 돕는다. 하지만, 이러한 접근은 이 특별한 실시예에서 사용되지 않았다.
마지막 스트림 데이터 구조와 마지막 패킷에 대한 포인터들은 파일에 첨부할 때 유용한데, 왜냐하면 그것들은 전체 파일을 통한 검색이 필요없이, 파일이 연장되어져 있어야만 하는 지점들에 대한 즉각적인 액세스를 제공하기 때문이다.
데이터 구조의 복잡성은 잠재적으로 많은 스트림들이 인터리브되는 것으로부터의 패킷들의 결과이며, 스위칭과 복구의 지원 필요의 결과이다. 패킷으로부터 패킷으로의 네비게이션은 일반적으로 한 스트림 내에서 연속적인 패킷들이 파일 내에서는 연속적으로 저장되지 않을 것이기 때문에 반드시 포인터들에 의한다. 스위칭 및 복구 패킷들을 쓰는 것은 소스 및 데스티네이션 패킷들의 정밀한 상세가 기록되는 것을 필요로 한다. 재생 동안에 스트림들간의 스위칭은 우선 다음번 이용가능한 스위칭 패킷의 식별을 필요로 하며, 이 후로 스위칭 "전" 스트림으로부터의 잔여 패킷의 재생, 스위칭 패킷의 재생, 적절한 지점으로부터 스위칭 "후" 스트림으로부터의 패킷의 재생이 이어진다. 또한, 스트림들 사이에서 스위칭 할 때는 어떠한 상당한 지연도 없어야만 한다.
테스트에서, 파일-기반 및 라이브 스트리밍 시나리오는 BTCellnet™GPRS 네트워크를 이용하여 조사되었다. 데스크톱 펜티엄 PC가 인코더와 서버를 실행하기 위해 사용되었다. 클라이언트는 Motorola Timeport™GPRS 이동전화에 대한 적외선 링크를 통해 연결된 Compaq iPaq™이었다.
비디오만 있는 구성에서, 두 개의 스위칭 스트림이 사용되었으며, 6kbit/s와 12kbit/s의 비트율이었다.
시스템은 예상했던대로 수행하였다. 전송은 인트라 스트림으로 시작되고 이후 6kbit/s 플레이 스트림으로 스위칭되며, 여기서 약간의 시간동안 머물면서, 6kbit/s 보다 더 빠른 실제 전송의 결과로서 클라이언트에 데이터를 축적한다. 이후, 충분한 데이터가 축적되었을 때, 단기 평균 수신률은 12kbit/s 이상이며, 그것은 더 높은 속도의 플레이 스트림으로 스위칭한다.
긴 세션 동안에, 때때로 더 낮은 속도의 플레이 스트림으로 다시 스위칭이 일어나는데 이는 감소된 네트워크 스루풋의 결과이다. 매우 드물게, 매체 상연은 네트워크가 데이터를 클라이언트에게 배달할 수 없는 심각한 기간 때문에 중단된다.
전체적인 결과는 대부분의 세션에 대해서, 사용자는 연속적인 매체 상연을 볼 수 있으며, 때때로 품질에서의 변화가 수반되지만, 비트 에러 및 패킷 손실과 대개 연관된 유형의 왜곡은 없다. 단지 매우 드물게 심각한 네트워크 결함과 스루풋의 손실의 결과로서 관찰된 매체 상연의 완전한 일시중단이 있다.

Claims (28)

  1. 데이터 스트리밍 시스템에 있어서,
    상기 시스템은 복수의 인코딩된 데이터 스트림 중의 하나를 클라이언트(40, 50, 60)에게로 스트리밍하도록 마련된 서버(10)를 포함하고,
    상기 복수의 인코딩된 데이터 스트림의 각각은 상기 복수의 인코딩된 데이터 스트림 중에서의 다른 데이터 스트림들과 서로 다른 해상도로 독립적으로 인코딩된, 데이터 소스의 데이터 스트림이고,
    상기 서버(10)는 전송기(100)와 제 1 버퍼(120)를 포함하고,
    상기 전송기(100)는 상기 제 1 버퍼(120)를 통해 인코딩된 데이터 스트림의 데이터 패킷들을 상기 클라이언트(40, 50, 60)로 전송하고, 상기 클라이언트(40, 50, 60)가 데이터 패킷을 수신하였음을 수신통지함에 따라 상기 제 1 버퍼(120)로부터 해당 데이터 패킷을 제거하고,
    상기 전송기(100)는 상기 클라이언트(40, 50, 60)에서 버퍼링되는 데이터의 내용(contents)에 의해 표시되는 재생 시간을 추정하고, 추정된 재생 시간이 소정의 기준을 만족하는 경우에는 전송하는 스트림을 상기 복수의 데이터 스트림중의 다른 데이터 스트림으로 스위칭하는 수단을 구비하고,
    또한 상기 전송기(100)는 상기 제 1 버퍼(120)의 내용(content)을 모니터링하고, 상기 재생 시간의 추정은 상기 제 1 버퍼(120)의 내용 및 상기 전송기에 의해 추정되는 상기 클라이언트(40, 50, 60)에 의해 디코딩된 패킷들의 갯수에 따라 결정되는 것을 특징으로 하는 데이터 스트리밍 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 버퍼(120)는 상기 제 1 버퍼(120)에 있는 패킷들에 대한 데이터를 저장하는 미러 버퍼(120a)를 구비하며,
    상기 전송기(100)는 상기 미러 버퍼(120a)에 있는 상기 데이터를 이용하여 상기 제 1 버퍼(120)의 상기 내용을 모니터링하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 서버는 복수의 전송기(100)를 추가로 포함하며,
    상기 복수의 전송기의 각각은 개개의 제 1 버퍼(120)를 통해 개개의 클라이언트(40, 50, 60)와 통신하여 각각 소정의 기준에 따라 결정된 복수의 데이터 스트림 중의 하나를 전송하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 데이터 스트림은 인코딩된 비디오 데이터인 것을 특징으로 하는 데이터 스트리밍 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 데이터 스트림은 인코딩된 오디오 데이터인 것을 특징으로 하는 데이터 스트리밍 시스템.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 해상도는 상기 데이터의 인코딩 비트율인 것을 특징으로 하는 데이터 스트리밍 시스템.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 서버(10)는 데이터 피드(feed)를 수용하고 상기 데이터 피드를 상기 복수의 인코딩된 데이터 스트림으로 인코딩하는 인코더(20)를 구비하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  8. 제 7 항에 있어서,
    상기 시스템은 복수의 버퍼(70, 80, 90)를 추가로 포함하며,
    상기 인코더(20)는 각각의 인코딩된 데이터 스트림을 각각 복수의 버퍼(70, 80, 90) 중의 하나로 출력하고,
    상기 전송기(100)는 상기 복수의 버퍼 중의 각각으로부터 각각의 데이터 스트림에 대한 데이터 패킷을 얻어 내는 것을 특징으로 하는 데이터 스트리밍 시스템.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 서버(10)는 상기 복수의 인코딩된 데이터 스트림을 저장하는 파일 소스(30)를 구비하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 클라이언트(40, 50, 60)는 수신 버퍼(130)를 구비하고,
    상기 클라이언트(40, 50, 60)는 수신된 데이터 패킷을 상기 수신 버퍼(130)에 저장하고 상기 서버(10)에 수신통지를 하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  11. 제 10 항에 있어서,
    상기 패킷은 패킷 시퀀스 데이터를 포함하며,
    상기 클라이언트(40, 50, 60)는 상기 시퀀스 데이터에 기초하여 수신되지 않은 패킷의 재전송을 요청하고,
    상기 서버(10)는 재전송 요청을 수신함에 따라 상기 제 1 버퍼(120)로부터 패킷을 재전송하는 것을 특징으로 하는 데이터 스트리밍 시스템.
  12. 네트워크와 통신가능하며 전송기(100)와 제 1 버퍼(120)를 구비하는 서버에 의해 실행되는, 복수의 인코딩된 데이터 스트림을 클라이언트에게로 스트리밍하는 방법에 있어서,
    상기 복수의 인코딩된 데이터 스트림의 각각은 상기 복수의 인코딩된 데이터 스트림 중의 다른 데이터 스트림들과 서로 다른 해상도로 독립적으로 인코딩된, 데이터 소스의 데이터 스트림이고,
    상기 인코딩된 데이터 스트림의 데이터 패킷들을 상기 제 1 버퍼를 통하여 상기 클라이언트에게로 전송하는 단계; 및
    상기 클라이언트(40, 50, 60)가 데이터 패킷을 수신하였음을 수신통지함에 따라 상기 제 1 버퍼(120)로부터 해당 데이터 패킷을 제거하는 단계를 구비하고,
    상기 방법은 추가로,
    상기 전송기(100)에서, 상기 제 1 버퍼(120)의 내용 및 상기 클라이언트(40, 50, 60)에 의해 디코딩된 패킷들의 상기 전송기에 의해 추정되는 추정 갯수에 따라서, 상기 클라이언트(40, 50, 60)에서 버퍼링되는 데이터의 내용에 의해 표시되는 재생 시간을 추정하는 단계, 및
    추정된 상기 재생 시간이 소정의 기준을 만족하는 경우에는, 전송하는 스트림을 상기 복수의 데이터 스트림 중의 다른 데이터 스트림으로 스위칭하는 단계를 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  13. 제 12 항에 있어서,
    상기 복수의 데이터 스트림은 각각 서로 다른 비트율로 인코딩되며,
    상기 방법은 최저의 비트율 데이터 스트림의 데이터 패킷들을 초기에 전송하는 단계를 추가로 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 소정의 기준은 클라이언트에서 버퍼링되도록 결정된 데이터의 양을 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  15. 제 12 항 또는 제 13 항에 있어서,
    상기 소정의 기준은 하나 이상의 네트워크 스루풋(throughput) 문턱값을 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  16. 제 15 항에 있어서,
    네트워크 스루풋은
    상기 제 1 버퍼에 전달된 바이트 수를 세는 단계;
    상기 세어진 바이트 수로부터 제 1 버터의 크기를 빼는 단계; 및
    상기 결과를 전송 시작부터의 시간으로 나누는 단계에 의해 계산되는 것을 특징으로 하는 데이터 스트리밍 방법.
  17. 제 15 항에 있어서,
    스루풋 변동을 판정하기 위해 하나 이상의 구간에 대해서 네트워크 스루풋을 측정하는 단계를 추가로 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  18. 제 15 항에 있어서,
    상기 소정의 기준은 네트워크 스루풋이 상기 복수의 데이터 스트림 중의 다른 데이터 스트림을 유지하기 위해 충분한지의 여부를 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  19. 제 15 항에 있어서,
    상기 클라이언트에서 버퍼링되는 데이터의 양에 상관없이 최대 속도로 데이터를 전송하는 단계를 추가로 포함하고,
    상기 소정의 기준은 상기 최대 속도에서 판정된 네트워크 스루풋을 포함하는 것을 특징으로 하는 데이터 스트리밍 방법.
  20. 제 12 항 또는 제 13 항에 있어서,
    상기 데이터 스트림은 인코딩된 비디오 데이터인 것을 특징으로 하는 데이터 스트리밍 방법.
  21. 제 20 항에 있어서,
    상기 전송기(100)는 오디오 패킷과 비디오 패킷을 데이터 패킷들의 상기 전송 내로 다중화하는 것을 특징으로 하는 데이터 스트리밍 방법.
  22. 제 21 항에 있어서,
    이웃하는 오디오 및 비디오 패킷은 동시에 표현되도록 의도된 오디오 및 비디오 정보를 나타내는 것을 특징으로 하는 데이터 스트리밍 방법.
  23. 제 12 항 또는 제 13 항에 있어서,
    상기 데이터 스트림들은 상기 데이터 스트림에 있는 이전 픽처들(pictures)에 따라 예측적으로 인코딩된 일련의 픽처들로서 인코딩되며,
    상기 데이터 스트림들은 상기 일련의 픽처들에 소정의 주기로 삽입된 양자화된 소스 액세스 픽처들을 포함하고,
    상기 양자화된 소스 액세스 픽처들을 인코딩하는 방법은
    픽처를 예측된 픽처로서 인코딩하는 단계; 및
    만약 픽처의 영역에 대한 어떠한 정보도 상기 인코딩된 예측된 픽처에서 나타나지 않는다면, 양자화된 소스 액세스 픽처로서 인코딩할 때 양자화기 지수(index)를 소정의 양자화 값으로 설정하고, 상기 소정의 양자화 값은 상기 양자화된 소스 액세스 픽처에 대한 불필요한 변경을 줄이는 양자화가 되도록 하는 것을 특징으로 하는 데이터 스트리밍 방법.
  24. 제 12 항 또는 제 13 항의 데이터 스트리밍 방법의 단계들을 컴퓨터가 실행하도록 하는 컴퓨터 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020047015314A 2002-03-27 2003-03-27 데이터 스트리밍 시스템 및 방법 KR100966447B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02252224.7 2002-03-27
EP02252224A EP1359722A1 (en) 2002-03-27 2002-03-27 Data streaming system and method
PCT/GB2003/001358 WO2003084172A1 (en) 2002-03-27 2003-03-27 Data streaming system and method

Publications (2)

Publication Number Publication Date
KR20040099369A KR20040099369A (ko) 2004-11-26
KR100966447B1 true KR100966447B1 (ko) 2010-06-28

Family

ID=28459568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047015314A KR100966447B1 (ko) 2002-03-27 2003-03-27 데이터 스트리밍 시스템 및 방법

Country Status (8)

Country Link
US (2) US8135852B2 (ko)
EP (3) EP1359722A1 (ko)
JP (1) JP4426316B2 (ko)
KR (1) KR100966447B1 (ko)
CN (1) CN100581158C (ko)
AU (1) AU2003227854A1 (ko)
CA (1) CA2479231C (ko)
WO (1) WO2003084172A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190076057A (ko) * 2011-12-22 2019-07-01 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 정체로 유도된 비디오 스케일링

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US9038108B2 (en) 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
CA2428325C (en) * 2000-11-29 2011-08-30 Matthew David Walker Transmitting and receiving real-time data
US8990214B2 (en) * 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
US7970260B2 (en) * 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US8972862B2 (en) * 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US20070133609A1 (en) * 2001-06-27 2007-06-14 Mci, Llc. Providing end user community functionality for publication and delivery of digital media content
CN1557072A (zh) * 2001-09-21 2004-12-22 ���˹���Ѷ��� 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和系统
WO2003049373A1 (en) * 2001-11-30 2003-06-12 British Telecommunications Public Limited Company Data transmission
AU2003216817A1 (en) * 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Data structure for data streaming system
US20060133514A1 (en) * 2002-03-27 2006-06-22 Walker Matthew D Video coding and transmission
EP1359722A1 (en) * 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
GB0306296D0 (en) * 2003-03-19 2003-04-23 British Telecomm Data transmission
US7844727B2 (en) * 2003-04-24 2010-11-30 Nokia Corporation Method and device for proactive rate adaptation signaling
US8291062B2 (en) * 2003-08-20 2012-10-16 Aol Inc. Managing access to digital content sources
FR2863130A1 (fr) * 2003-12-01 2005-06-03 Thomson Licensing Sa Dispositif et procede de preparation de donnees d'emission et produits correspondants
KR100715667B1 (ko) 2003-12-16 2007-05-09 한국전자통신연구원 미디어 게이트웨이 시스템에서 멀티캐스트 방식을 이용한스트림 분기 장치 및 방법
EP1700478A1 (en) * 2003-12-22 2006-09-13 Koninklijke Philips Electronics N.V. Method of transmitting content with adaptation of encoding characteristics
WO2005074291A1 (ja) 2004-01-28 2005-08-11 Nec Corporation コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
KR100624786B1 (ko) * 2004-01-29 2006-09-19 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템
GR1004813B (el) * 2004-03-10 2005-02-11 Μιχαηλ Χαριτακης Αποστολη μεσω διαδικτυου κινουμενης εικονας και ηχου (βιντεομηνυματα)
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US8868772B2 (en) 2004-04-30 2014-10-21 Echostar Technologies L.L.C. Apparatus, system, and method for adaptive-rate shifting of streaming content
KR100916274B1 (ko) 2004-06-07 2009-09-10 슬링 미디어 인코퍼레이티드 퍼스널 미디어 브로드캐스팅 시스템
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7675872B2 (en) 2004-11-30 2010-03-09 Broadcom Corporation System, method, and apparatus for displaying pictures
US20060176832A1 (en) * 2005-02-04 2006-08-10 Sean Miceli Adaptive bit-rate adjustment of multimedia communications channels using transport control protocol
GB0506059D0 (en) * 2005-03-24 2005-05-04 Ibm Methods and apparatus for switching between data streams
US8370514B2 (en) 2005-04-28 2013-02-05 DISH Digital L.L.C. System and method of minimizing network bandwidth retrieved from an external network
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
WO2007073420A1 (en) 2005-08-24 2007-06-28 Peter Renzi Streaming video network system
US8218657B2 (en) * 2005-09-02 2012-07-10 Netgear, Inc. System and method for automatic adjustment of streaming video bit rate
US9076311B2 (en) 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) * 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
KR100825737B1 (ko) * 2005-10-11 2008-04-29 한국전자통신연구원 스케일러블 비디오 코딩 방법 및 그 코딩 방법을 이용하는코덱
EP1806870B1 (en) * 2006-01-06 2010-09-22 Alcatel Lucent Method for providing data and data transmission system
US20070294423A1 (en) * 2006-06-14 2007-12-20 Comverse, Inc. Multi-Client Single-Session Media Streaming
JP4707623B2 (ja) * 2006-07-21 2011-06-22 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
US20080040453A1 (en) * 2006-08-11 2008-02-14 Veodia, Inc. Method and apparatus for multimedia encoding, broadcast and storage
US8606966B2 (en) 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
US20080062322A1 (en) * 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
US7743161B2 (en) * 2006-10-10 2010-06-22 Ortiva Wireless, Inc. Digital content buffer for adaptive streaming
US20080091838A1 (en) * 2006-10-12 2008-04-17 Sean Miceli Multi-level congestion control for large scale video conferences
BRPI0718810A2 (pt) * 2006-11-15 2013-12-03 Qualcomm Inc Sistemas e métodos para aplicativos utilizando quadros de comutação de canal
US7996550B2 (en) * 2006-11-30 2011-08-09 Red Hat, Inc. Peer-to-peer download with quality of service fallback
GB0706424D0 (en) * 2007-04-02 2007-05-09 British Telecomm Video streaming
US7827299B2 (en) * 2007-09-11 2010-11-02 International Business Machines Corporation Transitioning between historical and real time data streams in the processing of data change messages
US8467842B2 (en) 2010-02-10 2013-06-18 Tokitae Llc Systems, devices, and methods including multi-harmonic optical detection of hemozoin nanoparticles
CN101252685B (zh) * 2008-02-22 2011-04-27 华为技术有限公司 解码方法及装置
WO2009114557A1 (en) * 2008-03-10 2009-09-17 Vidyo, Inc. System and method for recovering the decoding order of layered media in packet-based communication
EP2101503A1 (en) 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
US7774488B2 (en) 2008-03-12 2010-08-10 International Business Machines Corporation Method and system for switching media streams in a client system based on environmental changes
US7779140B2 (en) * 2008-03-14 2010-08-17 International Business Machines Corporation Method and system for switching media streams in a client system as directed by a control system
US8638810B2 (en) * 2008-04-25 2014-01-28 Qualcomm Incorporated Multiradio-database systems and methods
US9083474B2 (en) * 2008-04-25 2015-07-14 Qualcomm Incorporated Multimedia broadcast forwarding systems and methods
US8488661B2 (en) * 2008-06-13 2013-07-16 Verizon Patent And Licensing Inc. Systems and methods for data streaming
JP5191826B2 (ja) * 2008-07-04 2013-05-08 パナソニック株式会社 ストリーム通信装置、ストリーム通信方法及びストリーム通信システム
US9076484B2 (en) * 2008-09-03 2015-07-07 Sandisk Technologies Inc. Methods for estimating playback time and handling a cumulative playback time permission
EP2350854B1 (en) * 2008-10-17 2018-12-05 Ericsson AB Method and apparatus for efficient http data streaming
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
US9009337B2 (en) 2008-12-22 2015-04-14 Netflix, Inc. On-device multiplexing of streaming media content
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
US8332365B2 (en) 2009-03-31 2012-12-11 Amazon Technologies, Inc. Cloning and recovery of data volumes
EP2418908A4 (en) * 2009-04-07 2012-03-28 Huawei Tech Co Ltd RANDOM ACCESS METHOD AND DEVICE THEREOF
US8547941B2 (en) * 2009-04-16 2013-10-01 Qualcomm Incorporated Apparatus and method for improving WLAN spectrum efficiency and reducing interference by flow control
US9014545B2 (en) 2009-07-24 2015-04-21 Netflix, Inc. Adaptive streaming for digital content distribution
US8631455B2 (en) 2009-07-24 2014-01-14 Netflix, Inc. Adaptive streaming for digital content distribution
SG172507A1 (en) * 2010-01-04 2011-07-28 Creative Tech Ltd A method and system for distributing media content over a wireless network
CA2786812C (en) 2010-01-18 2018-03-20 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for supporting playout of content
US8781184B2 (en) 2010-02-10 2014-07-15 Tokitae Llc Systems, devices, and methods for detection of malaria
US9044141B2 (en) 2010-02-10 2015-06-02 Tokitae Llc Systems, devices, and methods including a dark-field reflected-illumination apparatus
MX2012009363A (es) * 2010-02-12 2013-02-11 Lightspeed Vt Llc Sistema y metodo para aprovisionamiento de presentacion remota.
US8527649B2 (en) * 2010-03-09 2013-09-03 Mobixell Networks Ltd. Multi-stream bit rate adaptation
KR101701742B1 (ko) * 2010-06-24 2017-02-02 삼성전자주식회사 이동통신 단말기 간 실시간 스트리밍을 위한 장치 및 방법
US8996713B2 (en) 2010-06-30 2015-03-31 British Telecommunications Public Limited Company Video streaming
US20120081601A1 (en) * 2010-07-05 2012-04-05 Ubiquity Holdings Video over Internet to Multiple Display Devices
EP2426923A1 (en) * 2010-09-02 2012-03-07 British Telecommunications Public Limited Company Adaptive streaming of video at different quality levels
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
US8688074B2 (en) 2011-02-28 2014-04-01 Moisixell Networks Ltd. Service classification of web traffic
JP2012222530A (ja) * 2011-04-06 2012-11-12 Sony Corp 受信装置及び方法、並びにプログラム
CN102291599A (zh) * 2011-05-07 2011-12-21 董友球 网络视频播放方法及网络视频播放装置
US20120309321A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
WO2013005917A1 (ko) 2011-07-06 2013-01-10 에스케이플래닛 주식회사 멀티캐스트 기반 컨텐츠 전송 시스템과 방법, 및 고속 움직임 추정을 위한 장치와 방법
KR101931653B1 (ko) * 2011-07-06 2018-12-21 에스케이플래닛 주식회사 멀티캐스트 기반 컨텐츠 전송 시스템 및 방법
US8935425B2 (en) * 2011-10-05 2015-01-13 Qualcomm Incorporated Switching between representations during network streaming of coded multimedia data
CN103139188B (zh) * 2011-12-05 2016-03-23 中国电信股份有限公司 流媒体传输方法与系统
CN103166995B (zh) * 2011-12-14 2016-08-10 华为技术有限公司 一种视频传输方法及装置
CN103188236B (zh) * 2011-12-30 2015-12-16 华为技术有限公司 媒体传输质量的评估方法和装置
IN2014KN02382A (ko) * 2012-04-23 2015-05-01 Affirmed Networks Inc
KR101952632B1 (ko) * 2012-08-22 2019-02-27 삼성전자주식회사 사용자 단말 장치 및 그를 이용한 컨텐츠 전송 방법
CN104685840A (zh) * 2012-09-27 2015-06-03 日本电气株式会社 用于传输图像信息的方法和分组通信系统
US9858322B2 (en) 2013-11-11 2018-01-02 Amazon Technologies, Inc. Data stream ingestion and persistence techniques
US9720989B2 (en) 2013-11-11 2017-08-01 Amazon Technologies, Inc. Dynamic partitioning techniques for data streams
US9276959B2 (en) 2013-11-11 2016-03-01 Amazon Technologies, Inc. Client-configurable security options for data streams
US10635644B2 (en) 2013-11-11 2020-04-28 Amazon Technologies, Inc. Partition-based data stream processing framework
US9794135B2 (en) 2013-11-11 2017-10-17 Amazon Technologies, Inc. Managed service for acquisition, storage and consumption of large-scale data streams
US9237467B2 (en) 2013-11-27 2016-01-12 At&T Intellectual Property I, L.P. Adaptive pacing of media content delivery over a wireless network
CN103841456A (zh) * 2013-12-10 2014-06-04 珠海全志科技股份有限公司 一种网络播放数据缓冲方法
US9471585B1 (en) 2013-12-20 2016-10-18 Amazon Technologies, Inc. Decentralized de-duplication techniques for largescale data streams
US9639589B1 (en) 2013-12-20 2017-05-02 Amazon Technologies, Inc. Chained replication techniques for large-scale data streams
US9948429B2 (en) * 2014-01-22 2018-04-17 Nec Corporation HARQ implementation for distributed base stations
US9525611B2 (en) 2014-01-27 2016-12-20 Imagine Communications Corp. Transmission system implementing delay measurement and control
EP2942962A1 (en) * 2014-05-08 2015-11-11 Telefonaktiebolaget L M Ericsson (Publ) Radio access network-based transmission control of layer-encoded media frames
US9785510B1 (en) 2014-05-09 2017-10-10 Amazon Technologies, Inc. Variable data replication for storage implementing data backup
CN103997434B (zh) * 2014-05-21 2017-12-05 华为技术有限公司 网络传输状况的探测方法和相关设备
US9734021B1 (en) 2014-08-18 2017-08-15 Amazon Technologies, Inc. Visualizing restoration operation granularity for a database
US10356150B1 (en) 2014-12-15 2019-07-16 Amazon Technologies, Inc. Automated repartitioning of streaming data
US10394692B2 (en) * 2015-01-29 2019-08-27 Signalfx, Inc. Real-time processing of data streams received from instrumented software
US9559968B2 (en) * 2015-03-23 2017-01-31 Cisco Technology, Inc. Technique for achieving low latency in data center network environments
US9800903B2 (en) 2015-04-09 2017-10-24 Dejero Labs Inc. Systems, devices and methods for distributing data with multi-tiered encoding
US9864716B2 (en) * 2015-05-20 2018-01-09 International Business Machines Corporation Receiving buffer credits by a plurality of channels of one or more host computational devices for transmitting data to a control unit
US9832476B2 (en) 2015-06-15 2017-11-28 Microsoft Technology Licensing, Llc Multiple bit rate video decoding
US9883194B2 (en) * 2015-06-15 2018-01-30 Microsoft Technology Licensing, Llc Multiple bit rate video decoding
US10853182B1 (en) 2015-12-21 2020-12-01 Amazon Technologies, Inc. Scalable log-based secondary indexes for non-relational databases
US10567500B1 (en) 2015-12-21 2020-02-18 Amazon Technologies, Inc. Continuous backup of data in a distributed data store
US10423493B1 (en) 2015-12-21 2019-09-24 Amazon Technologies, Inc. Scalable log-based continuous data protection for distributed databases
US10298650B2 (en) * 2016-04-20 2019-05-21 Vasona Networks, Inc. Maximum sustainable encoding bit rates for video downloads
JP6884856B2 (ja) 2016-09-26 2021-06-09 ドルビー ラボラトリーズ ライセンシング コーポレイション コンテンツに基づいた映像データのストリーム分割
CN109891879B (zh) * 2016-09-26 2021-01-12 亚马逊技术有限公司 音频/视频记录和通信装置的视频的流式传输和存储
US10212065B2 (en) 2016-10-20 2019-02-19 Gatesair, Inc. Extended time reference generation
CN107979783B (zh) * 2016-10-25 2020-03-24 杭州海康威视数字技术股份有限公司 一种流式数据解析方法、装置及电子设备
US10754844B1 (en) 2017-09-27 2020-08-25 Amazon Technologies, Inc. Efficient database snapshot generation
US10990581B1 (en) 2017-09-27 2021-04-27 Amazon Technologies, Inc. Tracking a size of a database change log
US11182372B1 (en) 2017-11-08 2021-11-23 Amazon Technologies, Inc. Tracking database partition change log dependencies
US11269731B1 (en) 2017-11-22 2022-03-08 Amazon Technologies, Inc. Continuous data protection
US11042503B1 (en) 2017-11-22 2021-06-22 Amazon Technologies, Inc. Continuous data protection and restoration
US10621049B1 (en) 2018-03-12 2020-04-14 Amazon Technologies, Inc. Consistent backups based on local node clock
US10956246B1 (en) 2018-07-16 2021-03-23 Amazon Technologies, Inc. Isolated read channel management interfaces at streaming data service
US10768830B1 (en) 2018-07-16 2020-09-08 Amazon Technologies, Inc. Streaming data service with isolated read channels
US10798140B1 (en) 2018-07-16 2020-10-06 Amazon Technologies, Inc. Stream data record reads using push-mode persistent connections
US10855754B1 (en) 2018-07-16 2020-12-01 Amazon Technologies, Inc. Isolated read channel categories at streaming data service
US11070600B1 (en) 2018-07-16 2021-07-20 Amazon Technologies, Inc. Optimization techniques to support lagging readers at streaming data service
US11075984B1 (en) 2018-07-16 2021-07-27 Amazon Technologies, Inc. Workload management at streaming data service supporting persistent connections for reads
US11126505B1 (en) 2018-08-10 2021-09-21 Amazon Technologies, Inc. Past-state backup generator and interface for database systems
US11042454B1 (en) 2018-11-20 2021-06-22 Amazon Technologies, Inc. Restoration of a data source
TWI758680B (zh) * 2019-01-31 2022-03-21 日商日本電氣股份有限公司 資料中繼裝置、方法、發送系統及程式
CN110557436B (zh) * 2019-07-31 2022-06-21 视联动力信息技术股份有限公司 一种数据传输方法、装置、电子设备和存储介质
CN111510720A (zh) * 2020-04-24 2020-08-07 深圳市即构科技有限公司 实时流媒体数据的传输方法、电子装置及服务器
US11588876B2 (en) * 2020-06-16 2023-02-21 T-Mobile Usa, Inc. Device-side playback restrictions on high throughput networks
GB202015327D0 (en) * 2020-09-28 2020-11-11 British Telecomm Adaptive bit rate streaming
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
CN112996044B (zh) * 2021-02-03 2022-08-16 深圳震有科技股份有限公司 一种5g通信虚拟化网元网络拥塞的控制方法和系统
US20230171290A1 (en) * 2021-11-30 2023-06-01 Cradlepoint, Inc. 0-rtt capable, tunnel-less, multi-tenant policy architecture
EP4227915A1 (de) * 2022-02-09 2023-08-16 dormakaba EAD GmbH Verfahren zum betreiben einer zeit- und/oder anwesenheitserfassungseinrichtung; zeit- und/oder anwesenheitserfassungseinrichtung; serversystem; system; computerprogrammprodukt
US20240196049A1 (en) * 2022-12-08 2024-06-13 Synamedia Limited Client Device Switching to Low Latency Content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016827A1 (en) * 1999-11-11 2002-02-07 Mccabe Ron Flexible remote data mirroring
US20060014694A1 (en) * 2001-12-29 2006-01-19 Rasmussen Jon H Peptide purification

Family Cites Families (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4813044A (en) 1987-01-30 1989-03-14 International Business Machines Corporation Method and apparatus for detecting transient errors
USRE34824E (en) 1987-09-23 1995-01-10 British Telecommunications Public Limited Company Video coder
US5231492A (en) 1989-03-16 1993-07-27 Fujitsu Limited Video and audio multiplex transmission system
US5140417A (en) 1989-06-20 1992-08-18 Matsushita Electric Co., Ltd. Fast packet transmission system of video data
US5150417A (en) * 1991-02-25 1992-09-22 Socon Ab Bass reflex type speaker system
US5159447A (en) 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
JP2802694B2 (ja) 1991-10-30 1998-09-24 富士写真フイルム株式会社 画像再生装置および方法
US5506983A (en) 1992-07-06 1996-04-09 Microsoft Corporation Method and system for transactioning of modifications to a tree structured file
US5675696A (en) 1992-07-14 1997-10-07 Mitsubishi Denki Kabsuhiki Kaisha Digital video signal recording and reproducing apparatus
US5511054A (en) 1993-03-31 1996-04-23 Sony Corporation Apparatus and method for multiplexing encoded data signals and recording medium having multiplexed signals recorded thereon
US5561466A (en) * 1993-06-23 1996-10-01 Nec Corporation Video and audio data multiplexing into ATM cells with no dummy cell used and ATM cell demultiplexing
WO1995017783A1 (en) 1993-12-20 1995-06-29 Rodney John Smith Data compression system
WO1995021504A1 (fr) 1994-02-02 1995-08-10 Sony Corporation Dispositif d'enregistrement et dispositif de reproduction
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5874997A (en) * 1994-08-29 1999-02-23 Futuretel, Inc. Measuring and regulating synchronization of merged video and audio data
US5956321A (en) 1995-03-16 1999-09-21 Kabushiki Kaisha Toshiba Stream scheduling system for real time stream server
KR0171118B1 (ko) * 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
US5974223A (en) 1995-04-08 1999-10-26 Sony Corporation Method of and apparatus for data recording, method of and apparatus for data reproduction, recording medium, and method of and apparatus for data transmission
US5535209A (en) 1995-04-10 1996-07-09 Digital Equipment Corporation Method and apparatus for transporting timed program data using single transport schedule
US5822524A (en) 1995-07-21 1998-10-13 Infovalue Computing, Inc. System for just-in-time retrieval of multimedia files over computer networks by transmitting data packets at transmission rate determined by frame size
EP0873611A1 (en) * 1995-09-14 1998-10-28 Fujitsu Network Communications, Inc. Transmitter controlled flow control for buffer allocation in wide area atm networks
JP3068002B2 (ja) 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JP3545110B2 (ja) 1995-09-26 2004-07-21 富士通株式会社 通信サービスの品質制御方式
US6122668A (en) 1995-11-02 2000-09-19 Starlight Networks Synchronization of audio and video signals in a live multicast in a LAN
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US5754849A (en) 1996-01-30 1998-05-19 Wayfarer Communications, Inc. Self-describing object providing dynamic manipulation of heterogeneous data values and semantic identity between memory and transmission representations
US5864678A (en) 1996-05-08 1999-01-26 Apple Computer, Inc. System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US6396804B2 (en) 1996-05-28 2002-05-28 Qualcomm Incorporated High data rate CDMA wireless communication system
US6678311B2 (en) 1996-05-28 2004-01-13 Qualcomm Incorporated High data CDMA wireless communication system using variable sized channel codes
US5909434A (en) 1996-05-31 1999-06-01 Qualcomm Incorporated Bright and burst mode signaling data transmission in an adjustable rate wireless communication system
JP3668556B2 (ja) 1996-06-13 2005-07-06 ソニー株式会社 ディジタル信号符号化方法
KR0169248B1 (ko) 1996-07-24 1999-02-01 양승택 패킷 상호 연결망에서의 메시지 송신 장치 및 메시지 송신 제어방법
KR0178766B1 (ko) 1996-09-02 1999-05-15 삼성전자주식회사 압축되지 않은 디지탈데이타의 전송기능을 갖는 디지탈 인터페이스 장치
US5928330A (en) * 1996-09-06 1999-07-27 Motorola, Inc. System, device, and method for streaming a multimedia file
US5751741A (en) 1996-11-20 1998-05-12 Motorola, Inc. Rate-adapted communication system and method for efficient buffer utilization thereof
US6480541B1 (en) 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6124878A (en) 1996-12-20 2000-09-26 Time Warner Cable, A Division Of Time Warner Enterainment Company, L.P. Optimum bandwidth utilization in a shared cable system data channel
US5960452A (en) 1996-12-23 1999-09-28 Symantec Corporation Optimizing access to multiplexed data streams on a computer system with limited memory
US6011779A (en) 1996-12-30 2000-01-04 Hyundai Electronics America ATM switch queuing system
US6014706A (en) * 1997-01-30 2000-01-11 Microsoft Corporation Methods and apparatus for implementing control functions in a streamed video display system
JPH10215342A (ja) 1997-01-31 1998-08-11 Canon Inc 画像表示方法及び装置
US6092115A (en) 1997-02-07 2000-07-18 Lucent Technologies Inc. Method for supporting per-connection queuing for feedback-controlled traffic
US5918020A (en) 1997-02-28 1999-06-29 International Business Machines Corporation Data processing system and method for pacing information transfers in a communications network
JP3003618B2 (ja) 1997-03-19 2000-01-31 日本電気株式会社 動画像送受信装置
US6081843A (en) 1997-03-20 2000-06-27 Nokia Telecommunications System using simulation cell and simulation buffer for regulating cell transfer rate according to occupancy level of the simulation buffer
US6240103B1 (en) 1997-03-21 2001-05-29 Scientific-Atlanta, Inc. Method and apparatus for detecting and preventing bandwidth overflow in a statistical multiplexer
KR100302263B1 (ko) 1997-03-25 2001-09-22 모리시타 요이찌 스트림 데이터 전송방법 및 시스템
US6269078B1 (en) 1997-04-04 2001-07-31 T. V. Lakshman Method and apparatus for supporting compressed video with explicit rate congestion control
US6181821B1 (en) 1997-04-30 2001-01-30 Massachusetts Institute Of Technology Predictive source encoding and multiplexing
JP2000515706A (ja) 1997-05-26 2000-11-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストリームサーバにおいてデータを取り出すシステム
US6310857B1 (en) 1997-06-16 2001-10-30 At&T Corp. Method and apparatus for smoothing and multiplexing video data flows
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6573907B1 (en) 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
JP3547944B2 (ja) 1997-07-17 2004-07-28 Ｋｄｄｉ株式会社 ディジタルｖｔｒのダビングデータ送信装置
US6065104A (en) 1997-07-23 2000-05-16 S3 Incorporated Method of embedding page address translation entries within a sequentially accessed digital audio data stream
US6701372B2 (en) 1997-08-22 2004-03-02 Canon Kabushiki Kaisha Data communication apparatus and method
US6324165B1 (en) 1997-09-05 2001-11-27 Nec Usa, Inc. Large capacity, multiclass core ATM switch architecture
JP3478100B2 (ja) 1997-12-09 2003-12-10 三菱電機株式会社 無線回線割当装置及び無線回線割当方法
US6285661B1 (en) 1998-01-28 2001-09-04 Picturetel Corporation Low delay real time digital video mixing for multipoint video conferencing
US6216173B1 (en) 1998-02-03 2001-04-10 Redbox Technologies Limited Method and apparatus for content processing and routing
EP0939545A2 (en) 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
US6373855B1 (en) 1998-03-05 2002-04-16 Intel Corporation System and method for using audio performance to control video bandwidth
JPH11261589A (ja) 1998-03-13 1999-09-24 Fujitsu Ltd Ａｔｍネットワーク装置
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
IL123906A0 (en) 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
JP4366725B2 (ja) 1998-04-01 2009-11-18 ソニー株式会社 画像信号処理装置及び方法並びに画像信号記録装置及び方法
US6104441A (en) 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
JPH11341477A (ja) 1998-05-25 1999-12-10 Niles Parts Co Ltd 画像記憶処理装置
DE69926689T2 (de) 1998-06-18 2006-06-08 Sony Corp. Vorrichtung und Methode zur Übertragung von Information, Vorrichtung und Methode zum Empfang von Information, Vorrichtung zur Bereitstellung eines computerlesbaren Programms und Fernsehübertragungssystem
US6584509B2 (en) 1998-06-23 2003-06-24 Intel Corporation Recognizing audio and video streams over PPP links in the absence of an announcement protocol
US6850564B1 (en) * 1998-06-26 2005-02-01 Sarnoff Corporation Apparatus and method for dynamically controlling the frame rate of video streams
WO2000001160A2 (en) 1998-06-29 2000-01-06 Limt Technology Ab Method and apparatus for splicing data streams
US6097697A (en) 1998-07-17 2000-08-01 Sitara Networks, Inc. Congestion control
JP2000067450A (ja) 1998-08-20 2000-03-03 Pioneer Electronic Corp ディスクプレーヤ
US6622171B2 (en) * 1998-09-15 2003-09-16 Microsoft Corporation Multimedia timeline modification in networked client/server systems
GB9821792D0 (en) 1998-10-06 1998-12-02 Sgs Thomson Microelectronics Data transfer
US6618363B1 (en) 1998-10-09 2003-09-09 Microsoft Corporation Method for adapting video packet generation and transmission rates to available resources in a communications network
US6445701B1 (en) 1998-10-09 2002-09-03 Microsoft Corporation Channel access scheme for use in network communications
FR2784844B1 (fr) 1998-10-14 2002-03-29 France Telecom Procede de basculement de la ou des composantes video d'un premier programme audiovisuel numerique sur la ou les composantes d'un second programme audiovisuel numerique
KR100310055B1 (ko) 1998-10-28 2001-12-17 구자홍 광디스크기록/재생기의기록속도가변장치및방법
JP2000151705A (ja) 1998-11-16 2000-05-30 Dainippon Printing Co Ltd 情報配信システム及びそのサーバ
US6637031B1 (en) 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
JP2000183958A (ja) 1998-12-10 2000-06-30 Canon Inc 通信制御装置及び制御方法及び記憶媒体及びシステム
EP1021044A1 (en) 1999-01-12 2000-07-19 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding or decoding audio or video frame data
JP2000228669A (ja) 1999-02-08 2000-08-15 Hitachi Ltd ストリーム配送システムにおけるストリームデータ配送方法
US6600737B1 (en) 1999-02-11 2003-07-29 Mediaring Ltd. Bandwidth protection for voice over IP
EP1033846A1 (en) 1999-03-01 2000-09-06 Alcatel Process for controlling uplink packet transmission in a wireless communication network
US6625119B1 (en) 1999-03-17 2003-09-23 3Com Corporation Method and system for facilitating increased call traffic by switching to a low bandwidth encoder in a public emergency mode
WO2000055854A1 (fr) 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
US6470378B1 (en) 1999-03-31 2002-10-22 Intel Corporation Dynamic content customization in a clientserver environment
US7086077B2 (en) 1999-04-01 2006-08-01 Sedna Patent Services, Llc Service rate change method and apparatus
US6754189B1 (en) 1999-04-08 2004-06-22 Lucent Technologies Inc. Method of queue length based burst management in wireless communication systems
EP1045555A3 (en) 1999-04-09 2003-04-23 Sun Microsystems, Inc. Method and apparatus for management of communications over media of finite bandwidth
US6614843B1 (en) 1999-04-15 2003-09-02 Diva Systems Corporation Stream indexing for delivery of interactive program guide
US6778499B1 (en) 1999-06-18 2004-08-17 Nortel Networks Limited Method and apparatus for enabling the smooth transmission of bursty data in a wireless communications system
US6501797B1 (en) 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
IT246858Y1 (it) 1999-07-16 2002-04-10 Italtinto Srl Macchina erogatrice-dosatrice per coloranti vernici o simili con gruppo di erogazione centrale simultanea dei coloranti e sistema di pulitur
US7380015B1 (en) 1999-09-10 2008-05-27 Kdd Corporation Apparatus and method for compression-transmitting and decoding picture information and storage medium stored its control programs
US6697369B1 (en) 1999-09-28 2004-02-24 Lucent Technologies Inc Admission control adjustment in data networks using maximum cell count
US7522631B1 (en) 1999-10-26 2009-04-21 Qualcomm, Incorporated Method and apparatus for efficient data transmission control in a wireless voice-over-data communication system
US7206580B2 (en) 1999-11-04 2007-04-17 Qualcomm Incorporated Method and apparatus for performing handoff in a high speed communication system
JP2001144802A (ja) 1999-11-11 2001-05-25 Canon Inc データ通信装置及びその方法及び通信システム及び記憶媒体
US6700893B1 (en) 1999-11-15 2004-03-02 Koninklijke Philips Electronics N.V. System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
GB9928023D0 (en) 1999-11-26 2000-01-26 British Telecomm Video transmission
CA2291835A1 (en) 1999-12-06 2001-06-06 Nortel Networks Corporation Load adaptive buffer management in packet networks
US6593930B1 (en) 1999-12-16 2003-07-15 Intel Corporation Method and apparatus to execute a memory maintenance operation during a screen blanking interval
KR100677083B1 (ko) 2000-01-27 2007-02-01 삼성전자주식회사 디지털 영상 데이터 통신 시스템에서의 오류 전파 억제를위한 송수신 데이터의 처리 방법 및 이를 위한 기록 매체
EP1130921B1 (en) 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
US7106906B2 (en) 2000-03-06 2006-09-12 Canon Kabushiki Kaisha Moving image generation apparatus, moving image playback apparatus, their control method, and storage medium
US7058723B2 (en) 2000-03-14 2006-06-06 Adaptec, Inc. Congestion control for internet protocol storage
US6493388B1 (en) * 2000-04-19 2002-12-10 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
US6813275B1 (en) 2000-04-21 2004-11-02 Hewlett-Packard Development Company, L.P. Method and apparatus for preventing underflow and overflow across an asynchronous channel
US6738386B1 (en) 2000-05-11 2004-05-18 Agere Systems Inc. Controlled latency with dynamically limited queue depth based on history and latency estimation
GB2362532B (en) 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
US7260826B2 (en) 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
US6973501B1 (en) 2000-06-21 2005-12-06 Adc Telecommunications, Inc. Reducing loss in transmission quality under changing network conditions
US7003794B2 (en) 2000-06-27 2006-02-21 Bamboo Mediacasting, Inc. Multicasting transmission of multimedia information
GB2366464A (en) 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
US6909693B1 (en) 2000-08-21 2005-06-21 Nortel Networks Limited Performance evaluation and traffic engineering in IP networks
GB2367219A (en) 2000-09-20 2002-03-27 Vintage Global Streaming of media file data over a dynamically variable bandwidth channel
US6993604B2 (en) 2000-11-15 2006-01-31 Seagate Technology Llc Dynamic buffer size allocation for multiplexed streaming
CA2428325C (en) 2000-11-29 2011-08-30 Matthew David Walker Transmitting and receiving real-time data
US7277955B2 (en) * 2000-12-22 2007-10-02 Verizon Corporate Services Group Inc. Streaming content
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US20020131496A1 (en) 2001-01-18 2002-09-19 Vinod Vasudevan System and method for adjusting bit rate and cost of delivery of digital data
WO2002071639A1 (en) 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for error resilient encoding
EP1241891A1 (en) 2001-03-13 2002-09-18 eJay AG Apparatus and method for transmitting audio and/or video data
US7626999B2 (en) 2001-03-16 2009-12-01 Tellabs San Jose, Inc. Apparatus and methods for circuit emulation of a point-to-point protocol operating over a multi-packet label switching network
US20020165970A1 (en) 2001-05-02 2002-11-07 Carl Ludewig System and method for intelligent bit rate and buffer selection
WO2002091112A2 (en) 2001-05-04 2002-11-14 Netqos, Inc. Server-site response time computation for arbitrary applications
TW511365B (en) 2001-05-15 2002-11-21 Corbett Wall Method allowing individual user to record song and forward to others for listening by connecting to a service provider with telecommunication device signal
WO2002101584A2 (en) 2001-06-11 2002-12-19 C-Burn Systems Ltd Selecting tracks from a jukebox via a wireless communications device
US7191246B2 (en) 2001-07-18 2007-03-13 Sharp Laboratories Of America, Inc. Transmission rate selection for a network of receivers having heterogenous reception bandwidth
US7106758B2 (en) 2001-08-03 2006-09-12 Adc Telecommunications, Inc. Circuit and method for service clock recovery
US7142509B1 (en) 2001-09-12 2006-11-28 Extreme Networks Method and apparatus providing for delivery of streaming media
CN1557072A (zh) * 2001-09-21 2004-12-22 ���˹���Ѷ��� 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和系统
US20030076858A1 (en) 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
JP2003250155A (ja) * 2002-02-25 2003-09-05 Ando Electric Co Ltd 動画符号評価装置及び課金システム
US6898313B2 (en) 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
US20060133514A1 (en) 2002-03-27 2006-06-22 Walker Matthew D Video coding and transmission
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
AU2003216817A1 (en) 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Data structure for data streaming system
US7039712B2 (en) 2002-10-16 2006-05-02 Microsoft Corporation Network connection setup procedure for traffic admission control and implicit network bandwidth reservation
US20050010697A1 (en) 2002-12-30 2005-01-13 Husam Kinawi System for bandwidth detection and content switching
US20040181817A1 (en) 2003-03-12 2004-09-16 Larner Joel B. Media control system and method
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US7444419B2 (en) 2003-10-10 2008-10-28 Microsoft Corporation Media stream scheduling for hiccup-free fast-channel-change in the presence of network chokepoints
US7542435B2 (en) 2004-05-12 2009-06-02 Nokia Corporation Buffer level signaling for rate adaptation in multimedia streaming
KR20060088303A (ko) 2005-02-01 2006-08-04 엘지전자 주식회사 디지털 방송 수신기의 동영상 저장/재생 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020016827A1 (en) * 1999-11-11 2002-02-07 Mccabe Ron Flexible remote data mirroring
US20060014694A1 (en) * 2001-12-29 2006-01-19 Rasmussen Jon H Peptide purification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190076057A (ko) * 2011-12-22 2019-07-01 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 정체로 유도된 비디오 스케일링
KR102097538B1 (ko) * 2011-12-22 2020-04-06 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 정체로 유도된 비디오 스케일링

Also Published As

Publication number Publication date
EP1755308A2 (en) 2007-02-21
US8386631B2 (en) 2013-02-26
EP1755308A3 (en) 2008-03-19
US20090116551A1 (en) 2009-05-07
KR20040099369A (ko) 2004-11-26
EP1359722A1 (en) 2003-11-05
CN100581158C (zh) 2010-01-13
US8135852B2 (en) 2012-03-13
WO2003084172A1 (en) 2003-10-09
CA2479231A1 (en) 2003-10-09
EP1488602A1 (en) 2004-12-22
EP1488602B1 (en) 2018-09-12
US20050172028A1 (en) 2005-08-04
EP1755308B1 (en) 2017-03-22
CA2479231C (en) 2013-01-22
CN1643875A (zh) 2005-07-20
JP4426316B2 (ja) 2010-03-03
JP2005522102A (ja) 2005-07-21
AU2003227854A1 (en) 2003-10-13

Similar Documents

Publication Publication Date Title
KR100966447B1 (ko) 데이터 스트리밍 시스템 및 방법
KR100917743B1 (ko) 데이터 스트리밍 시스템을 위한 데이터 구조
JP5341629B2 (ja) ピクチャ復号化方法
RU2385541C2 (ru) Изменение размера буфера в кодере и декодере
KR100960282B1 (ko) 비디오 부호화
US7539187B2 (en) System and method for low-latency content-sensitive forward error correction
KR20010020498A (ko) 네트웍을 통한 적합한 비디오/오디오의 전송을 위한 시스템
KR20120010089A (ko) Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
JP5207895B2 (ja) 送信装置、受信装置、及び方法、プログラム
CN1478349A (zh) 发送及接收实时数据
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130607

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140605

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150604

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160609

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170608

Year of fee payment: 8