JP5149628B2 - 順序付けられたビデオ・フレーム組を送信し、受信するためのシステム、送信器、受信器、方法及びソフトウェア - Google Patents

順序付けられたビデオ・フレーム組を送信し、受信するためのシステム、送信器、受信器、方法及びソフトウェア Download PDF

Info

Publication number
JP5149628B2
JP5149628B2 JP2007550906A JP2007550906A JP5149628B2 JP 5149628 B2 JP5149628 B2 JP 5149628B2 JP 2007550906 A JP2007550906 A JP 2007550906A JP 2007550906 A JP2007550906 A JP 2007550906A JP 5149628 B2 JP5149628 B2 JP 5149628B2
Authority
JP
Japan
Prior art keywords
frame
subsequent
buffer
transmission
dependent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007550906A
Other languages
English (en)
Other versions
JP2008527889A (ja
Inventor
デル ストック，ぺートリュス デー フェー ファン
エフ エム ステフェンス，エリザベート
コスロフ，セルゲイ
ブランズマ，エワァウト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008527889A publication Critical patent/JP2008527889A/ja
Application granted granted Critical
Publication of JP5149628B2 publication Critical patent/JP5149628B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、符号化データをそれぞれが備える順序付けられたフレーム組を送信器から受信器に配信する方法に関し、上記組は独立フレーム及び従属フレームを備えており、従属フレームは、従属フレームにおいて符号化されたデータを復号化するために独立フレームを必要とし、上記方法は、
送信前に送信器におけるバッファに独立フレーム及び従属フレームをバッファリングする工程、
送信器におけるバッファからのフレームを受信器に送信する工程、
送信されるフレームの少なくとも一部を受信器において受信する工程を備える。
本発明は、送信する方法、受信し、提示する方法、システム、送信器、受信器、及び、前述のシステム、送信器又は受信器において用いるコンピュータ・プログラムにも関する。
符号化データをそれぞれが備えるフレーム組を受信器に配信する手法は周知である。低信頼度のネットワーク（例えば、インターネットのようなパケット・ベースのネットワーク）を用いてフレームが配信された場合、受信フレームの品質は、ネットワークの劣化の悪影響を受ける。
欧州特許第１３６１６９０号明細書には、フレームの再送信の要求を送信器に送出すべきかを受信器において、かつチャネル状態に基づいて決定される手法が開示されている。
無線ネットワーク（IEEE802.11による「ワイファイ」ネットワークなど）に用いるにはより適していないという点がこの既知の手法の欠点である。無線ネットワークでは、妥当な決定を下すにはチャネル状態の監視が遅れ過ぎるようにチャネル状態が経時的に急速に変動するからである。これは、配信されたフレームの比較的低い品質をもたらし、フレームがMPEGストリームの一部の場合、MPEGストリームをレンダリングする際にアーチファクトをもたらす。
本発明の目的は、無線ネットワークを介した使用により適した、冒頭の段落に記載した類の方法を提供することである。
上記目的は、従属フレームが独立フレームの後に送出されるように送信器においてバッファからのフレームの送信を再配列する工程と、出力において、順序付けられた組の順序で受信フレームが提示されるように、受信器の出力において受信されるフレームを提示する工程とを備える上記方法において実現される。バッファからのフレームの送信を再配列することによって、復号化が依存する、欠けているフレームによって復号化可能でないフレームが受信される可能性が削減される。フレームの送信に利用可能な帯域幅はよって、実際に復号化できるフレームに費やされる。別の利点は、復号化対象のフレームのデータをバッファリングするためにより少ないメモリを必要とし得ることである。更に、送信器におけるフレームの提供と、受信器において受信されたフレームのデータの復号化との間で経過した時間は、再配列によってより小さいことがあり得る。
別の実施例では、システムは請求項２の特徴を有する。フレームの再配列は、更なる従属フレームにおいて符号化されたデータを復号化するために独立フレーム及び従属フレームを必要とする更なる従属フレームなどの、フレーム間の複数の依存性を考慮に入れることもできる。この方策は、請求項１の方策によって達成される利点を、複数の依存性を備えたフレームにも適用される。
別の実施例では、システムは請求項３の特徴を有する。フレームに肯定応答し、独立フレームの肯定応答後に従属フレームを送信する工程によって、復号化可能でないフレームが受信されるというリスクが更に削減される。復号化可能でないフレームの送信に帯域幅を費やすことも阻止される。この手法は、伝搬遅延が比較的小さい場合に特に有利である。その場合、肯定応答に要する時間は比較的少ないからである。フレームの肯定応答がない場合、フレームを拒否する（すなわち、全く送出しない）か、又は再送信することができる。復号化するために拒否フレームを必要とするフレームも拒否され得る。
別の実施例では、システムは請求項４の特徴を有する。フレームに最終的に肯定応答されることをフレームの再送信は確実にし得る。この手法は、伝搬遅延が比較的小さい場合にも特に有利である。その場合、再送信に要する時間は比較的少ないからである。
別の実施例では、システムは請求項５の特徴を有する。これは、２つの位置を備えたバッファが比較的小さいことがあり得るという利点を有する。単一フレームのバッファリングが既にかなりの量のメモリを必要とし得るので、このことは適切である。データを復号化するために組の0、1又は2個のフレームを必要とする更なるフレーム間で区別することは、復号化可能でないフレームに費やされる帯域幅の更なる削減に有用である。 この特定の送信ポリシーは、TCPやRTP／RTCPのようなリアクティブ型手法を用いるパケット・ベースの無線ネットワークを介してMPEG符号化フレーム・ストリームを送信する場合にアーチファクトを阻止するのに意外に好適であるように思われる。一方、この実施例の方策は、UDPのような予防制御機構にも有利であり得る。
別の実施例では、システムは請求項６の特徴を有する。多くの従来技術の手法では、フレームは、期限を過ぎている場合、送信されない。一見して、このことは意味をなさないようにも思われる。いずれにせよ遅すぎることになるフレームを送信することで帯域幅が台無しになるように思われるからである。しかし、それでも、期限を過ぎてフレームを送信し、受信し、処理し、復号化し、出力し、又はレンダリングすることによって、時間的な歪みが事実上許容され、気になるアーチファクトが阻止され得る。
別の実施例では、システムは請求項７の特徴を有する。一定のサブサンプリングを提供するフレームを優先することは、動きジャダーを減少させる利点を有する。
別の実施例では、システムは請求項８の特徴を有する。フレーム系列におけるフレームの依存性が同じ場合、バッファリングに好適な基準によって、時間的な歪み（例えば、廃棄されたフレームによって生じるジッタから）の最小化が試行される。
本発明の方法１００の前述の目的及び特徴は、添付図面を参照する以下の説明からより明らかになる。
当該技術分野において知られているように、ビデオはMPEG標準（例えば、MPEG1、MPEG2、MPEG4）によって符号化することができる。前述の標準によって、Iフレーム、Pフレーム及びBフレームが区別される。Bフレームの復号化はIフレームに依存し、Pフレームに依存する。Pフレームの復号化は、先行Pフレームに依存し、（間接に）直前のIフレームに依存する。Iフレームの復号化は他のフレームに対する依存性なしで進む。Iフレームはよって独立フレームとみなすことができ、Pフレームは従属フレームとみなすことができ、Bフレームは従属フレーム又は更なる従属フレームとみなすことができる。
一般に、無線媒体を介して送信する場合にフレームが喪失することは頻繁に生じる。望ましくないアーチファクトがその場合、生じ得る。連続したBフレーム及びPフレームの復号化は、先行Iフレームからのコンテンツに依存するからである。Iフレームが喪失した場合、従属するBフレーム及びPフレームは、先行Iフレームからのコンテンツに依存し得る。喪失したIフレームより前に送信されたIフレームのコンテンツは、喪失したIフレームのコンテンツとは劇的に異なり得る。ここでの目的は、送信されたビデオを視るユーザによって、非常に気がかりであると認識される、続いて起こるアーチファクトを阻止することである。本発明によれば、送信ビデオ・データの量は、媒体の利用可能な伝送容量に自動的に適合させられる。
本発明によるシステム２００は、フレームの生成、送信、受信及び表示間のわずかな遅延のみを維持する一方で、アーチファクトを実質的に阻止するか、又は、完全に阻止する。本願提案のシステム２００は他の提案とは（例えば、指定された表示時間を過ぎてもフレームが復号化され、表示されるという意味で）異なる。
図１には、通常のピクチャ群（GOP）の構造を示す。この特定の例では、１つのIフレーム及びそれに続く３つのPフレームを有するGOPが存在している。２つのPフレームそれぞれの間に、かつ、連続するIフレームとPフレームとの間に、２つのBフレームが存在している。矢印は、フレーム間の依存性を示す。B3(B4)からP1への矢印は、完全な図を表すために、B3(B4)が、P1からのデータを必要とすることを意味する。B3(B4)はP1のコンテンツの前に表示されるが、フレ―ムB3（B4）を復号化し、表示することができる前にフレームP1を受信し、復号化する必要がある。したがって、P1はB3（B4）より前に復号器に、かつ通信リンクを介して送出される。送信及び復号化の順序を図１の下半分に示す。
劣化が（例えば、無線リンク上で）生じた場合、これは、パケット喪失及びフレーム喪失につながり得るが、利用可能な帯域幅の削減にもつながり得る。例えば、無線媒体のMAC層におけるパケットの再送信時に、利用可能な帯域幅が削減される。利用可能な帯域幅の削減は、秒毎にリンクを介して送信可能なフレームがより少ないことを意味する。本発明による方法では、削減された利用可能な帯域幅の状況において、送出する送信器１０４のバッファ１１０のサイズに応じて、アーチファクトが生じないか又は大きく削減されるような順序でまずBフレームが拒否され、次いでPフレームが拒否され、Iフレームも拒否される。Bフレームの除去によって、GOP例の場合、既に、５０％の帯域幅変動が吸収される。
例えば、I1、B1及びB2が正しく送信されており、利用可能な帯域幅における急な減少が生じると仮定する。
本発明によれば、フレームP1の送信が始まっているが、フレームのB3及びB4を送信する必要がある場合、フレームP1の送信が代わりに続けられる。フレームP2は、P1の完全な送信後に送信され、P3の送信が続く（フレームのB5、B6、B7及びB8が犠牲になる）。図２の上部には、I1、P1、P2、P3及びI2のみが送信され、表示されるやり方を示す。
この特定の例では、その結果、フレームI1の表示が５回繰り返され、続いて、フレームの2個分の遅延を伴ってP1が表示される。P1の表示は、P2の到着まで繰り返される（一フレームの遅延を伴って表示される）。最後に、P3が到着し、一フレームの遅延を伴って表示される。その後、通常の帯域幅状態が回復させられ、I2がやがて表示される。
図２の下部には、別のシナリオ（なお通常の帯域幅状態下で一部のBフレームが送信されている）を示す。B１、B2、I1、P1及びB3の送信後、B4の送信の時間がもう残っていないほど無線リンクが劣化する。P2はB3の送信後に送出され、次いで、送信状態が改善し、P3及びB8がやがて送信されるが、B7に残った時間はない。このシナリオでは、本発明によるシステム２００の挙動は、Bフレームの喪失にしかつながらず、アーチファクトは何ら生じない。受信フレームは全て、復号化に必要なデータ全てへのアクセスを有する。このシナリオでは、かつ、25フレーム/秒を前提とすれば、ピクチャは、最大200msの間しかとどまらないようにレンダリングすることができる。これは、既知のシステムによってレンダリングされた場合のアーチファクトよりもずっと好ましい。
本発明によるシステム２００において、かつ、既知の送信手法と対照的に、Pフレームはなお送信されるが、元の表示時間で表示するには遅すぎる。図２の例では、P1フレームは、元々、5番目の時間スロットにおいて表示されるべきであったが、7番目の時間スロットにおいて表示される。他の伝送プロトコルでは、フレームP1は遅れて送出されるのではなく、拒否される。
図３には、更に劣化した帯域幅状態で、Pフレームの送出も割愛することができることを示す。Pフレームを送出しないことによって、５０％より大きな帯域幅変動に対応することができる。図３の上部では、更に劣化した帯域幅状態によってP１も喪失され、システム２００はP2しか送信していない。この場合、アーチファクトが（例えば、喪失したP1フレームがI1に関する多くの他の動きベクトルをもたらす場合）レンダリングされる有限の確率が存在している。I1に含まれる画像は、25フレーム/秒を前提とすれば、280ms中に表示される。
図３の下部では、帯域幅状態は異なっており、フレームP2は喪失している。この場合、動きベクトルがフレームP2において再規定され、アーチファクトが生成され得るものであり、これに依存するフレームP3に影響する。その結果、やはり２５フレーム/秒を前提とすれば、240ms中にフレームP1内の画像がディスプレイ上にあり得る。
P1とP3との間のP2の喪失、又はI1とP2との間のP1の喪失の代わりに、一般に、まずP3が喪失され、次いでP2が喪失され、最後にP1が喪失されるほうが好適である。好ましくは、喪失したPフレームに依存するBフレームはレンダリングされない。これを達成するために、受信器１０５は、喪失したPフレームに依存するBフレームのその出力２１５における提示（１１５）を抑制するよう構成することができる。
図４には、この改良された挙動を示す。図４のシナリオにおいて本発明によるシステム２００によってアーチファクトは全て阻止される。フレームB2及びB3は、存在しているI1に依存する。フレームP1は、図４の上部における送信I1フレームにしか依存しない。下部では、フレームP2は、フレームI1を必要とするフレームP1を必要とする。必要なフレームは全て送信され、アーチファクトは何ら生成されない。
なお劣悪な帯域幅状態下では、完全なGOPが喪失し得る。例えば、図３の下部に関して、連続するフレーム全てが喪失するように、フレームP1の送信後に送信が完全に停止するものとする。次のフレームは、GOP n（例えば、I19によって表すn＝１９）のIフレームになる。このI１９は、I１９の表示時間とI２０の表示時間との間にある時点で表示される。１２０後の挙動はその場合、前述の例全てにおいて示す挙動と同様である。
送信ポリシーは例えば、次のように実現することができる。
1. 送信器１０４において（例えば、シングル・ホップ無線接続の場合、送信器１０４と受信器１０５とを結合する無線リンクのリンク・レベルにおいて） 無線標準によれば、受信器１０５は肯定応答を戻す。これによって、フレームを収容するパケットに全て肯定応答された場合、受信器１０５によってフレームが完全に受信されることを送信器１０４が判定することが可能になる。
2. IETFの伝送制御プロトコル（TCP）の伝送レベルにおけるソースにおいて TCPによって、受信器１０５によってフレームが完全に受信されているか否かをソースが分かるように宛先からソースに肯定応答が戻される。
何れの場合にも、望ましい挙動は、現在送出されているフレームを含めるための送出バッファ１１０と、送出する対象の次のフレームを含めるための待ちバッファ１１０とによって実現することができる。一フレームのみが送出バッファ１１０に収まり、一フレームのみが待ちバッファ１１０に収まる。
送出バッファ１１０は、現在送信されているフレームに属するパケット全てを含む。待ちバッファ１１０は、送出バッファ１１０におけるフレームの送信の直後の送信が意図されたフレームに属するパケット全てを含む。この解決策によって、ビデオ・フレームをバッファリングする（１１０）のに必要な合計メモリ量が比較的低いことが確実になる。
フレームが送出バッファ１１０から送出され、フレームの受信に肯定応答されると、待ちバッファ１１０はフレームを保持し、次いで、フレームが待ちバッファ１１０から除去され、送出バッファ１１０に挿入される。あるいはこの転送は、待ちバッファ１１０を表すポインタ内の値及び送出バッファ１１０を表すポインタ内の値を交換することによって達成可能である。
提供されるフレーム全てを送信するために利用可能な帯域幅が十分大きい場合の通常の伝送条件下で、送出バッファ１１０が空き状態の場合、待ちバッファ１１０は空き状態である。
一方、提供されるフレーム全てを送信するために利用可能な帯域幅が十分大きくない場合、本発明によるアルゴリズムによって、前述の通り、フレームが好ましい順序で除去されることが確実にされる。新たなフレームは、符号器によって要求される周波数で（例えば、毎秒２５フレームで）提供されるものとする。通常の帯域幅状態下では、送信するために新たなフレームが利用可能にされる都度、送出バッファ１１０及び待ちバッファ１１０は空き状態である。フレームは生成されるよりも速く送出されるからである。削減された帯域幅の状態下では、フレームが、前述のアルゴリズムによって除去される。
アルゴリズムは以下に、以下の表記を用いて説明する。
xはタイプxのフレームを意味する。xはI、P又はBである。Iは標準Iフレームを表し得るが、あるいは、前述の通り、シーンの切り換えを伴った標準的なIフレーム又はPフレームを表し得る。
W()及びS()は、空き状態の待ちバッファ１１０、及び空き状態の送出バッファ１１０を表す。
W(x)は、待ちバッファ１１０がフレームｘを含むことを表す。
S(x)は、送出バッファ１１０がフレームxを含むことを表す。
フレームが送出され、フレームの受信に肯定応答されると、バッファ１１０はクリアされる。Sをクリアした後、フレームはWにおいて待ち、次いで、フレームがWから除去され、Sに挿入される。
アルゴリズム1 500
新たなフレームが生成され、送信に提供される 501
新たなフレームがタイプBの場合には、 510
S()の場合（IF S()）、フレームをSに挿入する 511
さもなければ、W()の場合（ELSEIF W()）、フレームをWに挿入する 512
ELSEIF W(B)、Wをクリアし、フレームをWに挿入する 513
さもなければ（ELSE） 新たなフレームを除去する 516
新たなフレームがタイプPの場合には、 520
IF S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする 521、529
ELSEIF W()、フレームをWに挿入する 522、528
ELSEIF W(B)、Wをクリアし、フレームをWに挿入する 523
ELSE 新たなフレームを除去する 526
新たなフレームがタイプIの場合は、 530
IF S(I)、Wをクリアし、フレームをWに挿入する 540
ELSE Sをクリアし、Wをクリアし、フレームをSに挿入する 548
前述のアルゴリズムは、図２及び図３に示す挙動を実現する。実施例を図５においてフローチャートとして示し、前述の右列の番号は、図５のフローチャート内の項目に対応する。
別の実現形態例では、Pフレームが一度喪失すると、BフレームもPフレームももう送出されないことを確実にするようブ―ルの「P-frame-lost」が導入される。新たなフレームがタイプPのフレームであり、拒否されると、ブールのP-frame-lostは真にセットされる。新たなフレームがタイプBのフレームであるか、又はタイプPのフレームであり、P-frame-lostが真の場合、新たなフレームは拒否される。新たなフレームがタイプIのフレームの場合、P-frame-lostは偽にセットされる。
より多くのメモリが利用可能な場合、待ちバッファ１１０は2つ以上のフレームを含むことができ、バッファは、FIFOの原理原則によってWとの間で挿入及び除去が行われる。その場合、アルゴリズム２になるようにアルゴリズムを変えることができる。
アルゴリズム2
新たなフレームが生成され、送信に提供される
新たなフレームがタイプBの場合、
IF S()、フレームをSに挿入する
ELSEIF W()、フレームをWに挿入する
ELSEIF W(B)、Wをクリアし、フレームをWに挿入する
ELSE 新たなフレームを除去する
新たなフレームがタイプPの場合、
IF S()又はS(B)、Sをクリアし、フレームをSに挿入し、Wをクリアする
ELSEIF W()、フレームをWに挿入する
ELSEIF W(B)、Wをクリアし、フレームをWに挿入する
ELSEIF W（少なくとも１つのP）、フレームをWに追加する
新たなフレームがタイプIの場合、
IF S(I)、Wをクリアし、フレームをWに挿入する
ELSE Sをクリアし、Wをクリアし、フレームをSに挿入する
上記アルゴリズムによって、Pフレーム及びBフレームよりも高い優先度をIフレームに与え、Bフレームよりも高い優先度をPフレームに与えることによって、（無線）ネットワークを介したストリーミングに対して非常にリアクティブな（時間的）スケーラビリティが可能になる。ネットワーク・インタフェースのバックプレッシャの場合、より高い優先度のフレームを優先して、より低い優先度のフレームが廃棄される。これは、ストリームの時間的サンプリング（しかし、気になるブロッキング・アーチファクトはない）につながる。限定された帯域幅の場合、リフレッシュ・レート（すなわち、実際のフレーム・レート）は削減されるが、ブロッキング・アーチファクトは生じず、時間的スケーラビリティがもたらされる。前述の方策は、パケットのスケジューリングが行われるまで送信の決定を遅延させることができ、非常に高速な帰還ループが提供されるという更なる利点を有する。
上記アルゴリズムの更なる発展形によって、Bフレーム間の更なる優先順位付けがもたらされる。この発展形の実施例において、かつ、利用可能な帯域幅が、Iフレーム全部及びPフレーム全部を送出するのに十分であるが、Bフレームの部分集合だけを送出するのに十分である場合、元のビデオ・コンテンツの一定のサブサンプリングを提供する（高優先度の）Bフレームが、一定のサブサンプリングを提供しないBフレームに優先される。M=4のGOP構造の例では、「中央」のBフレームは、「左」のBフレーム及び「右」のBフレームよりも高い優先度を得る。「左」のBフレーム及び「右」のBフレームを廃棄するが、「中央」のBフレームを廃棄しないことは、元のストリームの半分の一定のフレーム・レートにつながり、よって、状況を前提とすれば、最小の動きジャダーにつながる。
大半のストリームは一定のGOP構造を有しており、これはあまり頻繁に変わらない（MPEG標準はそうでないことを許容するが）。GOP構造は、GOP内のアンカー・フレーム全てが同じ距離Mを有しており、GOP全てが同じ構造（N,M）を有しているという意味で一定である。例えば、
IBPBPBPBPBPBPBPB N=16、 M=2
IBBPBBPBBPBBPBB N=15、 M=3
IBBBPBBBPBBBPBBB N=16、 M=4
この構造によって、ストリームの一定のサブサンプリングが可能になる。例えば、N=15、M=3の25Hzの元のストリームの場合、Bフレーム全ての廃棄は、8.33Hzの一定のリフレッシュ・レートにつながり、Pフレーム及びBフレーム全ての廃棄は、1.667Hzの（低いが）一定のリフレッシュ・レートにつながる。
一定のフレーム・レート（すなわち、比較的低い動きジャダー）を維持するために、帯域幅が、Bフレーム全てのうちの一部しか廃棄しなくてよいような前述の例（N=16、M=4）では、「左」のBフレーム及び「右」のBフレームよりも「中央」のBフレームを優先すべきである。例えば、系列I1B2B3B4P5B6B7B8P9B10BnB12P13B14B15B16I17では、B3、B7、B11、B15を維持する一方でB2、B6、B10、B14及びB4、B8、B12、B16を廃棄することは、12.5Hzのリフレッシュ・レートを備えた好適な一定のサブサンプリングにつながる。これは、「左」及び「右」のBフレームよりも高い優先度を「中央」のBフレームに与えることによって達成することが可能である。これは、パケット・スケジューラに何の影響ももたらさないことがあり得るが、パケット・タガーに対して多少の修正を必要とし得る。
図７は、フレーム（又は、より厳密には、フレームの一部を含むパケット（UDP又はTCP））に、パケット・タッガーによって優先度（1=最高、4=最低）が割り当てられるやり方を示す。パケット・スケジューラは前述の優先度を用いて、より低い優先度のフレームよりも、より高い優先度のフレームを優先する。図７に表す例では、優先度４を有するフレームは全て、ピリオド「.」によって示すように廃棄されるが、優先度３を有するフレームは残る。
より大きなM又はより小さなMを備えたGOP構造に、同様な議論があてはまるが、構造は、常に完全に一定な訳でない。
Bフレームの一定のサブサンプリングの方策は一般に、圧縮領域における主プロファイルMPEGストリームの時間的サブサンプリングに適用可能である。これは、ネットワーク・インタフェースのバックプレッシャに基づいたサーバー側のトランスコーディングに限定されない。別のアプリケーションは、クライアントからのネットワーク・スループット・フィードバックに反応する（例えば、RTCPに基づく）、サーバー側トランスコーダである。更に別のアプリケーションには、Lu 及び Christensenによる「Using Selective Discard to Improve Real-Time Video Quality on Ethernet（登録商標） Local Area Network, Int. J. Network Mgmt 9, -117 (1999)」に開示されたような、フレームの延着に対処するための、（例えば、クライアント側の復号器の）フレーム廃棄手法がある。更なるアプリケーションは、復号器の処理帯域幅における制限に対処することである。このアプリケーションは、局所記憶装置からの再生にも用いることができる。これは、例えば、請求項の語と、局所記憶装置からの再生を行うシステム２００とのマッピングによって明らかである。前述の一マッピングでは、送信器１０４は、ファイル・システム２００やファイル・サーバのような局所データ１０３のソースに対してマッピングされ、受信器１０５は、データ１０３のシンク（ファイル・ハンドル又はファイル消費のストリーム・エンド・ポイントのような）を備えたアプリケーションに対してマッピングされる。フレーム１０２は前述の場合、ディスクやソリッドステート・メモリのような局所記憶装置から、消費アプリケーションへ配信される。
図６は、符号化データ１０３を備えたフレーム１０２の順序付けられた組１０１を配信するシステム２００を示す。システム２００は、空気、バス、インターネット、家庭内ネットワークのような、送信器１０４と受信器１０５との間の媒体を備え得るものであり、有線又は無線（例えば、PC又はデータ処理装置１０３内のバス、イーサネット（登録商標）LAN、ワイファイ・リンク、ブルートゥース接続、ジグビー・ホップ(Zigbee hop)、アドホック無線ネットワーク）であり得る。組１０１はシステム２００において送信器１０４から受信器１０５に配信される。組１０１は独立フレーム１０７及び従属フレーム１０８を備える。従属フレーム１０８は、従属フレーム１０８において符号化されたデータ１０３を復号化するために独立フレーム１０７を必要とする。従属フレーム１０８は、通常、MPEG符号器の出力２１５におけるフレーム１０２で生じるように、送信器１０４に、独立フレーム１０７が利用可能になる前に利用可能になり得る。
送信器１０４は、送信前に独立フレーム１０７及び従属フレーム１０８をバッファリングする（１０９）バッファ１１０を有する。バッファ１１０は、汎用コンピュータの主メモリの割り当てられた部分に過ぎないことがあり得るが、専用キャッシュでもあり得る。送信器１０４は、バッファ１１０からのフレーム１０２を受信器１０５にディスパッチするディスパッチャ２１０を有する。ディスパッチャ２１０は、IPパケットのような１つ又は複数のパケットにおいて各フレームをディスパッチするよう構成することができる。送信器１０４は、フレーム１０２の送信１１１を再配列する（１１４）再配列手段２１３を備える。再配列手段２１３は、２つのポインタ変数における値を交換するソフトウェア・ルーチンにおいて実現することができるが、２つのレジスタの内容を交換するハードウェアにおいて実現することもできる。送信器１０４は、従属フレーム１０８が独立フレーム１０７後に送出されるように送信器１０４におけるバッファ１１０からのフレーム１０２の送信１１１を再配列する（１１４）よう更に構成される。これは、組１０１におけるフレーム１０２の依存性構造の解析を備え得るものであり、Iフレームとして用いるPフレームの検出を備え得る。
受信器１０５は、送信されるフレーム（１０２）の少なくとも一部を受信する（１１３）受信手段（２０６）を有する。配信の信頼度が低いことがあり得るので、一般に、ディスパッチされるフレーム１０２全てが受信される訳でない。受信器１０５は、受信されるフレーム１０２を提示するための出力２１５を有する。出力２１５は、物理コネクタ若しくはピン、又は、表示画面を備えたレンダリング装置を備え得るが、ストリーミング・エンド・ポイント、データ・シンク、ファイル・ハンドル、ポート若しくはソケットのようなソフトウェア・オブジェクトも備え得る。受信器１０５は、受信されるフレーム１０２を再配列し、提示する（１１５）、再配列及び提示手段２１４を有する。再配列及び提示手段２１４は、受信されるフレーム１０２をバッファリングする（１０９）メモリを備え得る。受信器１０５は、受信されるフレーム１０２を再配列する（１１４）よう更に構成される。再配列１１４は、受信されるフレーム１０２が、順序付けられた組１０１の順序で出力２１５において提示されるように行われる。MPEGストリームの場合、タイムスタンプをアクセスしてフレーム１０２を適切に再配列することができる。他の多くのやり方を、フレーム１０２の適切な順序を得るよう施すことができる。
前述の実施例は本発明を限定するよりも例証するものであり、特許請求の範囲記載の範囲から逸脱しない限り別の多くの実施例を当業者が企図することができるであろう。例えば、効率性の理由で、別の実現形態は、バッファ１１０ Sを全くクリアしないことがあり得るものであり、送信が始まった何れのフレームも送信し続ける。特許請求の範囲では、括弧内にある参照符号は何れも、本特許請求の範囲を限定するものとして解釈されないものとする。「comprise」の語及びその活用形を用いていることは、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。要素に先行して不定冠詞「a」又は「an」を用いていることは、前述の要素が複数存在することを排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することが可能である。いくつかの手段を列挙したシステム２００又は装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することが可能である。単に特定の方策が互いに別々の従属請求項に記載されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
「コンピュータ・プログラム」は、コンピュータ読み取り可能な媒体（フロッピー（登録商標）・ディスクなど）に記憶されているか、ネットワーク（インターネットなど）を介してダウンロード可能であるか、又は、何れかの他のやり方で流通可能な何れかのソフトウェアを意味するものとする。
特定のGOPのフレーム１０２の視覚化順序及び送信順序の例を示す図である。 Bフレーム１０２の一部又は全部の喪失の例を示す図である。 Bフレーム１０２及びPフレーム１０２の一部又は全部の喪失の例を示す図である。 Pフレームの喪失の例を示す図である。 本発明による方法１００を示すフローチャートである。 本発明によるシステム２００を示すブロック図である。 一定のサブサンプリングを得る例を示す図である。

Claims (4)

  1. 符号化データをそれぞれが備える、フレームの順序付けられた組を送信する方法であって、前記順序付けられた組は、タイプＩのフレームである独立フレーム、従属フレーム、後続従属フレーム、及び更なる従属フレームを備えており、前記従属フレームは、タイプＰのフレームであり、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記後続従属フレームは、タイプＰのフレームであり、前記後続従属フレームにおいて符号化された前記データを復号化するために前記従属フレームを必要とし、前記更なる従属フレームは、タイプＢのフレームであり、前記更なる従属フレームにおいて符号化された前記データを復号化するために前記独立フレーム及び前記従属フレームを必要とし、前記送信する方法は、
    次に送出する対象のフレームが待ちバッファにバッファリングされる一方で、送出する対象のフレームを送出バッファに送信前にバッファリングする工程と、
    後続独立フレームが送信のために提供される場合でない限り、前記独立フレームの受信の肯定応答の受信後に前記従属フレームが前記送出バッファから送出されるように前記フレームを前記送出バッファから送信する工程であって、前記従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記従属フレームは廃棄される工程と、
    後続従属フレーム又は後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記更なる従属フレームを前記送出バッファから送信する工程であって、
    前記更なる従属フレームが前記送出バッファに入っている間に前記後続従属フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続従属フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続従属フレームが前記送出バッファから送信され、それにより、前記後続従属フレームの方を選んで前記更なる従属フレームは廃棄され、
    前記更なる従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記更なる従属フレームは廃棄される工程と
    を含む、送信する方法。
  2. 請求項１記載の送信する方法であって、前記送信する方法は、
    後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記後続従属フレームを前記送出バッファから送信する工程を更に含み、
    前記後続従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記後続従属フレームは廃棄される工程を更に含む方法。
  3. 送信器であって、前記送信器は、符号化データをそれぞれが備える、フレームの順序付けられた組を前記送信器から受信器に送信し、前記順序付けられた組は、タイプＩのフレームである独立フレーム、従属フレーム、後続従属フレーム、及び更なる従属フレームを備えており、前記従属フレームは、タイプＰのフレームであり、前記従属フレームにおいて符号化された前記データを復号化するために前記独立フレームを必要とし、前記後続従属フレームは、タイプＰのフレームであり、前記後続従属フレームにおいて符号化された前記データを復号化するために前記従属フレームを必要とし、前記更なる従属フレームは、タイプＢのフレームであり、前記更なる従属フレームにおいて符号化された前記データを復号化するために前記独立フレーム及び前記従属フレームを必要とし、前記送信器は、
    送信前に前記独立フレーム及び前記従属フレームをバッファリングするバッファと、
    前記バッファからのフレームを前記受信器に送信するディスパッチャと、
    前記フレームの前記送信を再配列する再配列手段とを備えており、前記送信器は、
    次に送出する対象のフレームを待ちバッファにバッファリングする一方で、送出する対象のフレームを送出バッファに送信前にバッファリングする機能と、
    後続独立フレームが送信のために提供される場合でない限り、前記独立フレームの受信の肯定応答の受信後に前記従属フレームが送出されるようにフレームを前記送出バッファから前記受信器に送信する機能と
    を行うよう構成され、前記従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記従属フレームは廃棄され、前記送信器は更に、
    後続従属フレーム又は後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記更なる従属フレームを前記送出バッファから送信する機能を行うよう構成され、
    前記更なる従属フレームが前記送出バッファに入っている間に前記後続従属フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続従属フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続従属フレームが前記送出バッファから送信され、それにより、前記後続従属フレームの方を選んで前記更なる従属フレームは廃棄され、
    前記更なる従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記更なる従属フレームは廃棄される送信器。
  4. 請求項３記載の送信器であって、前記送信器は、
    後続独立フレームが送信のために提供される場合でない限り、前記従属フレームの受信の肯定応答の受信後に前記後続従属フレームを前記送出バッファから送信する機能を行うよう更に構成され、
    前記後続従属フレームが前記送出バッファに入っている間に前記後続独立フレームが送信のために提供された場合、前記送出バッファがクリアされ、前記後続独立フレームは、前記クリアされた送出バッファに挿入され、前記待ちバッファがクリアされ、前記後続独立フレームが前記送出バッファから送信され、前記後続独立フレームの方を選んで前記後続従属フレームは廃棄される送信器。
JP2007550906A 2005-01-17 2006-01-12 順序付けられたビデオ・フレーム組を送信し、受信するためのシステム、送信器、受信器、方法及びソフトウェア Expired - Fee Related JP5149628B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05100235.0 2005-01-17
EP05100235 2005-01-17
PCT/IB2006/050106 WO2006075302A1 (en) 2005-01-17 2006-01-12 System, transmitter, receiver, method and software for transmitting and receiving ordered sets of video frames

Publications (2)

Publication Number Publication Date
JP2008527889A JP2008527889A (ja) 2008-07-24
JP5149628B2 true JP5149628B2 (ja) 2013-02-20

Family

ID=36123924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007550906A Expired - Fee Related JP5149628B2 (ja) 2005-01-17 2006-01-12 順序付けられたビデオ・フレーム組を送信し、受信するためのシステム、送信器、受信器、方法及びソフトウェア

Country Status (7)

Country Link
US (1) US8345740B2 (ja)
EP (1) EP1842381B1 (ja)
JP (1) JP5149628B2 (ja)
KR (1) KR20070104608A (ja)
CN (1) CN101107865B (ja)
AT (1) ATE512550T1 (ja)
WO (1) WO2006075302A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296813B2 (en) 2006-06-22 2012-10-23 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8542705B2 (en) * 2007-01-23 2013-09-24 Mobitv, Inc. Key frame detection and synchronization
US8300699B2 (en) * 2007-05-31 2012-10-30 Qualcomm Incorporated System, method, and computer-readable medium for reducing required throughput in an ultra-wideband system
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8265154B2 (en) 2007-12-18 2012-09-11 At&T Intellectual Property I, Lp Redundant data dispersal in transmission of video data based on frame type
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
KR101478243B1 (ko) * 2008-10-06 2014-12-31 삼성전자주식회사 영상 통화 서비스에서 전송 자원 할당 방법 및 시스템
US8352992B1 (en) * 2008-10-09 2013-01-08 Hewlett-Packard Development Company, L.P. Wireless media streaming
US20100132007A1 (en) * 2008-11-25 2010-05-27 Cisco Technology, Inc. Accelerating channel change time with external picture property markings
US8683515B2 (en) 2008-11-25 2014-03-25 Cisco Technology, Inc. Receiver for accelerating channel change time
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
WO2010099801A1 (en) * 2009-03-04 2010-09-10 Telefonaktiebolaget Lm Ericsson (Publ) Processing of multimedia data
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
GB2526062B (en) * 2014-04-28 2016-09-07 Canon Kk Method for transmitting video data defining images, and next displaying said images, comprising reordering the video data for transmission
CN106791899A (zh) * 2016-12-13 2017-05-31 飞狐信息技术（天津）有限公司 直播中减少观众端画面卡顿的方法及装置以及客户端
CN106713947A (zh) * 2016-12-13 2017-05-24 飞狐信息技术（天津）有限公司 减少直播时延和卡顿的方法及装置、直播系统
CN113923459A (zh) * 2019-07-03 2022-01-11 北京小米移动软件有限公司 视频的编码、解码的方法及装置、存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768527A (en) * 1996-04-23 1998-06-16 Motorola, Inc. Device, system and method of real-time multimedia streaming
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
EP1439704A3 (en) * 1997-03-17 2011-08-10 Panasonic Corporation Method and apparatus for processing, transmitting and receiving dynamic image data
US6353700B1 (en) 1998-04-07 2002-03-05 Womble Multimedia, Inc. Method and apparatus for playing an MPEG data file backward
US6711122B1 (en) * 1999-02-08 2004-03-23 Radiolan, Inc. Frequency offset differential pulse position modulation
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
JP3927346B2 (ja) 2000-02-10 2007-06-06 株式会社メガチップス 画像送信装置、画像受信装置、および、画像伝送システム
EP1361690B1 (en) * 2000-03-02 2006-01-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retransmitting data packets based on channel conditions
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
KR100537499B1 (ko) * 2002-07-26 2005-12-19 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법

Also Published As

Publication number Publication date
ATE512550T1 (de) 2011-06-15
CN101107865A (zh) 2008-01-16
JP2008527889A (ja) 2008-07-24
WO2006075302A1 (en) 2006-07-20
US8345740B2 (en) 2013-01-01
EP1842381A1 (en) 2007-10-10
KR20070104608A (ko) 2007-10-26
US20080137728A1 (en) 2008-06-12
EP1842381B1 (en) 2011-06-08
CN101107865B (zh) 2011-11-16

Similar Documents

Publication Publication Date Title
JP5149628B2 (ja) 順序付けられたビデオ・フレーム組を送信し、受信するためのシステム、送信器、受信器、方法及びソフトウェア
JP4623616B2 (ja) データ伝送方法および装置
US8699522B2 (en) System and method for low delay, interactive communication using multiple TCP connections and scalable coding
EP1580914A1 (en) Method and system for controlling operation of a network
US20060164987A1 (en) Adaptive dropping of prioritized transmission packets
CN109155707B (zh) 在多播网络中请求数据重传
US8483055B2 (en) Adaptive frame rate control for video in a resource limited system
JP2013518510A (ja) 信頼性のあるデータ通信のためにネットワーク抽象化レイヤを解析する方法および装置
JP2013518511A (ja) 再送決定する方法及び装置
EP2030448A2 (en) Predictive frame dropping to enhance quality of service in streaming data
US20050254447A1 (en) Domestic multimedia transmission method and system
Lehman et al. Experiments with delivery of HDTV over IP networks
KR102118678B1 (ko) 부호화된 비디오 스트림 전송 장치 및 방법
CN109862400A (zh) 一种流媒体传输方法、装置及其系统
WO2008073881A2 (en) System and method for low-delay, interactive communication using multiple tcp connections and scalable coding
Ortiz et al. SCTP as scalable video coding transport
Kang et al. Adaptive streaming of combined audio/video content over wireless networks
KR20230159533A (ko) 클라우드 게이밍에서의 경험 품질 개선에 관한 방법, 장치 및 시스템
Chan et al. Priority early frame discard algorithm for TCP-based video streaming
Kang et al. Robust Video Streaming over Wireless In-Home Networks
KR20050023429A (ko) 우선 순위화 송신 패킷의 적응성 드롭핑
JP2009207007A (ja) 送信装置および送信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees