JP4248784B2 - 多数のストリームを用いるビデオ通信 - Google Patents
多数のストリームを用いるビデオ通信 Download PDFInfo
- Publication number
- JP4248784B2 JP4248784B2 JP2001525969A JP2001525969A JP4248784B2 JP 4248784 B2 JP4248784 B2 JP 4248784B2 JP 2001525969 A JP2001525969 A JP 2001525969A JP 2001525969 A JP2001525969 A JP 2001525969A JP 4248784 B2 JP4248784 B2 JP 4248784B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- encoded
- video
- streams
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 62
- 238000000034 method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Communication Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はビデオ通信分野に関し、特に多数のエンコードストリームを用いたビデオ通信に関する。
【０００２】
【従来の技術】
ディジタルテレビジョンシステム、インターネットビデオシステム、及びワイヤレスビデオシステムを含む広範な様々なビデオ通信は一般に、通信リンクを用いてディジタルビデオを搬送する。典型的に、かかるシステムでは、ディジタルビデオは、送信側から発信され、１つ又は２つ以上の通信リンクを介して１つ又は２つ以上の受信側へと転送される。例えば、ディジタルテレビジョンシステムでは、送信側としての放送局は、通常は無線通信リンク又はケーブル通信リンクを介して、１つ又は２つ以上のテレビ受像器にディジタルビデオを送信する。別の例としてのインターネットビデオシステムでは、典型的にはウェブサーバが、送信器としての役割を果たし、インターネットを介して１つ又は２つ以上のウェブクライアント受信器にディジタルビデオを転送する。
【０００３】
かかるシステムにおけるディジタルビデオは典型的には一連のビデオフレームとして構成される。該ビデオフレームは通常は、十分に高いフレーム速度で生成され、該ビデオフレームが表示装置上に描画された際に視聴者がフル動きビデオを視認できるようにする。例えば、ビデオ通信システムでは、15〜30フレーム／秒のフレーム速度が一般的である。各ビデオフレームは通常は一連の画素データを搬送する。各ビデオフレームに含まれる比較的大量の画素データが、フル動きビデオを提供するだけの十分に速いフレーム速度と相まって、典型的には、比較的高い帯域幅消費が通信リンク上に課せられることになる。
【０００４】
従来のビデオ通信システムは一般に、ビデオ圧縮を用いて、ディジタルビデオの帯域幅消費を低減させる。典型的には、送信側は、一連のオリジナルビデオフレームに応じて一連のエンコード済フレームを生成するエンコーダを備えている。各受信側は通常は、該エンコード済フレームからオリジナルの一連のビデオフレームを再構成するデコーダを備えている。エンコード済フレームが有する全データ量は、通常は、それに対応するオリジナルビデオフレームの全データ量よりも著しく少なくなる。
【０００５】
従来のビデオ圧縮方法におけるエンコード済フレームは典型的には、対応するオリジナルビデオフレームを再構成するために必要となる全ての情報を有するフレームを含む。かかるフレームは、イントラフレーム（Ｉ−フレーム）と呼ばれる場合がある。更に、従来のビデオ圧縮方法によるエンコード済フレームは典型的には、複数のフレームであって、該複数のフレームに関する対応するオリジナルビデオフレームの再構成が、一連のエンコード済フレームからの先にエンコードされたフレームに依存するものとなる、複数のフレームを含む。かかるフレームは、予測フレーム（Ｐ−フレーム）と呼ばれる場合がある。これは、かかるフレームが一般に、予測ループ(prediction loop)を用いてエンコーダにより生成されるからである。
【０００６】
【発明が解決しようとする課題】
典型的には、Ｉ−フレームが有するデータ量は、Ｐ−フレームが有するデータ量よりも著しく多くなる。それ故、エンコード済フレーム中でＰ−フレームの割合が高い場合には、帯域幅の節約が通常は改善される。しかし、残念なことに、予測を用いる場合には、典型的には、送信時のＰ−フレーム又はＩ−フレームの損失により、該フレームに対応するオリジナルビデオフレームの再構成、並びに一連の後続のＰ−フレームであって次のＩ−フレームの前のＰ−フレームの再構成が妨げられることになる。一連のＰ−フレームの損失は一般に、再構成されるディジタルビデオに悪影響を及ぼすものとなる。かかる悪影響の結果として、フリーズフレームが生じ、又は表示上のアーチファクトが現れる場合がある。かかる悪影響は典型的には、通信帯域幅の制約に起因してＩ−フレーム間に比較的多数のＰ−フレームを用いるシステムにおいて更に悪化する。
【０００７】
【課題を解決するための手段】
多数のストリームを使用してディジタルビデオを搬送するビデオ通信システムを開示する。該多数のストリームの使用により、該多数のストリームのうちの１つ又は２つ以上のストリームにおける誤りに起因して該多数のストリームのうちの残りのストリームの再構成が妨げられることがないことが確実となる。これにより、ストリームのサブセットの損失時に、低減されたフレーム速度で、ディジタルビデオを誤りなく表示することが可能となる。更に、多数のストリームは、損失したフレームを再生させるために使用することが可能な過去のフレーム及び未来のフレームを提供する。
【０００８】
本発明の他の特徴及び利点は、以下の詳細な説明から明らかとなろう。
【０００９】
【発明の実施の形態】
本発明をその特定の例示的な実施形態に関して図面を参照して説明する。
【００１０】
図１は、本教示によるビデオ通信システム10を示す。該ビデオ通信システム10は、一組のストリーム42を用いて一連のオリジナルビデオフレーム40を受信器32へ通信する送信器30を含む。この実施形態では、ストリーム42は一対のストリーム54,56を含み、該一対のストリーム54,56は、オリジナルビデオフレーム40からエンコードされた奇数及び偶数フレームをそれぞれ搬送するものである。
【００１１】
該実施形態では、送信器30は、オリジナルビデオフレーム40を一連の奇数ビデオフレーム50と一連の偶数ビデオフレーム52とに分離するフレーム分離ブロック12を含む。例えば、オリジナルビデオフレーム40が、一連のフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等である場合には、奇数ビデオフレーム50は、一連のフレーム1、フレーム3、フレーム5等であり、偶数ビデオフレーム52は、一連のフレーム2、フレーム4、フレーム6等である。実施形態によっては、フレーム分離ブロック12は、一時的なローパスフィルタリング又は雑音低減といった事前処理を行った後に各ストリーム毎のフレームを抽出することが可能である。
【００１２】
送信器30は、奇数ビデオフレーム50に応じて、エンコードされた奇数フレーム54を生成するエンコードブロック14を含む。該エンコードされた奇数フレーム54は、I−フレーム及びP−フレームを含む。例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14は、I−フレームI1を生成し、次いでP−フレーム P3、P5等を生成することが可能である。P3はI1に依存し、P5はP3に依存する、といった具合である。
【００１３】
同様に、送信器30は、偶数ビデオフレーム52に応じて、エンコードされた偶数フレーム56を生成するエンコードブロック16を含む。例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック14は、I−フレームI2を生成し、次いでP−フレームP4、P6等を生成することが可能である。P4はI2に依存し、P6はP4に依存する、といった具合である。
【００１４】
代替的には、例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14が、I1、P3、P5等を生成し、例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック16が、P2、P4、P6等を生成し、この場合に、P3がI1に依存し、及びP5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、及びP6がP4に依存する、といった具合である。
【００１５】
別の代替形態では、エンコードされた奇数及び偶数フレーム54,56内のI−フレームを互いに対してオフセットさせることが可能である。例えば、エンコードブロック14は、I1、P3、P5等を生成することが可能であり、またエンコードブロック14は、P2、P4、P6、I8、P10、P12等を生成することが可能であり、この場合に、P3がI1に依存し、P5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、P6がP4に依存し、P10がI8に依存する、といった具合である。かかる代替形態では、エンコードされた偶数フレーム56内のI−フレームが、エンコードされた奇数フレーム54内のI−フレーム間に均等に配置され、その逆も成り立つことが好ましい場合がある。
【００１６】
通信ブロック18は、エンコードされた奇数及び偶数フレーム54,56のストリームを受信器32へ搬送する。該エンコードされた奇数及び偶数フレーム54,56のストリームを別個のチャネル又は通信経路で搬送して、該ストリームの一方の伝送時に誤りを生じさせる途絶(disruption)が、他方のストリームの伝送を妨げないようにすることが好ましい。例えば、通信ブロック18が、パケット通信ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送するパケットとは別個のパケットで送信されるべきである。別の例として、通信ブロック18が、無線ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送する周波数帯域とは異なる周波数帯域で伝送されるべきである。
【００１７】
受信器32は、エンコードされた偶数フレーム56に応じて一連の再構成された偶数ビデオフレーム60を生成するデコードブロック20を備える。受信器32はまた、エンコードされた奇数フレーム54に応じて一連の再構成された奇数ビデオフレーム62を生成するデコードブロック22も備える。デコードブロック20において実施されるデコード方法は、エンコードブロック16におけるエンコード方法に適応するものである。同様に、デコードブロック22において実施されるデコード方法は、エンコードブロック14におけるエンコード方法に適応するものである。
【００１８】
例えば、エンコードブロック16が、予測ループに従って動き推定値及び誤り情報を搬送するエンコードされた偶数フレーム56内のP−フレームを生成する場合には、デコードブロック20は、それ自体の予測ループにおいて受信されたP−フレームからの動き推定値及び誤り情報を用いて、再構成された偶数ビデオフレーム60を生成する。動き推定値パラメータ及び誤り情報パラメータは、ビデオ圧縮規格において定義することが可能である。かかる規格の実例は、極めて多く存在し、MPEG−1、MPEG−2、MPEG−4といった様々なMPEG規格、並びにH.261及びH.263が含まれる。
【００１９】
かかる実施形態では、エンコードブロック14〜16及びデコードブロック20〜22内の予測ループは、生成され又は受信された各エンコードフレームを用いて、その状態を継続的に更新する。例えば、エンコードブロック14内の予測ループは、その状態を、該エンコードブロック14が生成した各エンコード済奇数フレーム54に関して更新し、デコードブロック22は、その状態を、該奇数フレーム54のデコード後に更新する。各予測ループは、その状態と称することが可能な情報を含む。予測ループの状態を使用して、エンコードすべき現在のフレームの予測が形成される。該状態の１つの成分は、以前にエンコードされたフレームである。その状態は、各エンコード済フレームと共に変化する。
【００２０】
各エンコードブロック14〜16は、それ自体の状態を有する１つの予測ループを有する。各エンコードブロック14〜16は、その状態及びコードに基づいて予測を形成し、各ブロック毎の動きベクトル及びインター／イントラ判定といった付随的な情報と共に誤差信号を伝送する。この情報は、前記状態から如何に予測を形成するかを記述するものである。各デコードブロック20〜22は、その状態と付随的な情報とに基づいて予測を形成し、受信されてデコードされた誤差信号を付加して、現在のフレームを再構成する。エンコード／デコードブロック対14/22,16/20は、同じ状態を有するはずである。そうでない場合には、それらブロック対の予測が異なり、それらブロック対のトラッキングを損なうことになり、及び再構成されたビデオフレーム44に著しい視覚的な劣化が生じる可能性がある。
【００２１】
従来のビデオ圧縮方法は通常は、送信器及び受信器において１つの予測ループを有し、該ループは１つの状態その他の情報を有し、該情報を損失した場合には、結果として送信器及び受信器において異なる予測が生じ、これにより、著しい視覚的な劣化が生じる可能性がある。本技術は、各々がそれ自体の状態情報を有する多数の予測ループを用いる。それゆえ、本教示は、多数の状態ストリームを用いるビデオ通信として特徴付けることができ、そのストリーム54〜56は、それぞれ状態ストリームと称することができる。
【００２２】
受信器32は、再構成された偶数及び奇数ビデオフレーム60〜62を組み合わせて一連の再構成されたビデオフレーム44を適切なフレーム順序で構成するマージブロック24を含む。例えば、マージブロック24は、再構成されたフルフレームであるフレーム1、フレーム3、フレーム5等を含む再構成された奇数ビデオフレーム62と、再構成されたフルフレームであるフレーム2、フレーム4、フレーム6等を含む再構成された偶数ビデオフレーム60とを組み合わせて、フルフレームであるフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等を含む再構成されたビデオフレーム44を提供する。再構成されたビデオフレーム44は、リアルタイム表示装置（図示せず）に供給される。
【００２３】
マージブロック24はまた、ストリーム54〜56にわたるアーチファクトの低減又は一時的なフィルタリングのための既知の処理といった事後処理を実行し、各ストリーム54〜56内の歪みを低減させ、及び／又は該ストリームにわたる一様な品質又は一時的なフレーム速度変換を提供することが可能である。
【００２４】
図２は、送信器30と受信器32との間での伝送中に誤りが生じた際に別個のストリーム54,56によりもたらされる利点を示している。この例では、P3はI1に依存し、P5はP3に依存し、また、P2はI1に依存し、P4はP2に依存し、P6はP4に依存する、といった具合である。
【００２５】
時間t1では、エンコードされた奇数フレーム54の伝送時に生じる誤りにより、デコードブロック22がP5を正しく再構成するのが妨げられる。予測ループに関しては、デコードブロック22は、P5を精確にデコードすることができず、それゆえ、エンコードブロック14と比べて不精確な状態を有するものとなる。その結果として、デコードブロック22は、互いに連続的に依存するP5〜P13を再構成することができない。この例では、時間t2においてI−フレームI15が受信されるまで、デコードブロック22の状態は初期化されない。
【００２６】
時間t1とt2との間では、デコードブロック20は、その状態を、P4、P6、P8等により搬送される情報を用いて更新し続け、P5の損失による影響を受けることはない。その結果として、再構成されたビデオフレーム44は、時間t1とt2との間で、再構成された偶数ビデオフレーム60を搬送する。これは、オリジナルビデオフレーム40の標準的なフレーム速度の半分の速度の表示を提供する。これは、ビデオをフリーズさせることになるか又は時間t1とt2との間で誤り隠蔽(error concealment)を実行することになる従来のシステムよりも一層良好なビデオイメージを提供するものとなる。
【００２７】
３つの別個のストリームを有する実施形態では、該ストリームのうちの１つにおいてI−フレーム又はP−フレームが損失することにより、標準的な速度の３分の２のフレーム速度が生成される。４つの別個のストリームを有する実施形態は、そのストリームのうちの１つにおいてP−フレームが損失した際に、標準的な速度の４分の３のフレーム速度を生成する、といった具合である。
【００２８】
図３は、フレーム再生ブロック26を含む受信器32の一実施形態を示す。該フレーム再生ブロック26は、ストリーム56により与えられる情報を用いてストリーム54の損失したP−フレームP5を再生する。P5を再生することにより、デコードブロック22が、その状態情報を精確に更新することによりその予測ループを継続して、P7〜P13を再構成することが可能となる。ストリーム56の再構成がP5の損失による影響を受けないという事実により、フレーム再生ブロック26が、損失したP5に関する過去及び未来フレームを用いて該フレームP5を再生することが可能となる。過去フレームP2,P4及び未来フレームP6〜P14は、奇数ストリーム54からのP1,P3と共に、フレーム再生ブロック26で利用可能である。ストリーム54〜56のうちの任意のストリームからの任意の精確にデコードされたフレームをフレーム再生ブロック26により用いることが可能である。例えば、ストリーム54,56内の全ての以前の偶数及び奇数フレーム並びにストリーム56内の未来の偶数フレームを用いることが可能である。
【００２９】
例えば、フレーム再生ブロック26は、P4,P6の再構成されたフルフレームバージョンであるフレーム4及びフレーム6を平均することにより、P5のフルフレームバージョンを再生することが可能である。再構成されるフルフレームのフレーム4及びフレーム6は、再構成された偶数ビデオフレーム60の一部としてデコードブロック20により生成される。フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたバージョンの任意の組み合わせを平均することが可能である。かかる平均処理は、ストリーム42において搬送されるビデオイメージが静止し又は低速で動く場合に適している場合がある。
【００３０】
代替的には、フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたフルフレームバージョンの任意の組み合わせを用いてP5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。ブロックベースの方法、制約条件式による方法、画素−再帰方法、位相−相関方法、ベイズの方法、オブジェクトベースの方法を含む、多数の動き推定方法を用いて、フレーム間の動きを推定することが可能である。P5のフルフレームバージョンは、動き推定(motion estimates)を用いて動き補償された補間(motion-compensated interpolation)を実行し、及び動きの経路に沿って適当な線形又は非線形フィルタリングを適用することにより、推定することが可能である。該補間はまた、未来又は過去フレームのみを用いることを適当に選択して適当な領域を推定することにより、該フレーム内のカバーされる領域及びカバーされない領域を考慮することが可能である。
【００３１】
別の代替形態では、フレーム再生ブロック26は、P−フレームP2,P4及びP6〜P14並びにP1,P3の任意の組み合わせに含まれる動きベクトルを用いて、P5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。更に、これらの過去及び未来のI−フレーム及びP−フレームからの他のエンコードされた情報を使用することが可能である。ビットストリーム中のエンコードされた情報の使用は、受信器32の状態再生の複雑さの低減に資するものとなり得る。
【００３２】
ストリーム54〜56は、１つのストリームが損失した場合に、他のストリーム内のエンコードされた情報が、損失したシーケンスの再生に有用なものとなるように、協働する態様でエンコードすることが可能である。例えば、ストリーム54に関する動きベクトルは、ストリーム56が損失した場合にストリーム54からの動きベクトルを用いて精確に再生することが可能となるように、ストリーム56を考慮して計算することが可能である。
【００３３】
状態の再生は、正しくデコードされたフレームの任意のサブセットを用いて実行することが可能である。損失したフレームは、該フレームを、別の正しくデコードされたフレームに置き換えることにより、又は正しくデコードされたフレームの動き補償を行ったバージョンに置き換えることにより、又は動き補償が行われる補間を介して置き換えることにより、推定することが可能である。
【００３４】
エンコードブロック14〜16は、ストリーム54〜56内の各フレーム毎にデコードブロック20〜22に付随的な情報を送信することが可能である。該情報は、対応するフレームが損失した場合に状態の再生を如何に行うかをフレーム再生ブロック26に通知するものである。
【００３５】
過去及び未来両方のフレームを使用して既知の誤り隠蔽方法を適用して、損失したフレームの改善された隠蔽を生成することが可能である。
【００３６】
ストリーム54〜56が双方向予測されるフレーム（B−フレーム）を含む実施形態では、フレーム再生ブロック26は、損失したB−フレームの再生及び表示を随意選択的に行うことが可能である。これが随意選択であるのは、他のフレームが、損失したB−フレームに依存しないからある。
【００３７】
図４は、フレーム再生ブロック26が、シーンチェンジを考慮しつつ、損失したフレームを再生する際に用いられることになる過去及び未来フレームを選択する一例を示す。この例では、時間t10における通信誤りにより、エンコードされた奇数フレーム54からのフレーム5のエンコードされたバージョンに損失が生じるようになる。フレーム3がP−フレームであり、フレーム4がI−フレームであるため、該フレーム3と該フレーム4との間にシーンチェンジが生じており、それゆえ、損失したフレーム5は、該シーンチェンジに適応すべくエンコードブロック14によりI−フレームとしてエンコードされたものであると結論付けられる。フレーム再生ブロック26は、フレーム5の再生に用いられることになるI4,P6,P8等の再構成されたバージョンの任意の組み合わせを選択するが、P2又はP3の再構成されたバージョンの任意の組み合わせを選択しない。なぜなら、以前のシーンに関連する可能性が高いためである。
【００３８】
またこの方法は、ブロックの大部分がP−ブロックとは対照的にI−ブロックとしてエンコードされることになるP−フレームが存在する場合に用いることが可能である。例えば、P3が、そのブロックの大部分がP−ブロックとしてエンコードされる典型的なP−フレームに対応するものであり、及びフレーム4が、P−フレームではあるが、I−ブロックとしてエンコードされる相当な割合のブロックを有するものである場合には、これは、フレーム4のI−ブロック部分に極めて新しいイメージが存在し、（P3の対応する領域ではなく）その情報がフレーム5を再生するために使用されるべきことを示している。それらのブロックを以前のフレームから精確に予測できない場合、例えば、フレームの一部に著しい動きが存在し又は該フレームの一部に新しい画像が存在する場合には、P−フレームはI−ブロックを有することが可能である。
【００３９】
実施形態によっては、受信器32が送信器30へ情報を送り返すことを可能にする通信チャネルが存在する。かかる通信チャネルはバックチャネル(back channel)と呼ばれることが多い。かかる実施形態では、フレーム再生ブロック26は、バックチャネルを使用して、誤りによりフレーム5の損失が生じたことを送信器30に通知する。バックチャネルは、受信器32がフレーム再生に用いられる方法に関して送信器30に通知するために使用することが可能である。フレーム再生ブロック26が、上述のように選択された過去及び未来フレームを用いてフレーム5を再生する間に、送信器30が、それと同じ過去及び未来フレーム及び再生方法を用いて、再生されたフレーム5を判定する。次いで、送信器30が、再生されたフレーム5と、以前にエンコードされて送信された実際のフレーム5とを比較して、フレーム再生ブロック26により行われた再生の品質を判定する。該再生の品質が十分でない場合には、送信器30が、I−フレームをエンコードし、該I−フレームをエンコードされた奇数フレーム54において送信して、デコードブロック22の状態を再初期化する。I−フレーム全体を送信する代替形態では、送信器30は、再生されたフレーム5のうちのどの細分領域の品質が不十分であるかを判定し、その領域の場合にイントラであり、残りの領域の場合に予測であるフレームを送信する。エンコーダは、その状態を再生されたフレームで置き換え、次いで、既知の態様で予測のエンコード及び形成を続行することを選択することが可能である。
【００４０】
ブロック12〜26はそれぞれ、その特定の機能を実行するためのハードウェア及び／またはソフトウェア構成要素を表す。例えば、フレーム分離ブロック12は、ハードウェア・マルチプレクサ回路で実施することが可能であり、又は送信器30内のプロセッサのためのソフトウェア／ファームウエアにおける等価な機能で実施することが可能である。マージブロック24は、ハードウェア・デマルチプレクサで実施することが可能であり、又は受信器32内のプロセッサに関するソフトウェア／ファームウエア内の等価な機能で実施することが可能である。エンコードブロック14,16は、別個のハードウェアエンコーダで実施することが可能であるか、又は送信器30内のプロセッサによって実行されるソフトウェア／ファームウエアで実施することが可能であるか、又はその組み合わせで実施することが可能である。デコードブロック20〜22は同様に実施することが可能である。フレーム再生ブロック26の機能は、デコードブロック20〜22のハードウェア及び／またはソフトウェアで実施することが可能であり、又は別個のハードウェア及び／またはソフトウェア／ファームウエアで実施することが可能である。
【００４１】
通信ブロック18の実施は、ビデオ通信システム10で用いられる通信のタイプに適応するハードウェア及び／またはソフトウェア／ファームウエア構成要素を含む。例えば、ビデオ通信システム10がインターネット通信を用いる場合には、通信ブロック18は、インターネットアクセスのためのハードウェア構成要素を送信器30及び受信器32に含み、並びにインターネット通信プロトコルを実施するためのソフトウェア構成要素を送信器30及び受信器32に含む。また別の例で、ビデオ通信システム10が無線通信を用いる場合には、通信ブロック18は、無線伝送のためのハードウェア構成要素を送信器30及び受信器32に含み、並びにセルラー等の無線通信プロトコルを実施するためのソフトウェア／ファームウエア構成要素を送信器30及び受信器32に含む。
【００４２】
図５は、ビデオ通信システム10の別の実施形態を示しており、多数のストリーム42を取り扱うために、送信器30が１つのエンコーダ70を、受信器32が１つのデコーダ72を用いる。オリジナルビデオフレーム40に応じて、エンコーダ70は、オリジナルビデオフレーム40のエンコードされたバージョンを搬送する一連のエンコード済フレーム41を生成する。送信器30内のフレーム分離ブロック74は、エンコード済フレーム41を、エンコードされた奇数及び偶数フレーム54,56である多数のストリーム42に分離する。受信器32内のマージブロック76は、多数のストリーム42からの一連のエンコード済フレーム41を正しい順序で再構築する。デコーダ72は、再構成されたビデオフレーム44を生成し、上述したようなフレーム再生を実行することが可能なものである。
【００４３】
この実施形態は、各ストリーム42毎に別個のエンコーダ及びデコーダの対が用いられる実施形態と比較して、送信器30及び受信器32のハードウェアを節約するものとなる。この実施形態は、一連のエンコード済フレーム41内の任意の所与のエンコード済フレームが、該一連のエンコード済フレーム41内の任意の他の先行するフレームに依存することが可能な圧縮規格に従ってエンコード及びデコードするのに適している。これは、P8がP6に依存し、該P6がP4に依存する（他も同様）ことを可能にするものである。
【００４４】
他の実施形態では、３つ以上のストリームを用いることが可能である。例えば、１組をなす３つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを２フレームおきに搬送することが可能であり、又は１組をなす４つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを３フレームおきに搬送することが可能である（以降同様）。
【００４５】
更に別の実施形態では、一様でないフレームのサブセットから構成されるストリームを用いることが可能である。例えば、ストリーム54が、フレーム1、フレーム2、フレーム4、フレーム5、フレーム7、フレーム8を含み、ストリーム56が、フレーム3、フレーム6、フレーム9等を含むことが可能である。ストリーム54〜56はまたフィールドを含むことも可能である。例えば、ストリーム54〜56のうちの１つが偶数フィールドを含み、該ストリーム54〜56のうちの他のストリームが奇数フィールドを含むことが可能である。幾つかのフレームを２つ以上のストリーム内にエンコードすることも可能である。
【００４６】
更に別の実施形態では、ストリーム54〜56間でのフレームの分離をオリジナルビデオフレーム40の内容に基づいて動的に決定することが可能である。
【００４７】
本技術は、オリジナルビデオフレーム40のサブセットに適用することも可能である。例えば、オリジナルビデオフレーム40の各々を４つの区画に分解し、該各区画を２つ又は３つ以上の別個のストリームを用いてエンコードすることが可能である。
【００４８】
更に、多数のストリームの数は、適応的に選択することが可能なものであり、通信条件に基づいて動的に変更することが可能である。例えば、通信状態が非常に良好であり、ほとんど損失がない場合には、２つのストリーム又は１つのストリームしか用いないことが適当な場合がある。また、通信状態が悪化し、多くの損失が存在する場合には、ストリームの数を３つ又は４つに変更することが適当な場合がある。受信器32は、例えばバックチャネルを用いて、通信の損失を送信器30に通知することが可能である。通信の損失が比較的小さい場合には、フレーム分離ブロック12は、エンコードブロック14〜16のうちの１つにオリジナルビデオフレーム40を送信することが可能である。また、通信の損失が比較的多い場合には、フレーム分離ブロック12は、エンコードブロック14〜16間でオリジナルビデオフレームを分割する。同様の機能をフレーム分離ブロック74で実施して通信条件の変化に適応することが可能である。
【００４９】
本発明の上記の詳細な説明は、本発明の例示を目的としたものであって、本発明を網羅し又は本発明を本開示と厳密に一致する実施形態に限定することを意図したものではない。したがって、本発明の範囲は、特許請求の範囲によって画定される。
【図面の簡単な説明】
【図１】 本発明によるビデオ通信システムを示す説明図である。
【図２】 ストリームのうちの１つの伝送時に誤りが生じる場合に別個のストリームによってもたらされる利点を示す説明図である。
【図３】 フレーム再生を含む受信器の一実施形態を示す説明図である。
【図４】 損失したフレームの再生時に使用するために過去及び未来フレームが選択される一例を示す説明図である。
【図５】 本発明の教示によるビデオ通信システムの別の一実施形態を示す説明図である。
【符号の説明】
10 ビデオ通信システム
12 フレーム分離ブロック
14 エンコードブロック
16 エンコードブロック
32 受信器
30 送信器
40 オリジナルビデオフレーム
42 ストリーム
50 奇数ビデオフレーム
52 偶数ビデオフレーム
54 エンコードされた奇数フレーム
56 エンコードされた偶数フレーム
【発明の属する技術分野】
本発明はビデオ通信分野に関し、特に多数のエンコードストリームを用いたビデオ通信に関する。
【０００２】
【従来の技術】
ディジタルテレビジョンシステム、インターネットビデオシステム、及びワイヤレスビデオシステムを含む広範な様々なビデオ通信は一般に、通信リンクを用いてディジタルビデオを搬送する。典型的に、かかるシステムでは、ディジタルビデオは、送信側から発信され、１つ又は２つ以上の通信リンクを介して１つ又は２つ以上の受信側へと転送される。例えば、ディジタルテレビジョンシステムでは、送信側としての放送局は、通常は無線通信リンク又はケーブル通信リンクを介して、１つ又は２つ以上のテレビ受像器にディジタルビデオを送信する。別の例としてのインターネットビデオシステムでは、典型的にはウェブサーバが、送信器としての役割を果たし、インターネットを介して１つ又は２つ以上のウェブクライアント受信器にディジタルビデオを転送する。
【０００３】
かかるシステムにおけるディジタルビデオは典型的には一連のビデオフレームとして構成される。該ビデオフレームは通常は、十分に高いフレーム速度で生成され、該ビデオフレームが表示装置上に描画された際に視聴者がフル動きビデオを視認できるようにする。例えば、ビデオ通信システムでは、15〜30フレーム／秒のフレーム速度が一般的である。各ビデオフレームは通常は一連の画素データを搬送する。各ビデオフレームに含まれる比較的大量の画素データが、フル動きビデオを提供するだけの十分に速いフレーム速度と相まって、典型的には、比較的高い帯域幅消費が通信リンク上に課せられることになる。
【０００４】
従来のビデオ通信システムは一般に、ビデオ圧縮を用いて、ディジタルビデオの帯域幅消費を低減させる。典型的には、送信側は、一連のオリジナルビデオフレームに応じて一連のエンコード済フレームを生成するエンコーダを備えている。各受信側は通常は、該エンコード済フレームからオリジナルの一連のビデオフレームを再構成するデコーダを備えている。エンコード済フレームが有する全データ量は、通常は、それに対応するオリジナルビデオフレームの全データ量よりも著しく少なくなる。
【０００５】
従来のビデオ圧縮方法におけるエンコード済フレームは典型的には、対応するオリジナルビデオフレームを再構成するために必要となる全ての情報を有するフレームを含む。かかるフレームは、イントラフレーム（Ｉ−フレーム）と呼ばれる場合がある。更に、従来のビデオ圧縮方法によるエンコード済フレームは典型的には、複数のフレームであって、該複数のフレームに関する対応するオリジナルビデオフレームの再構成が、一連のエンコード済フレームからの先にエンコードされたフレームに依存するものとなる、複数のフレームを含む。かかるフレームは、予測フレーム（Ｐ−フレーム）と呼ばれる場合がある。これは、かかるフレームが一般に、予測ループ(prediction loop)を用いてエンコーダにより生成されるからである。
【０００６】
【発明が解決しようとする課題】
典型的には、Ｉ−フレームが有するデータ量は、Ｐ−フレームが有するデータ量よりも著しく多くなる。それ故、エンコード済フレーム中でＰ−フレームの割合が高い場合には、帯域幅の節約が通常は改善される。しかし、残念なことに、予測を用いる場合には、典型的には、送信時のＰ−フレーム又はＩ−フレームの損失により、該フレームに対応するオリジナルビデオフレームの再構成、並びに一連の後続のＰ−フレームであって次のＩ−フレームの前のＰ−フレームの再構成が妨げられることになる。一連のＰ−フレームの損失は一般に、再構成されるディジタルビデオに悪影響を及ぼすものとなる。かかる悪影響の結果として、フリーズフレームが生じ、又は表示上のアーチファクトが現れる場合がある。かかる悪影響は典型的には、通信帯域幅の制約に起因してＩ−フレーム間に比較的多数のＰ−フレームを用いるシステムにおいて更に悪化する。
【０００７】
【課題を解決するための手段】
多数のストリームを使用してディジタルビデオを搬送するビデオ通信システムを開示する。該多数のストリームの使用により、該多数のストリームのうちの１つ又は２つ以上のストリームにおける誤りに起因して該多数のストリームのうちの残りのストリームの再構成が妨げられることがないことが確実となる。これにより、ストリームのサブセットの損失時に、低減されたフレーム速度で、ディジタルビデオを誤りなく表示することが可能となる。更に、多数のストリームは、損失したフレームを再生させるために使用することが可能な過去のフレーム及び未来のフレームを提供する。
【０００８】
本発明の他の特徴及び利点は、以下の詳細な説明から明らかとなろう。
【０００９】
【発明の実施の形態】
本発明をその特定の例示的な実施形態に関して図面を参照して説明する。
【００１０】
図１は、本教示によるビデオ通信システム10を示す。該ビデオ通信システム10は、一組のストリーム42を用いて一連のオリジナルビデオフレーム40を受信器32へ通信する送信器30を含む。この実施形態では、ストリーム42は一対のストリーム54,56を含み、該一対のストリーム54,56は、オリジナルビデオフレーム40からエンコードされた奇数及び偶数フレームをそれぞれ搬送するものである。
【００１１】
該実施形態では、送信器30は、オリジナルビデオフレーム40を一連の奇数ビデオフレーム50と一連の偶数ビデオフレーム52とに分離するフレーム分離ブロック12を含む。例えば、オリジナルビデオフレーム40が、一連のフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等である場合には、奇数ビデオフレーム50は、一連のフレーム1、フレーム3、フレーム5等であり、偶数ビデオフレーム52は、一連のフレーム2、フレーム4、フレーム6等である。実施形態によっては、フレーム分離ブロック12は、一時的なローパスフィルタリング又は雑音低減といった事前処理を行った後に各ストリーム毎のフレームを抽出することが可能である。
【００１２】
送信器30は、奇数ビデオフレーム50に応じて、エンコードされた奇数フレーム54を生成するエンコードブロック14を含む。該エンコードされた奇数フレーム54は、I−フレーム及びP−フレームを含む。例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14は、I−フレームI1を生成し、次いでP−フレーム P3、P5等を生成することが可能である。P3はI1に依存し、P5はP3に依存する、といった具合である。
【００１３】
同様に、送信器30は、偶数ビデオフレーム52に応じて、エンコードされた偶数フレーム56を生成するエンコードブロック16を含む。例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック14は、I−フレームI2を生成し、次いでP−フレームP4、P6等を生成することが可能である。P4はI2に依存し、P6はP4に依存する、といった具合である。
【００１４】
代替的には、例示としての一連のフレーム1、フレーム3、フレーム5等に応じて、エンコードブロック14が、I1、P3、P5等を生成し、例示としての一連のフレーム2、フレーム4、フレーム6等に応じて、エンコードブロック16が、P2、P4、P6等を生成し、この場合に、P3がI1に依存し、及びP5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、及びP6がP4に依存する、といった具合である。
【００１５】
別の代替形態では、エンコードされた奇数及び偶数フレーム54,56内のI−フレームを互いに対してオフセットさせることが可能である。例えば、エンコードブロック14は、I1、P3、P5等を生成することが可能であり、またエンコードブロック14は、P2、P4、P6、I8、P10、P12等を生成することが可能であり、この場合に、P3がI1に依存し、P5がP3に依存し、またP2がI1に依存し、P4がP2に依存し、P6がP4に依存し、P10がI8に依存する、といった具合である。かかる代替形態では、エンコードされた偶数フレーム56内のI−フレームが、エンコードされた奇数フレーム54内のI−フレーム間に均等に配置され、その逆も成り立つことが好ましい場合がある。
【００１６】
通信ブロック18は、エンコードされた奇数及び偶数フレーム54,56のストリームを受信器32へ搬送する。該エンコードされた奇数及び偶数フレーム54,56のストリームを別個のチャネル又は通信経路で搬送して、該ストリームの一方の伝送時に誤りを生じさせる途絶(disruption)が、他方のストリームの伝送を妨げないようにすることが好ましい。例えば、通信ブロック18が、パケット通信ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送するパケットとは別個のパケットで送信されるべきである。別の例として、通信ブロック18が、無線ネットワークとして実施される場合には、エンコードされた奇数フレーム54のストリームは、エンコードされた偶数フレーム56のストリームを搬送する周波数帯域とは異なる周波数帯域で伝送されるべきである。
【００１７】
受信器32は、エンコードされた偶数フレーム56に応じて一連の再構成された偶数ビデオフレーム60を生成するデコードブロック20を備える。受信器32はまた、エンコードされた奇数フレーム54に応じて一連の再構成された奇数ビデオフレーム62を生成するデコードブロック22も備える。デコードブロック20において実施されるデコード方法は、エンコードブロック16におけるエンコード方法に適応するものである。同様に、デコードブロック22において実施されるデコード方法は、エンコードブロック14におけるエンコード方法に適応するものである。
【００１８】
例えば、エンコードブロック16が、予測ループに従って動き推定値及び誤り情報を搬送するエンコードされた偶数フレーム56内のP−フレームを生成する場合には、デコードブロック20は、それ自体の予測ループにおいて受信されたP−フレームからの動き推定値及び誤り情報を用いて、再構成された偶数ビデオフレーム60を生成する。動き推定値パラメータ及び誤り情報パラメータは、ビデオ圧縮規格において定義することが可能である。かかる規格の実例は、極めて多く存在し、MPEG−1、MPEG−2、MPEG−4といった様々なMPEG規格、並びにH.261及びH.263が含まれる。
【００１９】
かかる実施形態では、エンコードブロック14〜16及びデコードブロック20〜22内の予測ループは、生成され又は受信された各エンコードフレームを用いて、その状態を継続的に更新する。例えば、エンコードブロック14内の予測ループは、その状態を、該エンコードブロック14が生成した各エンコード済奇数フレーム54に関して更新し、デコードブロック22は、その状態を、該奇数フレーム54のデコード後に更新する。各予測ループは、その状態と称することが可能な情報を含む。予測ループの状態を使用して、エンコードすべき現在のフレームの予測が形成される。該状態の１つの成分は、以前にエンコードされたフレームである。その状態は、各エンコード済フレームと共に変化する。
【００２０】
各エンコードブロック14〜16は、それ自体の状態を有する１つの予測ループを有する。各エンコードブロック14〜16は、その状態及びコードに基づいて予測を形成し、各ブロック毎の動きベクトル及びインター／イントラ判定といった付随的な情報と共に誤差信号を伝送する。この情報は、前記状態から如何に予測を形成するかを記述するものである。各デコードブロック20〜22は、その状態と付随的な情報とに基づいて予測を形成し、受信されてデコードされた誤差信号を付加して、現在のフレームを再構成する。エンコード／デコードブロック対14/22,16/20は、同じ状態を有するはずである。そうでない場合には、それらブロック対の予測が異なり、それらブロック対のトラッキングを損なうことになり、及び再構成されたビデオフレーム44に著しい視覚的な劣化が生じる可能性がある。
【００２１】
従来のビデオ圧縮方法は通常は、送信器及び受信器において１つの予測ループを有し、該ループは１つの状態その他の情報を有し、該情報を損失した場合には、結果として送信器及び受信器において異なる予測が生じ、これにより、著しい視覚的な劣化が生じる可能性がある。本技術は、各々がそれ自体の状態情報を有する多数の予測ループを用いる。それゆえ、本教示は、多数の状態ストリームを用いるビデオ通信として特徴付けることができ、そのストリーム54〜56は、それぞれ状態ストリームと称することができる。
【００２２】
受信器32は、再構成された偶数及び奇数ビデオフレーム60〜62を組み合わせて一連の再構成されたビデオフレーム44を適切なフレーム順序で構成するマージブロック24を含む。例えば、マージブロック24は、再構成されたフルフレームであるフレーム1、フレーム3、フレーム5等を含む再構成された奇数ビデオフレーム62と、再構成されたフルフレームであるフレーム2、フレーム4、フレーム6等を含む再構成された偶数ビデオフレーム60とを組み合わせて、フルフレームであるフレーム1、フレーム2、フレーム3、フレーム4、フレーム5、フレーム6等を含む再構成されたビデオフレーム44を提供する。再構成されたビデオフレーム44は、リアルタイム表示装置（図示せず）に供給される。
【００２３】
マージブロック24はまた、ストリーム54〜56にわたるアーチファクトの低減又は一時的なフィルタリングのための既知の処理といった事後処理を実行し、各ストリーム54〜56内の歪みを低減させ、及び／又は該ストリームにわたる一様な品質又は一時的なフレーム速度変換を提供することが可能である。
【００２４】
図２は、送信器30と受信器32との間での伝送中に誤りが生じた際に別個のストリーム54,56によりもたらされる利点を示している。この例では、P3はI1に依存し、P5はP3に依存し、また、P2はI1に依存し、P4はP2に依存し、P6はP4に依存する、といった具合である。
【００２５】
時間t1では、エンコードされた奇数フレーム54の伝送時に生じる誤りにより、デコードブロック22がP5を正しく再構成するのが妨げられる。予測ループに関しては、デコードブロック22は、P5を精確にデコードすることができず、それゆえ、エンコードブロック14と比べて不精確な状態を有するものとなる。その結果として、デコードブロック22は、互いに連続的に依存するP5〜P13を再構成することができない。この例では、時間t2においてI−フレームI15が受信されるまで、デコードブロック22の状態は初期化されない。
【００２６】
時間t1とt2との間では、デコードブロック20は、その状態を、P4、P6、P8等により搬送される情報を用いて更新し続け、P5の損失による影響を受けることはない。その結果として、再構成されたビデオフレーム44は、時間t1とt2との間で、再構成された偶数ビデオフレーム60を搬送する。これは、オリジナルビデオフレーム40の標準的なフレーム速度の半分の速度の表示を提供する。これは、ビデオをフリーズさせることになるか又は時間t1とt2との間で誤り隠蔽(error concealment)を実行することになる従来のシステムよりも一層良好なビデオイメージを提供するものとなる。
【００２７】
３つの別個のストリームを有する実施形態では、該ストリームのうちの１つにおいてI−フレーム又はP−フレームが損失することにより、標準的な速度の３分の２のフレーム速度が生成される。４つの別個のストリームを有する実施形態は、そのストリームのうちの１つにおいてP−フレームが損失した際に、標準的な速度の４分の３のフレーム速度を生成する、といった具合である。
【００２８】
図３は、フレーム再生ブロック26を含む受信器32の一実施形態を示す。該フレーム再生ブロック26は、ストリーム56により与えられる情報を用いてストリーム54の損失したP−フレームP5を再生する。P5を再生することにより、デコードブロック22が、その状態情報を精確に更新することによりその予測ループを継続して、P7〜P13を再構成することが可能となる。ストリーム56の再構成がP5の損失による影響を受けないという事実により、フレーム再生ブロック26が、損失したP5に関する過去及び未来フレームを用いて該フレームP5を再生することが可能となる。過去フレームP2,P4及び未来フレームP6〜P14は、奇数ストリーム54からのP1,P3と共に、フレーム再生ブロック26で利用可能である。ストリーム54〜56のうちの任意のストリームからの任意の精確にデコードされたフレームをフレーム再生ブロック26により用いることが可能である。例えば、ストリーム54,56内の全ての以前の偶数及び奇数フレーム並びにストリーム56内の未来の偶数フレームを用いることが可能である。
【００２９】
例えば、フレーム再生ブロック26は、P4,P6の再構成されたフルフレームバージョンであるフレーム4及びフレーム6を平均することにより、P5のフルフレームバージョンを再生することが可能である。再構成されるフルフレームのフレーム4及びフレーム6は、再構成された偶数ビデオフレーム60の一部としてデコードブロック20により生成される。フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたバージョンの任意の組み合わせを平均することが可能である。かかる平均処理は、ストリーム42において搬送されるビデオイメージが静止し又は低速で動く場合に適している場合がある。
【００３０】
代替的には、フレーム再生ブロック26は、P2,P4及びP6〜P14並びにP1,P3の再構成されたフルフレームバージョンの任意の組み合わせを用いてP5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。ブロックベースの方法、制約条件式による方法、画素−再帰方法、位相−相関方法、ベイズの方法、オブジェクトベースの方法を含む、多数の動き推定方法を用いて、フレーム間の動きを推定することが可能である。P5のフルフレームバージョンは、動き推定(motion estimates)を用いて動き補償された補間(motion-compensated interpolation)を実行し、及び動きの経路に沿って適当な線形又は非線形フィルタリングを適用することにより、推定することが可能である。該補間はまた、未来又は過去フレームのみを用いることを適当に選択して適当な領域を推定することにより、該フレーム内のカバーされる領域及びカバーされない領域を考慮することが可能である。
【００３１】
別の代替形態では、フレーム再生ブロック26は、P−フレームP2,P4及びP6〜P14並びにP1,P3の任意の組み合わせに含まれる動きベクトルを用いて、P5のフルフレームバージョンを補間し又は推定することにより、P5のフルフレームバージョンを再生することが可能である。更に、これらの過去及び未来のI−フレーム及びP−フレームからの他のエンコードされた情報を使用することが可能である。ビットストリーム中のエンコードされた情報の使用は、受信器32の状態再生の複雑さの低減に資するものとなり得る。
【００３２】
ストリーム54〜56は、１つのストリームが損失した場合に、他のストリーム内のエンコードされた情報が、損失したシーケンスの再生に有用なものとなるように、協働する態様でエンコードすることが可能である。例えば、ストリーム54に関する動きベクトルは、ストリーム56が損失した場合にストリーム54からの動きベクトルを用いて精確に再生することが可能となるように、ストリーム56を考慮して計算することが可能である。
【００３３】
状態の再生は、正しくデコードされたフレームの任意のサブセットを用いて実行することが可能である。損失したフレームは、該フレームを、別の正しくデコードされたフレームに置き換えることにより、又は正しくデコードされたフレームの動き補償を行ったバージョンに置き換えることにより、又は動き補償が行われる補間を介して置き換えることにより、推定することが可能である。
【００３４】
エンコードブロック14〜16は、ストリーム54〜56内の各フレーム毎にデコードブロック20〜22に付随的な情報を送信することが可能である。該情報は、対応するフレームが損失した場合に状態の再生を如何に行うかをフレーム再生ブロック26に通知するものである。
【００３５】
過去及び未来両方のフレームを使用して既知の誤り隠蔽方法を適用して、損失したフレームの改善された隠蔽を生成することが可能である。
【００３６】
ストリーム54〜56が双方向予測されるフレーム（B−フレーム）を含む実施形態では、フレーム再生ブロック26は、損失したB−フレームの再生及び表示を随意選択的に行うことが可能である。これが随意選択であるのは、他のフレームが、損失したB−フレームに依存しないからある。
【００３７】
図４は、フレーム再生ブロック26が、シーンチェンジを考慮しつつ、損失したフレームを再生する際に用いられることになる過去及び未来フレームを選択する一例を示す。この例では、時間t10における通信誤りにより、エンコードされた奇数フレーム54からのフレーム5のエンコードされたバージョンに損失が生じるようになる。フレーム3がP−フレームであり、フレーム4がI−フレームであるため、該フレーム3と該フレーム4との間にシーンチェンジが生じており、それゆえ、損失したフレーム5は、該シーンチェンジに適応すべくエンコードブロック14によりI−フレームとしてエンコードされたものであると結論付けられる。フレーム再生ブロック26は、フレーム5の再生に用いられることになるI4,P6,P8等の再構成されたバージョンの任意の組み合わせを選択するが、P2又はP3の再構成されたバージョンの任意の組み合わせを選択しない。なぜなら、以前のシーンに関連する可能性が高いためである。
【００３８】
またこの方法は、ブロックの大部分がP−ブロックとは対照的にI−ブロックとしてエンコードされることになるP−フレームが存在する場合に用いることが可能である。例えば、P3が、そのブロックの大部分がP−ブロックとしてエンコードされる典型的なP−フレームに対応するものであり、及びフレーム4が、P−フレームではあるが、I−ブロックとしてエンコードされる相当な割合のブロックを有するものである場合には、これは、フレーム4のI−ブロック部分に極めて新しいイメージが存在し、（P3の対応する領域ではなく）その情報がフレーム5を再生するために使用されるべきことを示している。それらのブロックを以前のフレームから精確に予測できない場合、例えば、フレームの一部に著しい動きが存在し又は該フレームの一部に新しい画像が存在する場合には、P−フレームはI−ブロックを有することが可能である。
【００３９】
実施形態によっては、受信器32が送信器30へ情報を送り返すことを可能にする通信チャネルが存在する。かかる通信チャネルはバックチャネル(back channel)と呼ばれることが多い。かかる実施形態では、フレーム再生ブロック26は、バックチャネルを使用して、誤りによりフレーム5の損失が生じたことを送信器30に通知する。バックチャネルは、受信器32がフレーム再生に用いられる方法に関して送信器30に通知するために使用することが可能である。フレーム再生ブロック26が、上述のように選択された過去及び未来フレームを用いてフレーム5を再生する間に、送信器30が、それと同じ過去及び未来フレーム及び再生方法を用いて、再生されたフレーム5を判定する。次いで、送信器30が、再生されたフレーム5と、以前にエンコードされて送信された実際のフレーム5とを比較して、フレーム再生ブロック26により行われた再生の品質を判定する。該再生の品質が十分でない場合には、送信器30が、I−フレームをエンコードし、該I−フレームをエンコードされた奇数フレーム54において送信して、デコードブロック22の状態を再初期化する。I−フレーム全体を送信する代替形態では、送信器30は、再生されたフレーム5のうちのどの細分領域の品質が不十分であるかを判定し、その領域の場合にイントラであり、残りの領域の場合に予測であるフレームを送信する。エンコーダは、その状態を再生されたフレームで置き換え、次いで、既知の態様で予測のエンコード及び形成を続行することを選択することが可能である。
【００４０】
ブロック12〜26はそれぞれ、その特定の機能を実行するためのハードウェア及び／またはソフトウェア構成要素を表す。例えば、フレーム分離ブロック12は、ハードウェア・マルチプレクサ回路で実施することが可能であり、又は送信器30内のプロセッサのためのソフトウェア／ファームウエアにおける等価な機能で実施することが可能である。マージブロック24は、ハードウェア・デマルチプレクサで実施することが可能であり、又は受信器32内のプロセッサに関するソフトウェア／ファームウエア内の等価な機能で実施することが可能である。エンコードブロック14,16は、別個のハードウェアエンコーダで実施することが可能であるか、又は送信器30内のプロセッサによって実行されるソフトウェア／ファームウエアで実施することが可能であるか、又はその組み合わせで実施することが可能である。デコードブロック20〜22は同様に実施することが可能である。フレーム再生ブロック26の機能は、デコードブロック20〜22のハードウェア及び／またはソフトウェアで実施することが可能であり、又は別個のハードウェア及び／またはソフトウェア／ファームウエアで実施することが可能である。
【００４１】
通信ブロック18の実施は、ビデオ通信システム10で用いられる通信のタイプに適応するハードウェア及び／またはソフトウェア／ファームウエア構成要素を含む。例えば、ビデオ通信システム10がインターネット通信を用いる場合には、通信ブロック18は、インターネットアクセスのためのハードウェア構成要素を送信器30及び受信器32に含み、並びにインターネット通信プロトコルを実施するためのソフトウェア構成要素を送信器30及び受信器32に含む。また別の例で、ビデオ通信システム10が無線通信を用いる場合には、通信ブロック18は、無線伝送のためのハードウェア構成要素を送信器30及び受信器32に含み、並びにセルラー等の無線通信プロトコルを実施するためのソフトウェア／ファームウエア構成要素を送信器30及び受信器32に含む。
【００４２】
図５は、ビデオ通信システム10の別の実施形態を示しており、多数のストリーム42を取り扱うために、送信器30が１つのエンコーダ70を、受信器32が１つのデコーダ72を用いる。オリジナルビデオフレーム40に応じて、エンコーダ70は、オリジナルビデオフレーム40のエンコードされたバージョンを搬送する一連のエンコード済フレーム41を生成する。送信器30内のフレーム分離ブロック74は、エンコード済フレーム41を、エンコードされた奇数及び偶数フレーム54,56である多数のストリーム42に分離する。受信器32内のマージブロック76は、多数のストリーム42からの一連のエンコード済フレーム41を正しい順序で再構築する。デコーダ72は、再構成されたビデオフレーム44を生成し、上述したようなフレーム再生を実行することが可能なものである。
【００４３】
この実施形態は、各ストリーム42毎に別個のエンコーダ及びデコーダの対が用いられる実施形態と比較して、送信器30及び受信器32のハードウェアを節約するものとなる。この実施形態は、一連のエンコード済フレーム41内の任意の所与のエンコード済フレームが、該一連のエンコード済フレーム41内の任意の他の先行するフレームに依存することが可能な圧縮規格に従ってエンコード及びデコードするのに適している。これは、P8がP6に依存し、該P6がP4に依存する（他も同様）ことを可能にするものである。
【００４４】
他の実施形態では、３つ以上のストリームを用いることが可能である。例えば、１組をなす３つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを２フレームおきに搬送することが可能であり、又は１組をなす４つのストリームが、オリジナルのビデオストリーム40のエンコード済フレームを３フレームおきに搬送することが可能である（以降同様）。
【００４５】
更に別の実施形態では、一様でないフレームのサブセットから構成されるストリームを用いることが可能である。例えば、ストリーム54が、フレーム1、フレーム2、フレーム4、フレーム5、フレーム7、フレーム8を含み、ストリーム56が、フレーム3、フレーム6、フレーム9等を含むことが可能である。ストリーム54〜56はまたフィールドを含むことも可能である。例えば、ストリーム54〜56のうちの１つが偶数フィールドを含み、該ストリーム54〜56のうちの他のストリームが奇数フィールドを含むことが可能である。幾つかのフレームを２つ以上のストリーム内にエンコードすることも可能である。
【００４６】
更に別の実施形態では、ストリーム54〜56間でのフレームの分離をオリジナルビデオフレーム40の内容に基づいて動的に決定することが可能である。
【００４７】
本技術は、オリジナルビデオフレーム40のサブセットに適用することも可能である。例えば、オリジナルビデオフレーム40の各々を４つの区画に分解し、該各区画を２つ又は３つ以上の別個のストリームを用いてエンコードすることが可能である。
【００４８】
更に、多数のストリームの数は、適応的に選択することが可能なものであり、通信条件に基づいて動的に変更することが可能である。例えば、通信状態が非常に良好であり、ほとんど損失がない場合には、２つのストリーム又は１つのストリームしか用いないことが適当な場合がある。また、通信状態が悪化し、多くの損失が存在する場合には、ストリームの数を３つ又は４つに変更することが適当な場合がある。受信器32は、例えばバックチャネルを用いて、通信の損失を送信器30に通知することが可能である。通信の損失が比較的小さい場合には、フレーム分離ブロック12は、エンコードブロック14〜16のうちの１つにオリジナルビデオフレーム40を送信することが可能である。また、通信の損失が比較的多い場合には、フレーム分離ブロック12は、エンコードブロック14〜16間でオリジナルビデオフレームを分割する。同様の機能をフレーム分離ブロック74で実施して通信条件の変化に適応することが可能である。
【００４９】
本発明の上記の詳細な説明は、本発明の例示を目的としたものであって、本発明を網羅し又は本発明を本開示と厳密に一致する実施形態に限定することを意図したものではない。したがって、本発明の範囲は、特許請求の範囲によって画定される。
【図面の簡単な説明】
【図１】 本発明によるビデオ通信システムを示す説明図である。
【図２】 ストリームのうちの１つの伝送時に誤りが生じる場合に別個のストリームによってもたらされる利点を示す説明図である。
【図３】 フレーム再生を含む受信器の一実施形態を示す説明図である。
【図４】 損失したフレームの再生時に使用するために過去及び未来フレームが選択される一例を示す説明図である。
【図５】 本発明の教示によるビデオ通信システムの別の一実施形態を示す説明図である。
【符号の説明】
10 ビデオ通信システム
12 フレーム分離ブロック
14 エンコードブロック
16 エンコードブロック
32 受信器
30 送信器
40 オリジナルビデオフレーム
42 ストリーム
50 奇数ビデオフレーム
52 偶数ビデオフレーム
54 エンコードされた奇数フレーム
56 エンコードされた偶数フレーム
Claims (21)
- ビデオ通信システムにおいて、複数のエンコードされたストリームの各々が、少なくとも１つのＩ−フレームと一連のＰ−フレームとからなり、該一連のＰ−フレームの各フレームはそれ以前のフレームに依存し、
前記ビデオ通信システムが、
複数のビデオフレームからなるビデオフレームストリームから前記複数のエンコードされたストリームを生成するための手段を有する送信器と、
前記複数のエンコードされたストリームのうちの１つ以上のストリームにおける前記一連のフレーム中の任意のフレームが損失した場合に、前記複数のエンコードされたストリーム中の１以上の所定のフレームを用いて、前記損失したフレームを置換または補間するための手段を有する受信器
を備え、
前記所定のフレームが、
前記複数のエンコードされたストリーム中のＩ−フレームのうち、前記損失したフレームよりも時間的に前でかつ該損失したフレームに最も近いＩ−フレームを第１のＩ−フレームとし、前記損失したフレームより時間的に後でかつ該損失したフレームに最も近いＩ−フレームを第２のＩ−フレームとした場合において、前記複数のエンコードされたストリームのうち、前記第１と第２のＩ−フレームの間に受信された、前記損失したフレームを含まないストリーム中のフレームと、前記第１のＩ−フレームと前記損失したフレームの間に受信された該損失したフレームを含むストリーム中のフレームと、前記第１のＩ−フレームとからなるフレームから選択される、ビデオ通信システム。 - 前記複数のエンコードされたストリームを生成するための前記手段が、
該複数のエンコードされたストリームに１つずつ対応する複数のエンコーダからなる１組のエンコーダと、
前記ビデオフレームストリームを、前記各エンコーダ毎のビデオフレームストリームへと分離するための手段
を備えることからなる、請求項１に記載のビデオ通信システム。 - 前記損失したフレームを置換または補間するための前記手段が、
前記複数のエンコードされたストリームのうちの１つに応じて１つの再構成されたビデオフレームストリームを、各々が生成する複数のデコーダからなる１組のデコーダと、
該再構成された複数のビデオフレームストリームをマージするための手段
を備えることからなる、請求項２に記載のビデオ通信システム。 - 前記複数のエンコードされたストリームを生成するための前記手段が、
前記ビデオフレームストリームに応じてエンコードされた複数のフレームからなるエンコード済フレームストリームを生成するエンコーダと、
該エンコード済フレームストリームを前記複数のエンコードされたストリームへと分離するための手段
を備えることからなる、請求項１に記載のビデオ通信システム。 - 前記損失したフレームを置換または補間するための前記手段が、
複数の前記エンコード済ビデオフレームストリームをマージするための手段と、
該マージされたストリームに応じて、再構成されたビデオフレームストリームを生成するためのデコーダ
を備えることからなる、請求項４に記載のビデオ通信システム。 - 前記損失したフレームを置換または補間するための前記手段が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するための手段である、請求項１に記載のビデオ通信システム。
- 前記損失したフレームを置換または補間するための前記手段が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて推定するための手段である、請求項１に記載のビデオ通信システム。
- 前記複数のエンコードされたストリームを生成するための前記手段が、前記各ビデオフレームを１組の４分の１区画へと分解する手段と、該４分の１区画の各々毎に複数のエンコードされたストリームを生成するための手段とを備える、請求項１に記載のビデオ通信システム。
- 前記複数のエンコードされたストリームを生成するための前記手段が、該複数のエンコードされたストリームの数を前記送信器と前記受信器との間の通信条件に適応させるための手段を備える、請求項１に記載のビデオ通信システム。
- 前記送信器が、前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するための手段を更に備える、請求項１に記載のビデオ通信システム。
- 前記送信器が、前記損失したフレームを前記受信側と同じ再生方法で再生し、その再生品質を、前記再生されたフレームと、前記損失したフレームに対応するエンコードされる前のフレームとを比較することによって判定し、前記再生品質に応じて、前記Ｉ−フレームを前記受信器に送信するか否かを決定するための手段を更に備える、請求項１０に記載のビデオ通信システム。
- 複数のエンコードされたストリームの各々が、少なくとも１つのＩ−フレームと一連のＰ−フレームとから構成され、該一連のＰ−フレームの各フレームがそれ以前のフレームに依存する場合において、
複数のビデオフレームからなるビデオフレームストリームから前記複数のエンコードされたストリームを生成するステップと、
前記複数のエンコードされたストリームのうちの１つ以上のストリームにおける前記一連のフレーム中の任意のフレームが損失した場合に、前記複数のエンコードされたストリーム中の１以上の所定のフレームを用いて、前記損失したフレームを置換または補間するステップ
を含み、
前記所定のフレームが、
前記複数のエンコードされたストリーム中のＩ−フレームのうち、前記損失したフレームよりも時間的に前でかつ該損失したフレームに最も近いＩ−フレームを第１のＩ−フレームとし、前記損失したフレームより時間的に後でかつ該損失したフレームに最も近いＩ−フレームを第２のＩ−フレームとした場合において、前記複数のエンコードされたストリームのうち、前記第１と第２のＩ−フレームの間に受信された、前記損失したフレームを含まないストリーム中のフレームと、前記第１のＩ−フレームと前記損失したフレームの間に受信された該損失したフレームを含むストリーム中のフレームと、前記第１のＩ−フレームとからなるフレームから選択される、ビデオ通信方法。 - 前記複数のエンコードされたストリームを生成する前記ステップが、
前記ビデオフレームストリームを前記複数のエンコードされたストリームの各々に対応するビデオフレームストリームに分離するステップと、
前記分離されたビデオフレームストリームの各々を別個にエンコードするステップ
を含むことからなる、請求項１２に記載の方法。 - 前記損失したフレームを置換または補間する前記ステップが、
前記複数のエンコードされたストリームのうちの１つに応じて、再構成されたビデオフレームストリームを生成するステップと、
前記再構成されたビデオフレームストリームをマージするステップ
を含むことからなる、請求項１３に記載の方法。 - 前記複数のエンコードされたストリームを生成する前記ステップが、
前記ビデオフレームストリームに応じて、エンコードされた複数のフレームからなるエンコード済フレームストリームを生成するステップと
該エンコード済フレームストリームを前記複数のエンコードされたストリームへと分離するステップ
を含むことからなる、請求項１２に記載の方法。 - 前記損失したフレームを置換または補間する前記ステップが、
複数の前記エンコード済ビデオフレームストリームをマージするステップと、
該マージされたストリームに応じて再構成されたビデオフレームストリームを生成するステップ
を含むことからなる、請求項１５に記載の方法。 - 前記損失したフレームを置換または補間する前記ステップが、
前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて回復するステップである、請求項１２に記載の方法。 - 前記損失したフレームを置換または補間する前記ステップが、
前記損失したフレームを、前記複数のエンコードされたストリームのうちの残りのストリームからの１つ又は２つ以上のデコードされたフレームを用いて推定するステップである、請求項１２に記載の方法。 - 前記複数のエンコードされたストリームを生成する前記ステップが、
前記各ビデオフレームを１組の４分の１区画に分解するステップと、
該４分の１区画の各々毎に複数のエンコードされたストリームを生成するステップ
を含むことからなる、請求項１２に記載の方法。 - 前記複数のエンコードされたストリームを生成する前記ステップが、該複数のエンコードされたストリームの数を送信器と受信器との間の通信条件に適応させるステップを含むことからなる、請求項１２に記載の方法。
- 前記複数のエンコードされたストリームを生成する前記ステップが、
前記複数のエンコードされたストリームの送信側において、前記損失したフレームを前記複数のエンコードされたストリームの受信側と同じ再生方法で再生し、その再生品質を、前記再生されたフレームと、前記損失したフレームに対応するエンコードされる前のフレームとを比較することによって判定し、前記再生品質に応じて、前記Ｉ−フレームを前記受信側に送信するか否かを決定するステップ
を含むことからなる、請求項１２に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/400,416 US6611530B1 (en) | 1999-09-21 | 1999-09-21 | Video communication using multiple streams |
| US09/400,416 | 1999-09-21 | ||
| PCT/US2000/026294 WO2001022735A1 (en) | 1999-09-21 | 2000-09-21 | Video communication using multiple streams |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003510911A JP2003510911A (ja) | 2003-03-18 |
| JP2003510911A5 JP2003510911A5 (ja) | 2005-11-17 |
| JP4248784B2 true JP4248784B2 (ja) | 2009-04-02 |
Family
ID=23583525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001525969A Expired - Fee Related JP4248784B2 (ja) | 1999-09-21 | 2000-09-21 | 多数のストリームを用いるビデオ通信 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6611530B1 (ja) |
| EP (1) | EP1222823A1 (ja) |
| JP (1) | JP4248784B2 (ja) |
| WO (1) | WO2001022735A1 (ja) |
Families Citing this family (86)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8266657B2 (en) | 2001-03-15 | 2012-09-11 | Sling Media Inc. | Method for effectively implementing a multi-room television system |
| US6263503B1 (en) | 1999-05-26 | 2001-07-17 | Neal Margulis | Method for effectively implementing a wireless television system |
| US6556624B1 (en) | 1999-07-27 | 2003-04-29 | At&T Corp. | Method and apparatus for accomplishing multiple description coding for video |
| JP2001245268A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | コンテンツ伝送システム及びコンテンツ処理装置 |
| US7003794B2 (en) * | 2000-06-27 | 2006-02-21 | Bamboo Mediacasting, Inc. | Multicasting transmission of multimedia information |
| US20020040479A1 (en) * | 2000-10-04 | 2002-04-04 | Eric Ehrman | Method and apparatus for streaming content via a network |
| US7103669B2 (en) * | 2001-02-16 | 2006-09-05 | Hewlett-Packard Development Company, L.P. | Video communication method and system employing multiple state encoding and path diversity |
| WO2002078340A2 (en) * | 2001-03-23 | 2002-10-03 | Koninklijke Kpn N.V. | Monitoring apparatus, computer program and network for secure data storage |
| EP1304879A1 (en) * | 2001-10-22 | 2003-04-23 | Koninklijke KPN N.V. | Monitoring apparatus, computer program and network for secure data storage |
| US6757735B2 (en) | 2001-07-03 | 2004-06-29 | Hewlett-Packard Development Company, L.P. | Method for distributing multiple description streams on servers in fixed and mobile streaming media systems |
| US20030009578A1 (en) * | 2001-07-03 | 2003-01-09 | Apostolopoulos John G. | Method and system for delivering streaming media to fixed clients or mobile clients with multiple description bitstreams |
| US20040022202A1 (en) | 2002-08-05 | 2004-02-05 | Chih-Lung Yang | Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels |
| US6535240B2 (en) | 2001-07-16 | 2003-03-18 | Chih-Lung Yang | Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels |
| EP1454492A4 (en) * | 2001-07-18 | 2005-01-05 | Polycom Inc | SYSTEM AND METHOD FOR IMPROVING THE QUALITY OF VIDEO COMMUNICATION VIA A PACKET BASED NETWORK |
| EP1454249A4 (en) * | 2001-12-15 | 2006-07-19 | Thomson Licensing | SYSTEM AND METHOD FOR DISTRIBUTING DATA RIVERS OF SEVERAL DATA TYPES AT DIFFERENT PRIORITY LEVELS |
| US20030204602A1 (en) * | 2002-04-26 | 2003-10-30 | Hudson Michael D. | Mediated multi-source peer content delivery network architecture |
| US20050117643A1 (en) * | 2002-04-26 | 2005-06-02 | Nec Corporation | Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program |
| US7492387B2 (en) | 2002-08-05 | 2009-02-17 | Chih-Lung Yang | Implementation of MPCP MCU technology for the H.264 video standard |
| GB2393060B (en) * | 2002-09-12 | 2006-01-25 | Snell & Wilcox Ltd | Manipulation of video compression |
| US7466362B2 (en) * | 2002-10-22 | 2008-12-16 | Broadcom Corporation | Data rate management system and method for A/V decoder |
| JP3524544B1 (ja) * | 2002-11-29 | 2004-05-10 | 沖電気工業株式会社 | 変調回路及び変調方法 |
| KR100592547B1 (ko) * | 2003-06-03 | 2006-06-23 | 서울시립대학교 산학협력단 | 스트리밍을 위한 패킷 스케줄링 방법 |
| US7305031B2 (en) * | 2004-01-29 | 2007-12-04 | International Business Machines Corporation | Method and system for the error resilient transmission of predictively encoded signals |
| EP1714491A2 (en) * | 2004-02-09 | 2006-10-25 | Matsushita Electric Industrial Co Ltd | Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit |
| US8629836B2 (en) | 2004-04-30 | 2014-01-14 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
| US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
| US8099755B2 (en) * | 2004-06-07 | 2012-01-17 | Sling Media Pvt. Ltd. | Systems and methods for controlling the encoding of a media stream |
| US8346605B2 (en) | 2004-06-07 | 2013-01-01 | Sling Media, Inc. | Management of shared media content |
| US7917932B2 (en) | 2005-06-07 | 2011-03-29 | Sling Media, Inc. | Personal video recorder functionality for placeshifting systems |
| US9998802B2 (en) | 2004-06-07 | 2018-06-12 | Sling Media LLC | Systems and methods for creating variable length clips from a media stream |
| US7769756B2 (en) | 2004-06-07 | 2010-08-03 | Sling Media, Inc. | Selection and presentation of context-relevant supplemental content and advertising |
| US7975062B2 (en) | 2004-06-07 | 2011-07-05 | Sling Media, Inc. | Capturing and sharing media content |
| US7707614B2 (en) | 2004-06-07 | 2010-04-27 | Sling Media, Inc. | Personal media broadcasting system with output buffer |
| US7571246B2 (en) * | 2004-07-29 | 2009-08-04 | Microsoft Corporation | Media transrating over a bandwidth-limited network |
| US20060184697A1 (en) * | 2005-02-11 | 2006-08-17 | Microsoft Corporation | Detecting clock drift in networked devices through monitoring client buffer fullness |
| US7667707B1 (en) | 2005-05-05 | 2010-02-23 | Digital Display Innovations, Llc | Computer system for supporting multiple remote displays |
| US8200796B1 (en) | 2005-05-05 | 2012-06-12 | Digital Display Innovations, Llc | Graphics display system for multiple remote terminals |
| US20060282855A1 (en) * | 2005-05-05 | 2006-12-14 | Digital Display Innovations, Llc | Multiple remote display system |
| US8019883B1 (en) | 2005-05-05 | 2011-09-13 | Digital Display Innovations, Llc | WiFi peripheral mode display system |
| US11733958B2 (en) | 2005-05-05 | 2023-08-22 | Iii Holdings 1, Llc | Wireless mesh-enabled system, host device, and method for use therewith |
| US7743183B2 (en) * | 2005-05-23 | 2010-06-22 | Microsoft Corporation | Flow control for media streaming |
| WO2007005790A2 (en) * | 2005-06-30 | 2007-01-11 | Sling Media, Inc. | Firmware update for consumer electronic device |
| US7899864B2 (en) * | 2005-11-01 | 2011-03-01 | Microsoft Corporation | Multi-user terminal services accelerator |
| US8112513B2 (en) * | 2005-11-30 | 2012-02-07 | Microsoft Corporation | Multi-user display proxy server |
| JP4389883B2 (ja) * | 2006-01-30 | 2009-12-24 | ソニー株式会社 | 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体 |
| US7493912B2 (en) * | 2006-06-09 | 2009-02-24 | Hartman Brian T | Fixed cone sleeve valve having cone supported by means downstream of the gate in its closed position |
| US7460725B2 (en) * | 2006-11-09 | 2008-12-02 | Calista Technologies, Inc. | System and method for effectively encoding and decoding electronic information |
| US7720300B1 (en) | 2006-12-05 | 2010-05-18 | Calister Technologies | System and method for effectively performing an adaptive quantization procedure |
| JP2009027720A (ja) * | 2007-07-23 | 2009-02-05 | Polycom Inc | 輻輳回避と共に損失パケット回復を行うシステム及び方法 |
| JP5199621B2 (ja) * | 2007-08-27 | 2013-05-15 | パナソニック株式会社 | 映像送信装置 |
| US8477793B2 (en) * | 2007-09-26 | 2013-07-02 | Sling Media, Inc. | Media streaming device with gateway functionality |
| US8350971B2 (en) * | 2007-10-23 | 2013-01-08 | Sling Media, Inc. | Systems and methods for controlling media devices |
| US8385425B2 (en) * | 2007-10-25 | 2013-02-26 | Microsoft Corporation | Temporal video filtering for real time communication systems |
| US8060609B2 (en) * | 2008-01-04 | 2011-11-15 | Sling Media Inc. | Systems and methods for determining attributes of media items accessed via a personal media broadcaster |
| US8667279B2 (en) | 2008-07-01 | 2014-03-04 | Sling Media, Inc. | Systems and methods for securely place shifting media content |
| US8381310B2 (en) | 2009-08-13 | 2013-02-19 | Sling Media Pvt. Ltd. | Systems, methods, and program applications for selectively restricting the placeshifting of copy protected digital media content |
| US20100070925A1 (en) * | 2008-09-08 | 2010-03-18 | Sling Media Inc. | Systems and methods for selecting media content obtained from multple sources |
| US8667163B2 (en) * | 2008-09-08 | 2014-03-04 | Sling Media Inc. | Systems and methods for projecting images from a computer system |
| US9191610B2 (en) * | 2008-11-26 | 2015-11-17 | Sling Media Pvt Ltd. | Systems and methods for creating logical media streams for media storage and playback |
| US8438602B2 (en) * | 2009-01-26 | 2013-05-07 | Sling Media Inc. | Systems and methods for linking media content |
| US8171148B2 (en) | 2009-04-17 | 2012-05-01 | Sling Media, Inc. | Systems and methods for establishing connections between devices communicating over a network |
| US8406431B2 (en) * | 2009-07-23 | 2013-03-26 | Sling Media Pvt. Ltd. | Adaptive gain control for digital audio samples in a media stream |
| US9479737B2 (en) * | 2009-08-06 | 2016-10-25 | Echostar Technologies L.L.C. | Systems and methods for event programming via a remote media player |
| US20110032986A1 (en) * | 2009-08-07 | 2011-02-10 | Sling Media Pvt Ltd | Systems and methods for automatically controlling the resolution of streaming video content |
| US20110035765A1 (en) * | 2009-08-10 | 2011-02-10 | Sling Media Pvt Ltd | Systems and methods for providing programming content |
| US8966101B2 (en) | 2009-08-10 | 2015-02-24 | Sling Media Pvt Ltd | Systems and methods for updating firmware over a network |
| US8532472B2 (en) * | 2009-08-10 | 2013-09-10 | Sling Media Pvt Ltd | Methods and apparatus for fast seeking within a media stream buffer |
| US8799408B2 (en) | 2009-08-10 | 2014-08-05 | Sling Media Pvt Ltd | Localization systems and methods |
| US9525838B2 (en) * | 2009-08-10 | 2016-12-20 | Sling Media Pvt. Ltd. | Systems and methods for virtual remote control of streamed media |
| US20110035466A1 (en) * | 2009-08-10 | 2011-02-10 | Sling Media Pvt Ltd | Home media aggregator system and method |
| US9565479B2 (en) | 2009-08-10 | 2017-02-07 | Sling Media Pvt Ltd. | Methods and apparatus for seeking within a media stream using scene detection |
| US9160974B2 (en) * | 2009-08-26 | 2015-10-13 | Sling Media, Inc. | Systems and methods for transcoding and place shifting media content |
| US8314893B2 (en) | 2009-08-28 | 2012-11-20 | Sling Media Pvt. Ltd. | Remote control and method for automatically adjusting the volume output of an audio device |
| US20110113354A1 (en) * | 2009-11-12 | 2011-05-12 | Sling Media Pvt Ltd | Always-on-top media player launched from a web browser |
| US9015225B2 (en) * | 2009-11-16 | 2015-04-21 | Echostar Technologies L.L.C. | Systems and methods for delivering messages over a network |
| US8799485B2 (en) * | 2009-12-18 | 2014-08-05 | Sling Media, Inc. | Methods and apparatus for establishing network connections using an inter-mediating device |
| US8626879B2 (en) | 2009-12-22 | 2014-01-07 | Sling Media, Inc. | Systems and methods for establishing network connections using local mediation services |
| US9178923B2 (en) * | 2009-12-23 | 2015-11-03 | Echostar Technologies L.L.C. | Systems and methods for remotely controlling a media server via a network |
| US9275054B2 (en) | 2009-12-28 | 2016-03-01 | Sling Media, Inc. | Systems and methods for searching media content |
| US8856349B2 (en) | 2010-02-05 | 2014-10-07 | Sling Media Inc. | Connection priority services for data communication between two devices |
| JP5978574B2 (ja) * | 2011-09-12 | 2016-08-24 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法および送受信システム |
| WO2013094258A1 (ja) * | 2011-12-20 | 2013-06-27 | シャープ株式会社 | 映像出力装置および表示装置 |
| WO2013158293A1 (en) * | 2012-04-19 | 2013-10-24 | Vid Scale, Inc. | System and method for error-resilient video coding |
| US9854017B2 (en) * | 2013-03-15 | 2017-12-26 | Qualcomm Incorporated | Resilience in the presence of missing media segments in dynamic adaptive streaming over HTTP |
| EP2838268B1 (en) * | 2013-07-31 | 2019-02-20 | Axis AB | Method, device and system for producing a merged digital video sequence |
| CN110827380B (zh) * | 2019-09-19 | 2023-10-17 | 北京铂石空间科技有限公司 | 图像的渲染方法、装置、电子设备及计算机可读介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0616472B1 (en) | 1993-03-15 | 1999-05-12 | Sony Corporation | Transmission and decoding of picture signals |
| US5481542A (en) * | 1993-11-10 | 1996-01-02 | Scientific-Atlanta, Inc. | Interactive information services control system |
| JPH08154247A (ja) | 1994-09-29 | 1996-06-11 | Sanyo Electric Co Ltd | 圧縮画像データ処理装置及び方法 |
| US5646687A (en) | 1994-12-29 | 1997-07-08 | Lucent Technologies Inc. | Temporally-pipelined predictive encoder/decoder circuit and method |
| KR100215428B1 (ko) | 1995-01-23 | 1999-08-16 | 윤종용 | B픽처의에러은폐방법 |
| US6317795B1 (en) * | 1997-07-22 | 2001-11-13 | International Business Machines Corporation | Dynamic modification of multimedia content |
| US6101591A (en) * | 1998-03-25 | 2000-08-08 | International Business Machines Corporation | Method and system for selectively independently or simultaneously updating multiple system time clocks in an MPEG system |
| US6226038B1 (en) * | 1998-04-03 | 2001-05-01 | Avid Technology, Inc. | HDTV editing and effects previsualization using SDTV devices |
-
1999
- 1999-09-21 US US09/400,416 patent/US6611530B1/en not_active Expired - Lifetime
-
2000
- 2000-09-21 EP EP00966849A patent/EP1222823A1/en not_active Ceased
- 2000-09-21 JP JP2001525969A patent/JP4248784B2/ja not_active Expired - Fee Related
- 2000-09-21 WO PCT/US2000/026294 patent/WO2001022735A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003510911A (ja) | 2003-03-18 |
| US6611530B1 (en) | 2003-08-26 |
| EP1222823A1 (en) | 2002-07-17 |
| WO2001022735A1 (en) | 2001-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4248784B2 (ja) | 多数のストリームを用いるビデオ通信 | |
| US7103669B2 (en) | Video communication method and system employing multiple state encoding and path diversity | |
| JP3923898B2 (ja) | 画像符号化方法及び装置 | |
| US7693220B2 (en) | Transmission of video information | |
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| JP4927875B2 (ja) | 無線映像通信における誤り耐性アルゴリズムの方法および装置 | |
| US20060104366A1 (en) | MPEG-4 streaming system with adaptive error concealment | |
| WO2006087430A1 (en) | Error concealment | |
| JP2009532990A (ja) | 適応符号器支援フレーム・レート・アップコンバージョン | |
| Tsai et al. | Joint temporal and spatial error concealment for multiple description video coding | |
| KR20060027779A (ko) | 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 | |
| KR20050084313A (ko) | 게이트웨이에서의 저가의 다중 설명을 위한 비디오 스트림코딩 방법 | |
| JP2005535219A (ja) | ハイブリッド予測コードを使用してマルチプル・ディスクリプション動き補償を実行する方法及び装置 | |
| US20050013496A1 (en) | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder | |
| Zhang et al. | Efficient error recovery for multiple description video coding | |
| Kwon et al. | Error concealment techniques for H. 263 video transmission | |
| Carreira et al. | A robust video encoding scheme to enhance error concealment of intra frames | |
| Langen et al. | Chroma prediction for low-complexity distributed video encoding | |
| Tu et al. | Proxy-based error tracking for H. 264 based real-time video transmission in mobile environments | |
| EP1387587A1 (en) | Image encoder and decoder with error concealment of motion vector losses | |
| JPH08107558A (ja) | 動画符号化および復号の方法および装置 | |
| JPH05274808A (ja) | 伝送装置 | |
| JP2007151163A (ja) | 画像復号化方法及び装置 | |
| JP2006086863A (ja) | 画像ストリーム変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040408 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080213 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080903 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090114 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |