JP4360908B2 - 可変の変調レートを使用したビデオ転送 - Google Patents

Description

本発明は、エンコードされたビデオの転送に関し、より詳細には、可変の変調レートを使用したＭＰＥＧビデオを転送するシステム及び方法に関する。

ワイヤレスネットーワーク（たとえば、セルラー）とワイアドネットワーク（たとえば、インターネット）の両者を通して伝達されるビデオアプリケーションの要求が増加するにつれて、ビデオデータを効率的に転送するための能力が重要な問題となってきている。対処されるべき特定の問題のなかには、大部分のビデオアプリケーションのために要求される広い帯域幅、ビデオデータを伝達するネットワークに関する誤りを生じる傾向にある特性、及びロバストにビデオイメージを転送しようとする願望が含まれる。

帯域幅の制限は、ＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６１等を含んだ公知の符号化規格を使用してビデオデータを圧縮することで一般に対処されている。ＭＰＥＧ規格により提供されるスキームのようなエンコードされたビデオスキームは、相対的に変化する優先度の異なるストリームに分割される。符号化されたビデオデータのビットストリームは、他の方法の間でも特に、（ａ）基準フレーム及び動き予測フレーム（Ｉ，Ｐ及びＢ）のようなフレームタイプ、（ｂ）ヘッダデータ及びヘッダではないデータ、（ｃ）（時間、空間、ＳＮＲ、又は粒状度（fine granular））スケーラブル符号化ビデオに存在するベースレイヤストリームとエンハンスメントレイヤのストリームに基づいて、（ｄ）１以上のマクロブロックに対応するデータを含んでいるビデオパケットに分割することができる。現在、ビデオフレームストリームが転送されたとき、（たとえば、チャネル状態に基づいて）特定の変調スキームが選択され、該選択された変調スキームを使用して、全体のストリームが転送される。残念なことに、ビデオフレームの相対的な重要性における固有な差異が利用されていない。したがって、今日のシステムを使用して、変調スキームが一旦選択されると、ビデオイメージの全体のロバスト性を容易に拡張することができず、優先度の高いビデオデータの伝送誤りを低減するための能力には、十分に対処されていない。

ワイヤレスを含む多くのネットワーク規格により、可変の変調スキーム（したがって、可変の転送レート）の使用が可能となっているが、これらの利用可能な変調スキームをいかに最適に選択して、転送されているデータの特性に動的に整合させることは規定されていない。したがって、大部分のネットワークを通して利用可能な可変の変調スキームを利用して、エンコードされたビデオデータのロバスト性を改善することができるシステムが必要とされている。

本発明は、先に説明された問題に対処するものであり、異なる変調スキームを使用してエンコードされたビデオデータのストリームを転送するシステム及び方法を提供するものである。ここで、変調スキームの選択は、それぞれのストリームに関して決定された優先度に基づいて決定される。

第一の観点では、本発明は、エンコードされたビデオ信号を転送するためのシステムを提供する。このシステムは、エンコードされたビデオデータを複数のストリームに分割するためのシステム、複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステム、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに異なる変調レートを割り当てるためのシステムを有している。

第二の観点では、本発明は、ビデオデータをエンコードして転送するためのエンコーダを提供する。このエンコーダは、符号化ビットレートを選択するためのシステム、エンコードされたビデオデータを複数のストリームに分割するためのシステム、複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステム、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるためのシステムを有している。

第三の観点では、本発明は、実行されたときに、エンコードされたビデオを転送するためのシステムを含む、記録媒体に記憶されたプログラムプロダクトを提供する。このプログラムプロダクトは、エンコードされたビデオを複数のストリームに分割するための手段、複数のエンコードされたビデオストリームのそれぞれに優先度を決定するための手段、及び該決定された優先度に基づいて、複数のエンコードされたビデオストリームに可変の変レートを割り当てるための手段を有している。

第四の観点では、本発明は、ビデオデータをエンコードして転送する方法を提供する。この方法は、利用可能な一組の変調レートの上限と下限の間で符号化ビットレート選択するステップ、該選択された符号化ビットレートで、該ビデオデータをエンコードするステップ、複数のエンコードされたビデオデータストリームのそれぞれに優先度を決定するステップ、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるステップを有している。

第五の観点では、本発明は、異なるストリームから構成されるエンコードされたビデオデータをデコードするためのデコーダを提供する。この異なるストリームは、それぞれのストリームの優先度に基づいて割り当てられた異なる変調スキームを使用して転送される。また、このデコーダは、異なる変調スキームを検出してデコードするためのシステムを含んでいる。
このデコーダは、異なるストリームから構成されるエンコードされたビデオデータをデコードするデコーダであって、前記異なるストリームは、それぞれのストリームの優先度に基づいて決定される異なる変調レートを使用して転送され、前記変調レートの平均は、予め決定された目標レートに合致し、当該デコーダは、前記異なる変調レートを検出及びデコードし、ＭＰＥＧストリームの異なるタイプのフレーム、ＭＰＥＧストリームのヘッダ及び非ヘッダデータ、及び／又は異なる変調レートを使用して送信された異なるストリームのうちのそれぞれ１つからのＭＰＥＧストリームのそれぞれ異なるマクロブロックを取得するシステムを含む。

本発明の好適な実施の形態は、以下に添付図面を参照しながら記載される。この添付図面では、同じ参照符号は同じ構成要素を示している。

以下により詳細に説明されるように、本発明は、可変の変調レートを利用して、エンコードされたビデオのロバストな転送を提供する。これを達成するために、エンコードされたビデオストリームは、優先度が変化する複数のストリームに分割される。したがって、たとえば、同じ変調（すなわち、レート）を使用して全ての異なる優先度のストリームを転送する代わりに、より高い優先度のストリームには、より低い、よりロバスト性の高い変調が使用されることが好ましく、より低い優先度のストリームには、より高い、よりロバスト性の低い変調が使用されることが好ましい。より低いレートで、より高い優先度のストリームを転送するために要求される時間の増加は、より高いレートで、より低い優先度のストリームを転送するために要求される時間の減少により適切に補償される。このようにして、平均の転送レートは、全てのストリームが単一の変調で転送される場合に使用される目標のレートと等しく維持される。以下の実施の形態は、２つの変調レート（すなわち、「高い」及び「低い」）を含むシステムを一般的に説明しているが、本発明は、任意の数の変調スキーム（たとえば、「非常に高い」、「高い」、「低い」及び「非常に低い」）を使用して実施することができることを理解されたい。

図面を参照して、図１は、エンコードされたビデオデータ１２を受信機２０に転送するための送信機１０を示している。エンコードされたビデオデータ１２は、たとえば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６Ｌ等といった、任意のタイプの圧縮されたビデオデータ、すなわちエンコードされたビデオデータを含んでいる場合がある。エンコードされたビデオデータ１２が送信機１０により受信された後、ストリーム分割システム１５は、所定の基準に基づいて異なるストリームにビデオデータ１２を分割する。たとえば、この分割は、（１）フレームタイプ（Ｉ、Ｐ及びＢフレーム）、（２）ヘッダデータ及びヘッダではないデータ、（３）（時間、空間、ＳＮＲ、又は粒状度）スケーラブル符号化ビデオにおけるベースレイヤ及び１以上のエンハンスメントレイヤ、等に基づいている場合がある。しかし、当業者に公知の任意の分割スキームが使用される場合があることを理解されたい。

複数のストリームが分割された後、ストリーム優先度決定システム１４により優先度が決定される。ストリーム優先度決定システム１４は、任意のやり方でストリームの優先度を決定することができる。たとえば、ＭＰＥＧシステムでは、Ｉフレームは、一般に、Ｐフレームよりも重要であり、Ｐフレームは、一般に、Ｂフレームよりも重要である。したがって、Ｉフレームには、Ｐフレームよりも高い優先度が割り当てられ、Ｐフレームには、Ｂフレームよりも高い優先度が割り当てられる。同様に、ヘッダデータには、ヘッダではないデータよりも高い優先度が割り当てられ、ベースレイヤには、エンハンスメントレイヤよりも高い優先度が割り当てられる。

ストリームの優先度が決定された後、これらのストリームは、スキーム選択システム１６に送出され、スキーム選択システム１６は、それぞれのストリームに変調スキームを割り当てる。スキーム選択システム１６は、任意のスキーム又は規格を含んでいる場合があり、これら任意のスキーム又は規格により、データ通信するときに異なる変調を割り当てることができる。たとえば、ワイヤレスローカルエリアネットワーク（ＬＡＮ）規格であり、複数の変調レートを提供するＩＥＥＥ規格８０２．１１ａ及び８０２．１１ｂを利用することができる。図１に示される一般的な例では、２つの可能な変調スキームとして、スキーム１（高いレート）及びスキーム２（低いレート）が存在する。たとえば、スキーム１は、２Mbit/secのビットレートを有しており、スキーム２は、１Mbit/secのビットレートを有している。多くのワイヤレスネットワーク規格により、本実施の形態で提案されるような可変の変調スキームの使用が可能となっている。したがって、かかるシステムの詳細は、当業者には公知であるものとし、更に詳細には説明されない。スキーム選択システム１６は、１つのストリームに関して決定された優先度に基づいて、１つのスキームを１つのストリームに割り当てる。特に、より高い優先度のストリームには、低いレート、より高いロバスト性のスキームが割り当てられることが好ましい。より低い優先度のストリームには、高いレート、より低いロバスト性のスキームが割り当てられている。低いレートの変調スキームは、よりロバストにデータを送出するため、高いレートの変調スキームよりも誤りが生じる可能性が少ない。

たとえば、ストリームがＩフレームを有している場合、このストリームは、高い優先度が与えられ、スキーム２、すなわち低い変調スキームを使用して転送されることが好ましい。なお、Ｉフレームを転送するために、より低いレートが利用されるため（及びＩフレームは、Ｐ及びＢフレームよりも一般に大きいため）、Ｉフレームを転送するための時間的に有意な増加が生じる場合がある。この時間的な増加は、符号化ビデオデータが典型的にある所定の遅延の制約の中で転送される必要があるため、問題を引き起こす場合がある。本発明は、より高いレートの変調、すなわちスキーム１を使用して、より低い優先度のストリームを送出することで、時間的な増加を相殺している。したがって、たとえば、低い優先度として識別されるＰ及び／又はＢフレームは、より高い転送レートで送出することができる。この送出には、転送するためにより短い時間を要する。複数のストリームの全体の組について平均転送レートが許容可能な目標レートで維持されるか、該目標レートと実質的に一致する限り、所定の遅延の制約に適合することができる。高い優先度のストリームを転送するための時間的な増加を相殺するための方法は、先に説明された他の分割方法にさらに適用することができる。

平均の転送レートが目標レートで維持されることを確保するプロセスは、制御システム１８により処理される。特に、コントロールシステム１８は、目標レートが維持されているかを判定するために処理されているデータストリームを連続的にモニタすることができ、スキーム選択システム１６に対して、スキーム選択処理における調整を行わせる。たとえば、目標レートに合致する利用可能な低い優先度のストリームが十分に存在しない場合には、高い優先度のストリームの一部は、低い優先度のスキーム（すなわち、高いレート）を使用して送出することができる。

受信側では、受信機２０は、可変レートのストリームを受信する。スキーム検出システム２２は、異なるスキームを検出して、これに応じて該ストリームを復調するために利用される場合がある。

ここで、図２を参照して、第二の実施の形態が示されており、ビデオデータ３２をエンコードして、デコーダ２０に転送するためのエンコーダ３０を有している。この実施の形態では、ビデオデータ３２が受信され、たとえば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１，Ｈ２６３等の任意の公知のやり方で、データエンコードシステム４０によりエンコードされる。エンコードシステムの一部として、符号化レートは、符号化レート選択システム４２により決定され、エンコードされたビデオデータが転送される全体のレートを指示する。符号化レートは、エンコードされたデータの転送のために利用可能な転送レートの上限と下限の間のどこかで選択されることが好ましい。たとえば、所与のプロトコルが１Mbit/secと２Mbit/secの２つの転送スキームを提供している場合、符号化レートは、１Mbit/secと２Mbit/secの間のどこか、たとえば１．５Mbit/secで選択することができる。選択されたレートは、分割及び優先度の決定の後に得られる低い優先度のストリームと高い優先度のストリームの相対的なレートに依存する。

図１に関して説明された実施の形態に類似して、エンコードされたデータは、その後、分割され、優先度が決定される。分割は、ストリーム分割システム３３により処理され、このストリーム分割システムは、先に説明されたやり方を含め、任意の公知のやり方でエンコードされたデータをデータストリームに分割する。優先度の決定は、ストリーム優先度決定システム３４により、先に説明されたやり方を含めて任意のやり方で処理される。次いで、スキーム選択システム３６は、割り当てられたストリームの優先度に基づいて、左記に説明された同様のやり方を含めて、それぞれのストリームに変調スキームを割り当てる。したがって、高い優先度のストリーム（たとえば、Ｉフレーム）には、低いレートの変調スキームが割り当てられることが好ましく、低い優先度のストリーム（たとえば、Ｐ及びＢフレーム）には、高いレートの変調スキームが割り当てられることが好ましい。先の例では、高い優先度のデータは、１Mbit/secで送出され、低い優先度のデータは、２Mbit/secで送出される。制御システム３８は、転送されたストリームの平均の転送レートは、選択された符号化レート（たとえば、１．５Mbit/sec）に従うことを確保する。このスキームにより、１Mbit/sec又は２Mbit/secのいずれかの送信機に比較して、受信機で良好なビデオの品質が得られる。１Mbit/secのケースでは、低レートの変調のために転送は非常にロバストであるが、ビデオが符号化される低減されたビットレートにより、品質が低下する。２Mbit/secのケースでは、ソース符号化されたビデオの画質は非常に良好であるが、高いレートでの変調による転送のために引き起こされる伝送誤りにより、受信ビデオの品質の低下を生じる。中間的なレートの選択、及び優先度が決定された転送により、先の２つのケースの間のバランスが提供される。

データが転送された後、デコーダ５０は、可変レートのデータを受信して、デコードする。デコーダ５０は、どのレートで、どのストリームがデコードされたかを判定するためのスキーム検出システム５２を有している。その後、デコードされたデータ４４が出力される。

本実施の形態で説明されたシステム、機能、方法及びモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせで実現することができる。これらは、任意のタイプのコンピュータシステム、又は本実施の形態で説明された方法を実行するために適合される他の装置により実現される場合がある。ハードウェアとソフトウェアとの一般的な組み合わせは、ロードされて実行されたときに本実施の形態で説明された方法を実行するコンピュータシステムを制御するコンピュータプログラムを有する汎用のコンピュータシステムとすることができる。代替的に、本発明の機能的なタスクのうちの１つ以上を実行するための専用ハードウェアを含んでいる特定用途のコンピュータを使用することもできる。また、本発明は、コンピュータプログラムプロダクトで実現される場合がある。このプログラムプロダクトは、本実施の形態で説明された方法及び機能の実現を可能にする全ての特徴を有しており、コンピュータシステムにロードされたとき、これらの方法及び機能を実行することができる。コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、又はソフトウェアは、本明細書の文脈では、（ａ）別の言語、コード又は表記への変換、及び／又は（ｂ）異なる素材形式での複製のいずれか又は両者について、直接又は間接的に特定の機能を情報処理能力を有するシステムに実行させることが意図される一組の命令からなる任意の言語、コード又は表記での任意の表現を意味している。

本発明の好適な実施の形態に関する上述した説明は、例示及び記載の目的で示されている。これらは、本発明を排他するものではなく、すなわち開示された特定の形態に制限するものではなく、明らかに、多くの変更及び変形が先の教示に照らして可能である。当業者にとって明らかであるかかる変更及び変形は、添付された特許請求の範囲で定義されるように、本発明の範囲内で含まれる場合がある。

本発明の第一の実施の形態に係る送信機及び受信機のブロック図である。 本発明の第二の実施の形態に係る送信機及び受信機のブロック図である。

Claims (18)

1. エンコードされたビデオ信号を転送するシステムであって、
   エンコードされたビデオ信号を複数のストリームに分割するシステムと、
   複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するシステムと、
   該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに、それぞれ選択可能な変調レートを割り当てるシステムと、
   処理されているデータストリームの平均変調レートが、前記複数のストリームの全てを単一の変調レートで転送する場合に使用される変調レートである目標変調レートに実質的に一致しないときに、前記データストリームの一部を前記割り当てられた変調レートより高い変調レートで送出することにより、前記平均変調レートが前記目標変調レートに実質的に一致することを確保するシステムと、
   を有するシステム。
2. 相対的に高い優先度を有するとして決定されたストリームには、相対的に低い優先度を有するとして決定されたストリームよりも低い変調レートが割り当てられる、
   請求項１記載のシステム。
3. 相対的に低い優先度を有するとして決定されたストリームには、相対的に高い優先度を有するとして決定されたストリームよりも高い変調レートが割り当てられる、
   請求項１記載のシステム。
4. 前記平均変調レートを確保する前記システムは、前記目標レートが保持されているかを判定するため、処理されているデータストリームを連続的にモニタし、前記目標レートに合致しない場合、変調レートを割り当てる前記システムに変調レートの選択プロセスにおいて調整を行わせる、
   請求項１記載のシステム。
5. 前記分割するシステムは、フレームタイプ間の差異、ヘッダデータとヘッダではないデータの間の差異、スケーラブル符号化ビデオに存在するベースレイヤストリームとエンハンスメントレイヤストリームの間の差異、及び少なくとも１つのマクロブロックに対応するデータを含んでいるビデオパケットにおける差異から構成されるグループから選択された基準に基づいて、該エンコードされたビデオデータを分割する、
   請求項１記載のシステム。
6. それぞれのストリームの優先度は、ＭＰＥＧフレームタイプに基づいて決定され、Ｉフレームを含むストリームは、Ｐフレームを含むストリームよりも相対的に高い優先度を有することが決定され、Ｐフレームを含むストリームは、Ｂフレームを含むストリームよりも相対的に高い優先度を有することが決定される、
   請求項１記載のシステム。
7. 前記優先度を決定するためのシステムは、ヘッダではないＭＰＥＧデータに割り当てられる優先度よりも相対的に高い優先度をＭＰＥＧヘッダデータに割り当てる、
   請求項１記載のシステム。
8. ストリームの優先度は、ベースレイヤ及びエンハンスメントレイヤに基づいており、ベースレイヤには、エンハンスメントレイヤに割り当てられる優先度よりも相対的に高い優先度が割り当てられる、
   請求項１記載のシステム。
9. ビデオデータをエンコードして、転送するエンコーダであって、
   ビデオエンコーダの符号化ビットレートを選択するシステムと、
   エンコードされたビデオデータを複数のストリームに分割するシステムと、
   複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するシステムと、
   該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに、それぞれ選択可能な変調レートを割り当てるシステムと、
   処理されているデータストリームの平均変調レートが、前記複数のストリームの全てを単一の変調レートで転送する場合に使用される変調レートである目標変調レートに実質的に一致しないときに、前記データストリームの一部を前記割り当てられた変調レートより高い変調レートで送出することにより、前記平均変調レートが前記目標変調レートに実質的に一致することを確保するシステムと
   を有するエンコーダ。
10. 前記複数の可能な変調レートは、前記符号化ビットレートよりも低い変調レート、及び前記符号化ビットレートよりも高い変調レートを含む、
    請求項９記載のエンコーダ。
11. 相対的に高い優先度を有するとして決定されたストリームには、前記低い変調レートが割り当てられる、
    請求項１０記載のエンコーダ。
12. 相対的に低い優先度を有するとして決定されたストリームには、前記高い変調レートが割り当てられる、
    請求項１０記載のエンコーダ。
13. 前記平均変調レートを確保する前記システムは、前記符号化ビットレートが保持されているかを判定するため、処理されているデータストリームを連続的にモニタし、前記符号化ビットレートに合致しない場合、変調レートを割り当てる前記システムに変調レートの選択プロセスにおいて調整を行わせる、
    請求項１０記載のエンコーダ。
14. コンピュータにロードされたときに、
    複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定する手段と、
    該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれについて、変調レートのセットから変調レートを割り当てる手段と、
    処理されているデータストリームの平均変調レートが、前記複数のストリームの全てを単一の変調レートで転送する場合に使用される変調レートである目標変調レートに実質的に一致しないときに、前記データストリームの一部を前記割り当てられた変調レートより高い変調レートで送出することにより、前記平均変調レートが前記目標変調レートに実質的に一致することを確保する手段と、
    してコンピュータに機能させるプログラムを記憶したコンピュータ読取り可能な記憶媒体。
15. コンピュータにロードされたときに、
    前記複数のストリームの符号化ビットレートであって、前記変調レートのセットの上限と下限の間で選択される前記符号化ビットレートを決定するエンコード手段と、
    してコンピュータに機能させるプログラムを記憶した請求項１４記載のコンピュータ読取り可能な記憶媒体。
16. コンピュータにロードされたときに、
    前記符号化ビットレートが保持されているかを判定するため、処理されているデータストリームを連続的にモニタし、前記符号化ビットレートに合致しない場合、変調レートを割り当てる前記手段に変調レートの選択プロセスにおいて調整を行わせる手段と、
    してコンピュータに機能させるプログラムを記憶した請求項１４記載のコンピュータ読取り可能な記憶媒体。
17. 前記割り当て手段は、より低い優先度のストリームには、より高い変調レートを割り当て、より高い変調レートには、より低い変調レートを割り当てる、
    請求項１４記載のコンピュータ読取り可能な記憶媒体。
18. ビデオデータをエンコードして転送する方法であって、
    利用可能な変調レートのセットの上限と下限の間で符号化ビットレートを選択するステップと、
    選択された符号化ビットレートで、前記ビデオデータをエンコードするステップと、
    複数のエンコードされたビデオデータストリームのそれぞれについて、優先度を決定するステップと、
    決定された優先度に基づいて、前記複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるステップと、
    処理されているデータストリームの平均変調レートが、前記複数のストリームの全てを単一の変調レートで転送する場合に使用される変調レートである目標変調レートに実質的に一致しないときに、前記データストリームの一部を前記割り当てられた変調レートより高い変調レートで送出することにより、前記平均変調レートが前記目標変調レートに実質的に一致することを確保するステップと、
    を有する方法。

Images