JP5221562B2 - マルチメディア電話のためのコンテンツ依存およびリンク依存のコード化適応 - Google Patents

Description

本出願は、引用により全文が本明細書に組み込まれる、２００７年１月１０日出願の「Feedback Based Network Adaptive Source Coding For Packet Switched Multimedia Telephony」と題された米国特許仮出願第６０／８８４，３２８号の利益を主張する。

本開示は無線通信に関し、より詳細にはマルチメディア電話をサポートする通信技術に関する。

無線通信および有線通信には、通常はビデオ電話（ＶＴ）と呼ばれているマルチメディア電話が望ましい。マルチメディア電話では、２人以上のユーザが、有線通信もしくは無線通信または両方の組合せを介して互いに音声情報およびビデオ情報を通信する。また通信は、テキスト、静止画像またはその他の情報など別の媒体要素を含むこともできる。例えば、ユーザのうちの１人または複数がマルチメディア電話を無線通信送受話器で動作させながら、他のユーザはマルチメディア電話を「有線」ＶＴ端末または「陸線」ＶＴ端末で動作させることができる。この送受話器および／または端末は、ユーザから音声情報を取り込むことができ、ビデオカメラを搭載してビデオ情報を取り込むことができる。音声情報およびビデオ情報を他のデバイスに通信することができ、この他のデバイスは、その音声情報およびビデオ情報を復号して他のユーザに提示する。様々な通信プロトコルおよびネットワーク構成が、マルチメディア電話適用例をサポートすることが可能である。

概要

一般に、本開示は、マルチメディア電話を容易にするために使用できる様々な技術を説明する。本技術によって、ビデオフレームなどのマルチメディアユニットのコンテンツ依存およびリンク依存のコード化が可能になる。本技術は、アップリンクおよびダウンリンクのスループットの測定に依拠することができる。メディアユニットを定義することができ、次いで、定義されたメディアユニットが、アップリンクおよびダウンリンクの両方が適合し得るデータを備えるときに、そのメディアユニットをコード化することができる。アップリンクスループットは符号化デバイスで測定でき、ダウンリンクスループットは復号化デバイスで測定できる。ダウンリンクスループットは符号化デバイスにフィードバックできる。本開示で説明される技術は、アップリンクおよびダウンリンクのリンク条件に対処するために符号化デバイスの適応を容易にする。特に、ビデオフレームなどのビデオユニットを、ビデオユニット用に定義されたビットバジェットと、アップリンクおよびダウンリンクにそれぞれ関連する第１および第２レベルのスループットとに基づいて符号化することができる。

一実施例では、本開示は、マルチメディアデータの通信のための方法であって、第１アクセス端末からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定すること、ネットワークを介する第２アクセス端末から第１アクセス端末へのフィードバックに基づいて、ネットワークから第２アクセス端末へのマルチメディアデータ通信に関連する第２レベルのスループットを決定すること、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定すること、および、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化することを備える方法を提供する。

別の実施例では、本開示は、マルチメディアデータを通信する装置であって、装置からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定する第１トークンバッファモジュールと、アクセス端末から装置へのフィードバックに基づいてネットワークからアクセス端末へのマルチメディアデータ通信に関連する第２レベルのスループットを決定する第２トークンバッファモジュールと、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する残差モジュールと、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化するコード化モジュールとを備える装置を提供する。

別の実施例では、本開示は、マルチメディアデータ通信のための装置であって、装置からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定するための手段と、アクセス端末から装置へのネットワークを介するフィードバックに基づいて、ネットワークからアクセス端末へのマルチメディアデータ通信に関連する第２レベルのスループットを決定するための手段と、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定するための手段と、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化するための手段とを備える装置を提供する。

別の実施例では、本開示は、第１アクセス端末からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定するため、ネットワークを介する第２アクセス端末から第１アクセス端末へのフィードバックに基づいて、ネットワークから第２アクセス端末へのマルチメディアデータ通信に関連する第２レベルのスループットを決定するため、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定するため、および、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化するための命令を備えるコンピュータ可読媒体を含むコンピュータプログラム製品を提供する。

別の実施例では、本開示は、ネットワークへ／からワイヤレス通信を送受信するアンテナと、アクセス端末（ＡＴ）からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定する第１トークンバッファモジュールと、他のＡＴからのフィードバックに基づいて、ネットワークから上記の他のＡＴへのマルチメディアデータ通信に関連する第２レベルのスループットを決定する第２トークンバッファモジュールと、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する残差モジュールと、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化するコード化モジュールとを備えるアクセス端末（ＡＴ）を提供する。

別の実施例では、本開示は、マルチメディアデータ通信のための方法であって、第１マルチメディアデータがネットワークから第２ＡＴに通信されており、第１ＡＴから第２ＡＴへ送信される第１マルチメディアデータを受信すること、観測ウィンドウを通じてネットワークから第２ＡＴへのスループットを測定すること、および、第２ＡＴから第１ＡＴへ、観測ウィンドウを通じてネットワークから第２ＡＴへ測定されたスループットのレベルを表す情報を送信することを備える方法を提供する。

別の実施例では、本開示は、マルチメディアデータ通信のための装置であって、ＡＴから装置へ送信される第１マルチメディアデータを受信する受信機モジュールであって、第１マルチメディアデータがネットワークから装置へ通信される、受信機モジュールと、ネットワークから装置へのスループットを観測ウィンドウを通じて測定するためのスループット測定モジュールと、装置からＡＴへ、観測ウィンドウを通じてネットワークから装置への測定されたスループットのレベルを表す情報を送信する送信機モジュールとを備える装置を提供する。

別の実施例では、本開示は、マルチメディアデータ通信のための装置であって、ＡＴから装置へ送信される第１マルチメディアデータを受信するための手段であって、第１マルチメディアデータがネットワークから装置へ通信される、手段と、ネットワークから装置へのスループットを観測ウィンドウを通じて測定するための手段と、装置からＡＴへ、観測ウィンドウを通じてネットワークから装置への測定されたスループットのレベルを表す情報を送信するための手段とを備える装置を提供する。

別の実施例では、本開示は、第１マルチメディアデータがネットワークから第２ＡＴへ通信され、第１ＡＴから第２ＡＴへ送信される第１マルチメディアデータを受信するため、観測ウィンドウを通じてネットワークから第２ＡＴへのスループットを測定するため、および、第２ＡＴから第１ＡＴへ、観測ウィンドウを通じてネットワークから第２ＡＴへ測定されたスループットのレベルを表す情報を送信するための命令を備えるコンピュータ可読媒体を含むコンピュータプログラム製品を提供する。

別の実施例では、本開示は、ネットワークへ／からワイヤレス通信を送受信するアンテナと、別のＡＴから送信される第１マルチメディアデータを受信する受信機モジュールであって、第１マルチメディアデータが、別のＡＴからネットワークへ、およびネットワークからＡＴへ通信される、受信機モジュールと、ネットワークからＡＴへのスループットを観測ウィンドウを通じて測定するためのスループット測定モジュールと、ＡＴから別のＡＴへ、観測ウィンドウを通じてネットワークからＡＴへ測定されたスループットのレベルを表す情報を送信する送信機モジュールとを備えるＡＴを提供する。

本開示の１つまたは複数の態様の詳細を、添付の図面および以下の説明において述べる。本開示で説明される技術の他の特徴、目的および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。

マルチメディア電話のためのフィードバックベースのレート適応を使用する１つの例示的なシステムを示すブロック図。 ２つの別個のトークンバケットを使用してアップリンクおよびダウンリンクをそれぞれ独立して追跡したときの、トークン数を時間の関数として示すグラフ。 １つの共有トークンバケットをアップリンクおよびダウンリンクの両方に対して使用したときの、トークン数を時間の関数として示すグラフ。 図１と同様の図であって、ユーザ機器間のフィードバックベースのレート制御システムの機能図の形で一実施例を概略的に示す図。 本開示と合致する一実施例の動作を示す流れ図。 図１に示されたＵＥ ＡまたはＵＥ Ｂのためのハードウェア実装などの、装置の例示的なハードウェア実装を概略的に示す図。 それぞれ２４人、２８人、３６人および４４人のユーザを有するシステムにおけるデバイスのフレームレートの４つのフレームレートヒストグラム。 本開示の技術の有効性を示すためのシミュレーションの結果を示すグラフ。 本開示の技術の有効性を示すためのシミュレーションの結果を示すグラフ。 本開示の様々な技術を実現することが可能なシステムの一例を示す例示的なブロック図。 本開示の技術と合致する流れ図。 本開示の技術と合致する流れ図。 本開示の技術と合致する流れ図。 本開示の諸態様を実施するために使用できる装置のブロック図。 本開示の諸態様を実施するために使用できる装置のブロック図。

本開示の様々な態様を以下に説明する。本明細書の教示は様々な形で実施でき、本明細書で開示されるいずれの特定の構造、機能またはその両方も代表的なものにすぎないことは明らかである。本明細書の教示に基づいて、本明細書で開示される態様を他の任意の態様から独立して実現できること、およびこれらの態様のうちの２つ以上を様々な方法で組み合わせることができることを当業者は理解されたい。例えば、本明細書に記載の態様をいくつ使用しても装置を実現することができ、または方法を実施することができる。さらに、本明細書に記載の態様のうちの１つまたは複数に加えてまたはそれら以外の他の構造、機能、または構造および機能を使用して、そのような装置を実現することができ、またそのような方法を実施することができる。さらに、態様は、請求項の少なくとも１つの要素を備えることができる。

一般に、本開示は、高速パケットアクセス（ＨＳＰＡ）、高速パケットデータ（ＨＲＰＤ）などの３Ｇ無線ネットワークにおけるパケット交換式ビデオ電話（ＰＳＶＴ）に適用できる課題を対象とする。３Ｇ無線ネットワークにおけるＰＳＶＴサービスを改善することができる技術について説明をする。ＨＳＰＡ／ＨＲＰＤでは、利用可能帯域幅の一時的な減少が、セル中のユーザロケーションおよび／またはシステム負荷状態に基づいて起こり得る。これは、観測されたパケット遅延が著しく増加するという結果になり、場合によっては受信機においてパケットが低下するという結果になる可能性がある。この問題を克服するために、本開示の技術はフィードバックベースのレート適応方式を提供する。この提案される方式は、ビデオ符号器ビットレートを可変チャネル帯域幅に適応させることが可能であり、パケット遅延を最小化することができる。説明される本技術は、チャネル上での区分的固定ビットレート（ＣＢＲ）の仮定をまったく行うことなく、符号化されたソースレートを、変化するチャネル状態に一致させることができる。本技術は、アップリンクおよび／またはダウンリンクが無線リンクであるいかなる設定にも適用可能である。アップリンクとは、ユーザ機器（ＵＥ）から（基地局などの）ネットワークノードへの通信を指し、ダウンリンクとは、ネットワークノードからＵＥへの通信を指す。

提案される方式では、観測されたスループットを、（例えば送信モバイルデバイスからネットワークへの）アップリンク上で、および（例えばネットワークから受信モバイルデバイスへの）ダウンリンク上で監視することができる。所望の目標データレートを、アップリンクおよびダウンリンクの観測されたスループットに基づいて決定できる。説明するアルゴリズムは、ソースの可変性および所望の目標データレートに基づいて、送信するようにスケジューリングされたビデオフレームの符号化時間およびパケットサイズ（例えばバイト数）を制御することができる。一般に、「スループット」という用語は、２つの時間インスタンス間に発生するデータの総累積を指す。したがって、スループットは、全ビット数などのデータユニットで与えられる。本開示によれば、パケット数およびそのパケットサイズは観測ウィンドウを通じて測定できる。この場合、スループットは、定義された（しかしおそらく恣意的な）観測ウィンドウ中の受信されたパケットに関連するデータ量である。一実施例では、観測ウィンドウは、２つの連続したコード化されたフレーム間の時間量を備えることができる。したがって、スループットはデータレートの測度ではなく、データの測度である。観測ウィンドウは、データが累積される２つの時間インスタンスを定義して、この期間のスループットを定義することができる。

ＶＴ用のマルチメディア通信では、ビデオ情報が送信されるかどうかにかかわらず、音声情報を送信することができる。ビデオ情報は、ＶＴセッションのデバイス間でネゴシエートされたデータレートおよびフレームレートに基づいて送信するようにスケジューリングされた、ビデオフレームなどのビデオユニットを備えることができる。しかしながら、本開示によれば、アップリンクまたはダウンリンクのいずれかで測定されたスループットの制約によって、ビデオユニットのコード化および送信を制限することができる。本開示によれば、「マルチメディアデータ」という語句は、音声フレームなどの音声情報、およびビデオフレームなどのビデオ情報を含むことができ、会話、テキスト、静止画像、他の形式のデータ、またはいかなる組合せでも含むことができる。

また本開示は、第３世代移動体通信規格化プロジェクト（３ＧＰＰ）および国際電気通信連合（ＩＴＵ）において採択された承認済み仕様および共通のシミュレーション条件に基づいて、提案する手法のシミュレーション結果も示す。本開示は、観測されたスループットのフィードバックを受信モバイルデバイスから送信モバイルデバイスにタイムリーに与えることにより、単方向遅延を著しく低減できることを示す。本開示は、フィードバックメッセージを２００ｍｓごとに１回使用することにより、パケットの９５パーセントを２５０ｍｓ未満の単方向遅延で配信できることを示す。また本開示は、提案されるアルゴリズムが、利用可能なシステムリソースおよび所与のセル内のユーザロケーションに基づいて、容認できる品質劣化を行うことが可能であることも示す。

以下の考察では、例えばテレビ電話（ＶＴ）と一般に呼ばれる会話サービスをサポートするために、無線ネットワークを介してビデオを低遅延で配信する問題を検討する。従来のビデオ符号器では、符号器は、シーンの特徴が変化するので、視覚的品質を一定に保つことにより可変ビットレート（ＶＢＲ）ストリームを生成することができる。これらのビットストリームは、伝送のために可変サイズのアプリケーションデータユニット（ＡＤＵ）にパケット化することができる。そのようなストリームは、ＣＢＲチャネルを通じて、不可避な遅延は若干あるが望ましい統計的多重化利得で配信できる。

ただし、回路交換サービスにおけるような呼出し継続時間のための全ユーザに対する専用帯域幅と比較すると、ＨＳＰＡなどの無線ネットワークにおける無線リソースは、セッション中に多数のユーザ間で共有される。ユーザがセル中の劣悪なロケーションに移動しおよび／または他の要因によってシステム負荷が増大すると、利用可能帯域幅が、セッション確立中にネゴシエートされた帯域幅よりも低くなり、結果としてＶＢＲチャネルが生じる。この問題は、輻輳とはパケットがまったく配信されないことを通常は意味する従来のベストエフォートのネットワーク（例えばインターネット）で一般に遭遇する問題とは異なることに留意されたい。ここでは、アップリンクおよび／またはダウンリンク上での輻輳に起因してパケットは依然として配信されるが、利用可能帯域幅が減少することがある。これは、結果としてビデオパケットを受信モバイルデバイスに配信する時間を長くし、遅延を増加させる可能性がある。遅延は、アップリンクもしくはダウンリンク上での輻輳によって、または高速な動きおよびシーンの変化に起因するより大きなビデオパケットによって増加し得ることを認めることができる。

ＨＳＰＡおよび高速パケットデータ（ＨＲＰＤ）の状況では、アップリンクおよびダウンリンク上でのユーザ機器（ＵＥ）に対する利用可能帯域幅は、いくつかの局面に依存し、その局面のいくつかは、予測可能であるが（例えば、サービスプロバイダのサービス品質（ＱｏＳ）方針、システム負荷、または他の断定可能な要因）、その局面のいくつかは予測不可能である（例えば、ＵＥの幾何学的配置、チャネル状態、または他の予測不可能な要因）。さらに、リアルタイム会話の適用例では、ソース特性の可変性を予測できないことがある。

したがって、送信器がアップリンクまたはダウンリンクのいずれかにおいて輻輳期間中に大きなビデオパケットを生成すると、システムがこれらのパケットを配信するためにより長い時間が掛かり、結果として端末間遅延が増加することがある。これに対処するために、本開示は動的レート適応方式を提供する。この手法では、送信器は、アップリンクにおけるチャネルスループットを監視することができる。同時に、受信器は、ダウンリンク上でチャネルスループットを計算し、この情報を送信器にフィードバックすることができる。送信器におけるビデオ符号器デバイスは、それぞれアップリンクおよびダウンリンク用に２つの独立したトークンバケットを維持し、これらのトークンバケットは、観測されたそれぞれのチャネルスループットに基づいて更新される。ビデオ符号器デバイスは、アップリンクおよびダウンリンクの両方での利用可能なスループットを独立して検討し、現在のビデオフレームをコード化することに関連するバジェットとそれらの利用可能なスループットとを比較することができる。スループットが十分でない場合、バジェットは、以前にコード化されたフレームに対してコード化される（時間的に現在の）現在フレームの残差データをバジェットが備え得るように適応することもできる。利用可能なスループットが時間とともに累積することがあるが、現在フレームに必要なスループットの量も、送信されているビデオシーケンスの時間的シーン変化に起因して時間とともに増大することがある。すなわち、以前にコード化されたフレームから時間が経過すればするほど、フレームをコード化するために必要な所要ビットバジェットが増大することがある。

送信器のアップリンクにおいて輻輳を引き起こす事象と、受信器のダウンリンクにおいて輻輳を引き起こす事象とは必ずしも関連しない。送信デバイス内に２つの独立したトークンバケットを維持することにより、符号器はその動作中、ソースの可変性とともにアップリンク状態およびダウンリンク状態を考慮に入れることができる。様々な符号化の機会において、所望の目標品質のフレームを生成するために必要なビットバジェットを推定することができる。適切なレベルのスループットが利用可能である（とトークンバケットが判断する）場合、フレームは符号化されて送信される。そうではない場合には、現在フレームをスキップする（すなわち、符号化しない）ことができ、符号器は、十分なスループットが利用可能になるまで待機することができる。しかしながら、フレームスキップに続いて、符号器は、２つのデバイス間のネゴシエートされたセッション中に他の方法によって行われるよりも迅速にスループットおよび必要なビットバジェットを更新することができる。例えば、毎秒１０フレームのフレームレートが確立された場合、フレームスキップに続いて、本開示の技術は、フレームをコード化しその後すぐにそのフレームを送信することができ、次のフレームがスケジューリングされるまで待機するように符号器に要求しない。

従来の技術とは対照的に、提案される本開示の方式はフィードバックを利用するが、このフィードバックは受信ＵＥから送信ＵＥへのものである。これにより、アプリケーションレイヤ（例えばソースコーデック）およびリアルタイムトランスポート（ＲＴＰ）レイヤにシステム設計を制限することにより、配置されるネットワーク要素（例えば、ゲートウェイ、有線から無線へのエッジルータ、ノードＢ、スケジューラなど）に対する変更は最小限に抑えられる。したがって、配置されたネットワーク要素における下位レイヤプロトコルスタックの実装は、改変および／またはインターフェース変更を必要としなくて済む。本開示の技術では、送信器は、アップリンク上での利用可能なスループットを監視し、受信器によってフィードバックされた情報に基づいてダウンリンク上の観測されたスループットに依拠する。次いでソース符号器は、ソースの変化を取り込むために必要なビットバジェットを推定し、それに応じてアップリンクおよびダウンリンクの特性と合致するように動的レート適応を開始することができる。さらに、会話サービスのシステムレベル性能を改善するために測定およびフィードバックされ得る多数の他の計量を特定することが可能である。本開示は、ソース、アップリンクおよびダウンリンクの特性がすべて同時に変化しているときの、３Ｇネットワークにおける低遅延会話サービスを評価するための方法論および一般的な条件を文書化して説明する。

本開示で示される方法論を使用する様々な代替形態を評価することが可能である。本開示は、マルチユーザ、マルチセル、システムレベルイベント駆動型アプローチを使用する、シミュレーションされた３ＧＰＰ Ｒｅｌｅａｓｅ−６ネットワークにおける、提案される方式の実現可能性を証明する。ネットワークのレイアウトおよび構成は、３ＧＰＰによって指定されたレイアウトおよび構成など、ＵＥ適合性試験用のテスト環境に基づくことができる。ＨＳＰＡについては、説明する技術の分析は、３ＧＰＰによって指定された仮定を使用する。本明細書で説明するように、パケット交換式ビデオ電話サービスは、Ｈ．２６３＋ビデオコーデックおよびＲＴＰパケット化を使用してシミュレートした。ビデオソースおよび客観的測度については、本開示はマルチメディア評価方法に従った。システムレベル性能分析は、一般に会話サービスのために準備される。本開示の情報を使用して、以下で論じる結果を追試することができる。

図１は、マルチメディア電話のためのフィードバックベースのレート制御を使用する１つの例示的なシステム１００のブロック図である。詳細には、図１は、ネットワーク１１５を介して通信する２つのＵＥ１１２および１１４を備える、１つの例示的なフィードバックベースのレート制御システム１００のブロック図を示す。ＵＥ Ａ１１２およびＵＥ Ｂ１１４は、それぞれビデオストリームの送信器および受信器を示す。ＵＥ Ａ１１２およびＵＥ Ｂ１１４は送信機および受信機を含み得るが、図を平易にし簡潔にするためこれらの構成要素は図１に示されていない。ＵＥ Ａ１１２およびＵＥ Ｂ１１４はまた、符号器および復号器（または集積符号器／復号器、「コーデック」）を含み得るが、図を平易にし簡潔にするためこれらの構成要素は図示されていない。本開示では、コード化という用語は、符号化、復号、または両方を指す。図１に示す構成要素のＵＥ Ａ１１２およびＵＥ Ｂ１１４は、デバイス１１２、１１４のコーデックの構成要素であるとみなし、あるいはデバイス１１２、１１４のコーデックによってコード化する前にデータを操作する構成要素であると考えてもよい。

本開示は、ＵＥを示すために上付き文字ＡまたはＢを使用し、それぞれアップリンクおよびダウンリンクを示すために下付き文字ｕ、ｄを使用する。アップリンクは、ＵＥ１１２への（例えばネットワークからＵＥ１１２への）データ通信チャネルを指し、ダウンリンクは、ＵＥ１１２からの（例えばネットワーク１１５からＵＥ１１４への）データ通信チャネルを指す。ネットワーク１１５内のノード１１７および１１８は、それぞれＵＥ１１２および１１４にデータサービスを提供するパケットデータサービスノード（ＰＤＳＮ）を示すことができる。しかしながら、より一般的には、ノード１１７および１１８の代わりに、ノード、基地局、任意の適切なネットワーク設備を含むいかなる種類のアクセスポイント（ＡＰ）でも使用することができ、あるいは場合によっては他のＵＥまたはＡＴを使用することができる。

ＵＥ１１２および１１４は、様々なアクセス端末（ＡＴ）、例えば無線通信デバイス、ＶＴ受話器、携帯情報端末（ＰＤＡ）、ラップトップもしくはデスクトップコンピュータ、またはＶＴ機能を含む任意のタイプのデバイスのいずれも備えることができる。しかしながら、本開示の諸態様は必ずしも無線設定に限定されるものではないことに留意されたい。また本技術は、アップリンクまたはダウンリンクのいずれかが無線である限り、ネットワークの有線の、例えばワイヤベースの構成要素とともに使用することができる。ＵＥ Ｂ１１４からＵＥ Ａ１１２へのデータストリームはグレーの線で示されているが、ＵＥ Ａ１１２からＵＥ Ｂ１１４へのデータストリームは黒線で示されている。ノード１１７からＵＥ Ａ１１２への通信は、

と付記されている。ＵＥ Ａ１１２からノード１１７への通信は、

と付記されている。ノード１１８からＵＡ Ｂ１１４への通信は、

と付記されている。ＵＡ Ｂ１１４からノード１１８への通信は、

と付記されている。

すでに指摘したように、ノード１１７および１１８の代わりにどんな形式のアクセスポイント（ＡＰ）でも使用することができる。アクセスポイントまたはノードは、パケットデータサービスノード（ＰＤＳＮ）、ノードＢ、無線ネットワーク制御装置（「ＲＮＣ」）、ｅＮｏｄｅＢ、基地局制御装置（「ＢＳＣ」）、無線基地局（「ＢＴＳ」）、基地局（「ＢＳ」）、トランシーバ機能（「ＴＦ」）、無線ルータ、無線トランシーバ、基本サービスセット（「ＢＳＳ」）、拡張サービスセット（「ＥＳＳ」）、無線基地局（「ＲＢＳ」）、中継局、または他の何らかの用語を備えることができる。ＵＥの代わりにＡＴを使用することもでき、ＵＥまたはＡＴは、加入者ユニット、移動局、遠隔局、遠隔端末、アクセス端末、ユーザ端末、ユーザエージェント、ユーザデバイス、または任意のタイプのユーザ機器、例えば移動局、携帯電話、コードレス電話、携帯情報端末（「ＰＤＡ」）、無線接続能力を有するハンドヘルドデバイス、もしくは無線モデムに接続された他の何らかの適切な処理デバイスを備えることができる。

本明細書で開示される諸態様に関して説明される様々な例示的な論理ブロック、モジュールおよび回路は、集積回路（「ＩＣ」）、アクセス端末、またはアクセスポイント内に実装するか、またはそれらによって実行することができる。ＩＣは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタロジック、個別ハードウェア構成要素、電子的構成要素、光学的構成要素、機械的構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを備えることができ、ＩＣの内部に、ＩＣの外側に、またはその両方に存在するコードまたは命令を実行することができる。汎用プロセッサはマイクロプロセッサであってもよいが、別法として、プロセッサは任意の従来型プロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサは、複数のコンピューティングデバイスの組合せ、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１つまたは複数のマイクロプロセッサ、および他の任意のそのような構成としても実現できる。

ＵＥ Ａ１１２において、フレーム残差Ｄ^Ａ（ｎ）が、以前に符号化されたフレームＶ^Ａ（ｎ−１）の予測されるバージョンを使用することにより、サンプリングされた時間インスタンスｎにおける現在のビデオフレームｖ（ｔ）について、フレーム残差ユニット１２２によって計算される。このフレーム残差は、アップリンクトークンバケット

ユニット１２６およびダウンリンクトークンバケット

ユニット１２８からのトークン情報とともに、レート決定アルゴリズム（ＲＤＡ）ユニット１２４によって使用される。現在フレーム残差についてＲＤＡユニット１２４によって推定されたサイズがトークンバケットユニット

または

のいずれかにおけるトークンの最小値よりも小さい場合、現在フレームは符号化され、そうではない場合、現在フレームは符号化されない。ＲＳ^Ａ（ｎ）は、時間ｎにおいて送信するようにスケジューリングされているビデオパケットのサイズである。このようにして、ＲＤＡユニット１２４は、符号化されるフレームが、アップリンクまたはダウンリンクのいずれかによって課される最小値制約を満たすことを確実にする。アップリンクトークンバケットユニット

は、アップリンク上でのチャネルスループット、および（１２７と付記された）バッファ占有率の関数ｆ_ｕに基づいて更新される（トークンが追加される）。同様に、ダウンリンクトークンバケット

が、ダウンリンク上でのチャネルスループット、および（１２９と付記された）バッファ占有率の関数ｆ_ｄに基づいて更新される（トークンが追加される）。

本明細書で説明される技術の一態様は、２つの別個のトークンバケット（例えばユニット１２６および１２８）を使用することにより、アップリンクおよびダウンリンクのチャネル特性を独立して追跡できるようにすることである。それぞれ観測されたチャネルスループット、ネゴシエートされたＱｏＳ、および経過時間の関数として、トークンをトークンバケットユニット１２６および１２８中に挿入することができる。送信されたフレームサイズに基づいて、トークンをトークンバケットから削除することができる。トークンとは一般に、アップリンクまたはダウンリンク上で送信できる情報量を表す任意のユニットを指す。

図２および図３は、アップリンクおよびダウンリンクについて２つの別個のトークンバケットを使用することに対する１つの動機付けを示すグラフである。図２の例示的なグラフでは、最初にアップリンク上で輻輳が起こり、次いでアップリンクトークンバケット中のトークン数が低下する。輻輳の終了後、トークン数は、図２の実線１３３で示すようにゆっくり増加して最大値へ戻る。しかし図２の例では、トークンの増大が完了する前に、（図２の破線１３４で示すように）ダウンリンク上で輻輳が発生する。図３の一点鎖線１３５は、これらの２つの独立した事象の影響による単一のトークンバケット中のトークン数を示す。しかしながら、システム帯域幅とは一般にアップリンクおよびダウンリンクの帯域幅の最小値であるので、図３の単一のトークンバケットの例では、システム帯域幅が過小評価される場合がある。したがって、２つのトークンバケットを使用することにより、アップリンクおよびダウンリンクの両方の帯域幅を独立に追跡することができ、それゆえ（図３の実線１３６で示すように）システム帯域幅をより正確に追跡することができる。

あらゆる符号化の機会において、それぞれアップリンクチャネルおよびダウンリンクチャネル上で観測されたスループットに基づいて、

ユニット１２６および

ユニット１２８によって示されるアップリンクトークンバケットおよびダウンリンクトークンバケットにトークンを追加することができる。スループットは、以前の符号化の機会から現在時刻までの総チャネルスループットである。アップリンクスループット

および

は、以下の通り計算できる。

ここで、

および

は、チャネル瞬時データレート（ＩＤＲ）として定義され、このチャネル瞬時データレートは、チャネルを介する現在の送信についての送信時間間隔（ＴＴＩ）によって除算された１送信間隔中のビット数である。

および

は、それぞれアップリンクチャネルおよびダウンリンクチャネルのＴＴＩを示すことができ、ｋ_ｕ（ｎ）およびｋ_ｄ（ｎ）は、現在のビデオフレームを符号化するためのそれらの間隔の指数である。

トークンは、次のようにアップリンクトークンバケット（例えば、

ユニット２６）に挿入できる。

ここで、

は、最大アップリンクバッファサイズであり、

は、アップリンクバッファのα_ｕ（＜１）によって制御されるローカルトークン係数であり、これは次のように定義される。

同様に、トークンは、次のようにダウンリンクバケット（例えば、

ユニット２８）に挿入される。

ここで、

は、最大ダウンリンクバッファサイズであり、

は、ダウンリンクバッファのα_ｄ（＜１）によって制御されるローカルトークン因子であり、これは次のように定義される。

式３および式５によれば、追加のトークンは、ＬＢ＿ｍａｘ（所定の定数）、現在のトークンバケット占有率、およびアルファ（α）に基づいてバケットに追加できる。アルファ（α）は、定数であってよく、あるいは最後に成功した符号化の機会から経過した継続時間の関数であってもよい。アルファ（α）は、輻輳の状況から抜け出す方法を決定するために使用できる。

時間ｎにおいてビデオフレームが符号化され下位レイヤに配信されるとき、トークンバケットからトークンを削除するためにＵＡ１１２は以下のステップをとることができる。

ここで、ＲＳ^Ａ（ｎ）は、時刻ｎにおける符号化されたビデオフレームのサイズである。ＲＳ^Ａ（ｎ）は、時刻ｎにおけるソース符号器の瞬時データレート（ＩＤＲ）でもあり、所与の継続時間ｎ_１からｎ_２までのソース平均データレート（ＡＤＲ）を推定するために使用できることに留意されたい。したがって、説明するトークンバケットアルゴリズムは、変化するアップリンクおよびダウンリンクのスループットを監視するために使用できる。

ＴＭＮ８は、トラフィックシェーピングバッファ占有率を利用することによる低遅延ビデオ通信のレート制御を提案している。本開示では、符号化デバイスは、トラフィックシェーピングバッファ占有率を利用する代わりに、アップリンク／ダウンリンクトークンバケットの占有率を使用することができる。これについて、ＴＭＮ８は、６４ｋｂｐｓなどの名目平均データレートを目標としている。あらゆる符号化の機会（例えば、毎秒１０フレームのビデオの１００ｍｓ）において、本明細書で説明するレート決定アルゴリズムによってビデオフレームサイズＲＳ^Ａ（ｎ）を推定することができる。以下の条件が満たされる場合にのみビデオフレームを符号化および送信することができる。

フレームが符号されて送信された場合、トークンバケットは更新される。そうでない場合は、フレームはスキップされ、保存されたバジェットが、後続の符号化の機会において符号化するために利用可能となる。しかしながら、本明細書で説明するように、符号化の機会は、フレームスキップに続いてスケジューリングされるよりも頻繁に定義できる。例えば、スキップされたフレームが、いったんスループットが十分になると、そのフレームが構成されるよう予定されていた時刻の近くでいずれおそらく構成され得るように、フレームスキップに続いて２ｍｓごとにＲＳ^Ａ（ｎ）を推定することができる。

概して、本開示は、パケット交換式マルチメディア電話の適用例のための、特にビデオおよび音声データを搬送するマルチメディアストリームなどのマルチメディアストリームのためのフィードバックベースのネットワーク適応ソースコード化の装置および方法を説明する。本方法で使用されるアルゴリズムは、種々のコーデックおよび様々なアクセス技術にとって一般的である。本アルゴリズムは、（ｉ）パケット損失および（ｉｉ）変化するスループットというネットワーク状態に対するソースコード化の挙動に適応するように構成される。

概して言うと、本アルゴリズムの方法論は、（ａ）観測されたアップリンクスループットの関数、（ｂ）観測されたダウンリンクスループットの関数、（ｃ）以前に符号化および送信されたデータと比較されるときの入力ソースの可変性、（ｄ）所望の圧縮品質、ならびに（ｅ）平均目標ソースレートに基づくレート決定を含む。しかしながら、必ずしも５つの関数／基準（ａ）〜（ｅ）すべてが必要であるというわけではない。さらに、この手法によって、可変フレームレート符号化が可能になる。ビデオ品質は、経過した継続時間および変化するソース特性を使用することによって調整される。

本開示の以下の考察では、下に定義する様々な略語を使用する。

ＶＢＲ−可変ビットレート
ＰＳ ＶＴ−パケット交換式ビデオ電話
ＣＡＤＲ−チャネル平均データレート
ＨＳＰＡ−高速パケットアクセス
ＨＲＰＤ−高速パケットデータ
３Ｇ−第３世代
ＩＤＲ−瞬時データレート
ＲＣ−チャネルのレート（すなわち、所与のチャネルの瞬時データレート）
ＲＳ−ソースのレート（すなわち、所与のソースの瞬時データレート）
ＡＤＲ−平均データレート
ＵＥ−ユーザ機器
ＰＤＳＮ−パケットデータサービスノード
ＡＤＲ−平均データレート
ＱｏＳ−サービス品質
ＶＣＥＧ−ビデオコーデック専門家グループ、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ Ｑ．６
ＩＥＴＦ−インターネット技術タスクフォース
ＲＦＣ−Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ
ＲＴＰ−リアルタイムトランスポートプロトコル
３ＧＰＰ−第３世代移動体通信規格化プロジェクト
ＤＬ−ダウンリンク
ＵＬ−アップリンク
ＴＴＩ−送信時間間隔
パケット交換通信では、ソースレートをチャネルレートに合致させる利点が存在することがある。この利点には、エンドツーエンド遅延の低減、統計的多重化利得（ＳＭＧ）の増加などを含むことができる。フィードバックベースのＶＢＲ（Ｆ−ＶＢＲ）は、シェーピングされたＶＢＲ（Ｓ−ＶＢＲ）および制約されたＶＢＲ（Ｃ−ＶＢＲ）よりも良好な性能を達成することができる。

無線媒体を介するパケット交換式電話通信では、特殊な問題が生じる。無線チャネルはパケット損失を被りやすく、コーデック（符号器／復号器）の設計は、そのような損失に対する適切な誤り弾力性を提供する必要がある。今日までのところ、多くの誤り弾力性の解決策は、（例えば正規イントラリフレッシュ、適応イントラリフレッシュなどの）符号器支援による解決策であり、ＰＳ ＶＴで使用されるビデオコーデックのレート制御の態様に影響を与えることができる。

チャネルリソースおよびパケット損失特性がＨＳＰＡおよびＨＲＰＤなどの無線チャネルでは変化し得るので、チャネルを監視しＰＳ ＶＴ用のフィードバックベースのレート適応を使用することが有益である。

本開示は、最適なレート制御を行うためにフィードバックメッセージを利用するアルゴリズムを説明する。ＨＳＰＡおよびＨＲＰＤなどの３Ｇ共有チャネルにおけるパケット交換式ビデオ電話用のフィードバック信号およびシグナリング機構を特定することができる。

本開示の実施例のさらなる説明の前に、いくつかの数学的用語および表記法を以下に定義する。

瞬時データレート（ＩＤＲ）：

システムにおいて最少可能時間単位内に配信されるビットの量。チャネルおよびソースの瞬時データレートは、通常、様々な時間ユニットによって測定されることに留意されたい。例えば、ビデオ符号器の瞬時データレートは、以前に符号化されたビデオフレームから経過した継続時間によって除算された、ビデオフレーム中でのコード化されたビット数を備えることができる。チャネルの瞬時データレートは、秒単位のＴＴＩによって除算された、１つのＴＴＩ中のビット数を備えることができる。式中、
それぞれＵＥ ＡまたはＵＥ Ｂに対して、上付き文字ｘ＝ＡまたはＢ、
それぞれアップリンクチャネルまたはダウンリンクチャネルに対して、下付き文字ｙ＝ｕまたはｄ、
指数ｋ＝０。Ｋ−１は、ＩＤＲが測定される時間インスタンスである。

符号ＲＳはソースまたはビデオＩＤＲに対して使用され、符号ＲＣはチャネルＩＤＲに対して使用される。

ソースＩＤＲ：

は、

によって除算された、１つのコード化されたフレーム中のビット数である。ここで、ソース生成時刻

は、現在符号化されているビデオフレームの時刻（単位は秒）であり、初期値設定は

チャネルＩＤＲ：

は、ＴＴＩ（ｉ）によって除算された、１つの送信間隔中のビット数であり、ここで、

は、チャネルを介する現在の送信についての送信時間間隔（単位は秒）であり、チャネル送信時刻

は、チャネルを介する現在の送信が開始される時刻（単位は秒）である。

ソース平均データレート（Ｓ_ＡＤＲ）：

ここで、ＴＳ（Ｍ）−ＴＳ（ｍ）は観測の継続時間である。

チャネル平均データレート（Ｃ_ＡＤＲ）：

ここで、ＴＣ（Ｍ）−ＴＣ（ｍ）は観測の継続時間である。

ＡＤＲは、通常、あらかじめ定義された継続時間にわたって観測された平均レートである。ビデオＡＤＲを計算するために、以下の継続時間を使用することができる：
継続時間は、１つのＧＯＰとすることができる。

継続時間は、シミュレーションに対して使用されるクリップ全体、またはセッションの全継続時間とすることができる。

継続時間は、数秒のスライド窓とすることができる。

３ＧＰＰ２可変レート音声コーデックでは、ＡＤＲは１２秒間の継続時間にわたって計算される。

Ｓ_ＡＤＲおよびＣ_ＡＤＲを示すために、レートという用語を使用でき、この場合、Ｓ_ＡＤＲおよびＣ_ＡＤＲからレートという用語の曖昧さを取り除くためにコンテキストを使用できる。

チャネルスループット：Ｔ（ｎ，ｍ）＝Ｃ_ＡＤＲ（ｎ，ｍ）＊（ＴＣ（ｎ）−ＴＣ（ｍ））。ＴＴＩの継続時間は通常、ビデオフレームレートよりはるかに小さい。用語スループットＴ（ｎ）は、シミュレーションの開始から時刻ｎまでチャネルによって配信されるビット数を示すために使用できる。これは、ソースによって生成された２つのコード化パケット間の間隔内のスループットを決定するために使用できる。例えば、ソースフレームｎとソースフレームｎ−１との間のチャネルスループットは、

固定ビットレートチャネル（ＣＢＲチャネル）：ＲＣ（ｉ）＝Ｒ∀ｉであるチャネル。例として、ＰＳＴＮにおけるＤＳ０が含まれる。

可変ビットレートチャネル（ＶＢＲチャネル）：サンプリングされた時間間隔にわたってＲＣ（ｉ）が異なる可能性があるチャネル。例として、３ＧネットワークにおけるＨＳＰＡおよびＨＲＰＤが含まれる。

固定ビットレートソース（ＣＢＲソース）：一定のＩＤＲを生成するソースコーデック。ＲＳ（ｎ）＝Ｒ∀ｎ。例として、Ｇ．７１１、Ｇ．７２２．１などが含まれる。

可変ビットレートソース（ＶＢＲソース）：サンプリングされた時間間隔にわたって可変ＩＤＲを生成することができるソースコーデック。例として、１３Ｋボコーダ、ＥＶＲＣファミリ、Ｈ．２６３などが含まれる。

レート制御：指定された時間間隔にわたってソースＡＤＲをチャネルＡＤＲに合致させるためのモジュールまたはプロセス。通常、この時間間隔は、ＩＤＲ計算に使用される時間間隔よりも長い。ＣＢＲチャネルに合致されたＣＢＲソースでは、通常、レート制御の必要はない。

トークンバケット

：多くのレート制御手法において使用される仮想バッファ。通常、トークンバケットは、ｔ_ｉ秒ごとのトークン到着レートのρバイト、ｔ_ｋ秒ごとのパケット配信レートのσバイト、およびピークバケットサイズのバイト数によって特徴付けられる。図４において、トークンバケットは、

として示され、ここで、それぞれＵＥ ＡまたはＵＥ Ｂに対してｘ＝ＡまたはＢ、およびそれぞれアップリンクまたはダウンリンクに対してｙ＝ｕまたはｄ、である。さらに、図４のトークン到着レートσおよびパケット配信レートρは、時間指数ｎの関数である。トークンバケットは、本明細書ではトークンバッファとも呼ばれることがある。

次に、図１と同様である図４を参照するが、この図４は、２つのＵＥ、ＵＥ ＡとＵＥ Ｂとの間のフィードバックベースのレート制御システムの機能図の形態における一例を概略的に示している。図４に示され以下で説明される様々な機能は、当技術分野でよく知られている回路によって実現することができる。説明を簡潔にするために、ＵＥ ＡおよびＵＥ Ｂに関連するネットワーク機能は、図４に示しておらず、それぞれＰＤＳＮ ＡおよびＰＤＳＮ Ｂによって示されているだけである。図４では、ＵＥ Ａはビデオストリームの送信器として示され、ＵＥ Ｂはストリームの受信器として示される。

ビデオまたは音声信号などのベースバンド信号が、ソース特性を推定する推定器１２の入力１０に供給されると仮定する。この推定を行って、以前のフレームｖ（ｎ−１）の歪みと比較して現在ビデオフレームｖ（ｔ）の歪みを判定する。この情報は、それぞれトークンバケット

および

内に保持される、ダウンリンク特性／状態１６についての受信器およびアップリンク特性／状態１８についての測定器からのトークン情報とともにレート決定アルゴリズム（ＲＤＡ）を使用するレート決定モジュール１４によって使用される。現在フレームに必要とされる瞬時データレートがトークンバケット

および

におけるトークンの最小値よりも小さい場合、現在フレームは符号器２０によって符号化され、そうでない場合には、現在フレームは符号化されない。次いで、符号化された信号は、送信回路を介してＰＤＳＮ Ａに送信される（例えば、図６を参照されたい）。

アップリンク特性／状態１８の測定器におけるアップリンクトークンバケット

は、アップリンク上でのチャネルスループット、ＵＥ Ａにおける情報、およびバッファ占有率の関数に基づいて更新される（トークンが追加される）。同様に、ダウンリンク特性／状態１６の受信器におけるダウンリンクトークンバケット

が、ダウンリンク上でのチャネルスループット、およびバッファ占有率に基づいて更新される（トークンが追加される）。前述のようなトークンバケットＬＢの使用は、説明例として役目を果たすにすぎないことに留意されたい。ＲＤＡに対する入力として他の関数を使用することも可能である。

図４には、２２と付記されたＵＥ ＢからＵＥ Ａへの信号経路フィードバックがあり、この信号経路は、様々な形式をとることができる。この信号経路２２は、ダウンリンクチャネル特性／状態をＵＥ Ａなどの送信側に中継する。信号経路２２は、そのような目的で特別に割り当てられた専用チャネルであってよい。あるいは、信号経路２２は専用チャネルでなくてもよく、その代わりに他のチャネルのいずれかと共有される。例えば、本来は専用チャネル中にある情報を、代わりに他の（１つまたは複数の）チャネル上にピギーバックすることができる。

図５は、本開示と合致する一実施例の動作を示す流れ図であり、参照番号２４によって全体が示される。目標ソースＡＤＲが、ＱｏＳネゴシエーションなどの何らかの方式によって指定されると仮定する。以下の説明のために、全プロセス２４をまとめてグループ化することができる。

バッファの更新に関しては、本開示の一態様は、アップリンクおよびダウンリンクのチャネル特性を追跡するために２つの別個のトークンバケットを使用することである。トークンは、それぞれのチャネルスループットの関数としてトークンバケット中に挿入され、符号化されたフレームのサイズに基づいてトークンバケットから削除される。図５のプロセス２４のブロック３６および３８は、バッファ更新手続きを示す。バッファ更新ステップは、トークンをトークンバケットに挿入するサブステップと、トークンバケットからトークンを削除するサブステップとを含む。

トークンをトークンバケットに挿入する場合、トークンは、それぞれのリンク、アップリンクおよびダウンリンク上でのスループットに基づいてトークンバケット

および

に追加される。スループットは、以前の符号化の時刻から現在時刻までの総チャネルスループットである。同様に、トークンは、符号化操作が成功した後、トークンバケットから除去される。ここで、アップリンクトークンバケットは、コンテンツ依存ソース符号化ＶＢＲ計画をアップリンクＶＢＲ送信計画にマッピングする機能を満たす。同様に、ダウンリンクトークンバケットは、コンテンツ依存ソース符号化ＶＢＲ計画をダウンリンクＶＢＲ計画にマッピングする機能を満たす。そのようなコンテンツ依存ソース符号化は、いかなる所与の時間においても、利用可能なチャネルリソースおよび得られた送信計画と同様でなくともよいＶＢＲパターンを生じる結果となる。最後に、符号化の決定は、ソースバジェットおよびトークンバケット占有率の推定値に基づく。これらの動作は下記の式で示される。

ブロック３６における

は、アップリンク上でのスループット、ＵＥ Ａにおけるローカルな統計値に基づいて更新され、さらに、トークンがバケット

中にリークされることに留意されたい。同様に、ブロック３８における

は、ＵＥ Ｂにおけるダウンリンク上でのスループットに基づいて更新され、さらに、トークンがバケット

中にリークされる。トークンが

にリークされるレートは、最低ＡＤＲの関数である。さらに、ハンドオフ中にダウンリンクスループットが過剰補償されないように、

は、（異なるセルへのハンドオフ中の）再ポインティング継続時間の関数である。さらに、ダウンリンクフィードバックが、ハンドオフ後の一定の継続時間の後に受信されない場合、新規セル中ではビデオを持続させ得ないと仮定できる。そのような状況では、機能不全をもたらすビデオをドロップすることが可能である。

上式において、ｆ（）、ｇ（）およびｐ（）は何らかの汎用関数である。さらに、ｆ（）およびｇ（）は、本明細書で説明した所定の定数ａｌｐｈａ＿ｄおよびａｌｐｈａ＿ｕ（α_ｄおよびα_ｕ）であってよい。所与の観測ウィンドウのスループット

は、ＵＥ Ｂにおけるモジュールｆ_ｄによって計算され、「Ｇｅｎｉｅ」によってＵＥ Ａに配信されると仮定される。「Ｇｅｎｉｅ」は、所与のビデオ復号器のための新規のビットストリーム構文、もしくは所与のビデオストリームのための新規のＲＦＣペイロード定義、または既存のＲＴＰペイロード定義を用いてフィードバック情報をピギーバックするための汎用機構を備えることができる。さらに、「Ｇｅｎｉｅ」は、フィードバック情報を搬送する専用論理チャネルであってよい。

ブロック６０においてトークンバケットからトークンを削除するサブステップに関しては、時間＝ｎにおいてビデオフレームが符号化されて下位レイヤに配信される場合、バッファを更新するために以下のステップがとられる。

エラー軽減に関しては、送信器が、フィードバックによってパケット損失指示を受信する場合、送信器は、受信者が被る誤り伝播を低減するために現在フレームの誤り弾力性を増大する。誤り弾力性は、イントラフレーム／スライスを使用すること、イントラマクロブロックの割合を増大すること、またはシグナリングされた損失の影響を受けたマクロブロックをイントラマクロブロックコード化することなどのいくつかの技術によって改善できる。図５のプロセス２４のブロック４８は、エラー軽減手続きを示す。

レート決定アルゴリズムに関しては、図５のプロセス２４のブロック３２、４２、４６、４８、５０および５４が、例示的なレート決定ステップを示す。ブロック４８において、現在フレームｖ（ｔ）に対して、動き推定（motion estimation）（ＭＥ）が行われ、次いでＭＥ計量、例えば差分絶対値和（sum of absolute differences）（ＳＡＤ）または差分二乗和（sum of squared differences）（ＳＳＤ）が収集される。ブロック４８のレート制御アルゴリズムは、これらの収集された計量およびブロック４６におけるパケット損失指示を使用することにより、マクロブロックごとにＱＰ（フレームＱＰまたはスライスＱＰ、およびΔ（ＱＰ））ならびにモード（イントラまたはインター）を選択して、ブロック５０における制約の下に最小歪みＤ^Ａ（ｎ）を生じる。

ここで、

は、レート制御モジュールからの推定ソースＩＤＲである。Ｓ^Ａ（ｎ）を、符号化後の実際のソースＩＤＲであるとする。ブロック５０においてＳ^Ａ（ｎ）≦Ｂ（ｎ）＋Ｒ_{ｍａｒｇｉｎ}、およびブロック５４においてＤ^Ａ（ｎ）−Ｄ^Ａ（ｎ−１）＜ｚ（Ｄ^Ａ（ｎ−１），ＴＳ^Ａ（ｎ）−ＴＳ^Ａ（ｎ−１），ｍｖ（ｎ））の場合、ブロック５８においてＶ（ｎ）が符号化され、それに応じてブロック６０において

が更新される。得られたＳ^Ａ（ｎ）は、ブロック４６において目標ソースＡＤＲによって設定された条件も満たさなければならないことに留意されたい。その条件が満たされない場合、Ｖ（ｎ）はブロック３２で符号化されない。

上記手法の１つの有用な態様は、ブロック５４において、符号化の決定がＤ^Ａ（ｎ）−Ｄ^Ａ（ｎ−１）＜ｚ（Ｄ^Ａ（ｎ−１），ＴＳ^Ａ（ｎ）−ＴＳ^Ａ（ｎ−１），ｍｖ（ｎ））に基づくことである。ここで、ｚ（）は劣化許容差に対応し、この劣化許容差は、以前に符号化された品質、現在フレームと以前に符号化されたフレームとの間の時間的距離、および運動ベクトルの関数である。この関数は、現在フレームを符号化するときどの程度劣化を許容できるかを決定し、劣化が許容差を満たす場合、フレームは符号化され、さもない場合には、フレームは符号化されない。人間の視覚システム（ＨＶＳ）は、高速な動きのシーンのフレーム品質に対しては感受性がより低いが、静的なシーンのフレーム品質に対しては感受性がより高いという事実に対処するために、フレームが静的な動きを含む場合、符号化デバイスはより大きな許容差を使用し、フレームが高速な動きのコンテンツを含む場合、符号化デバイスはより小さな許容差を使用することができる。許容差を計算するために、ｍｖ（ｎ）がＴＳ^Ａ（ｎ）−ＴＳ^Ａ（ｎ−１）によって正規化されることに留意されたい。ｚ（）の一例には、ｚ（．）＝γＤ^Ａ（ｎ−１）があり得る。例えば、連続フレーム間でαｄＢ未満の劣化が可能とされる場合、γ＝ｅ^α／１０−１。さらにこの例は、高速な動きのコンテンツに、例えば、より大きな値のγを使用することによって短い観測ウィンドウ（小さいＴＳ^Ａ（ｎ）−ＴＳ^Ａ（ｎ−１））を通じて大きいｍｖ（ｎ）に適用することできる。

図６は、図１に示されたＵＥ ＡまたはＵＥ Ｂのためのハードウェア実装など、装置の例示的なハードウェア実装を概略的に示し、参照番号６０によって示される。装置６０は、種々の形態で、いくつか例を挙げるとワイヤレス無線電話機、地上通信線デジタル電話デバイス、ラップトップコンピュータ、または携帯情報端末（ＰＤＡ）などのように構築して組み込むことができる。本開示の技術は必ずしも無線環境で使用されることに限定されるわけではないことを強調しておく必要がある。

装置６０は、いくつかの回路を連結する中央データバス６２を備えることができる。これらの回路には、ＣＰＵ（中央処理装置）またはコントローラ６４、受信回路６６、送信回路６８、およびメモリユニット７０が含まれる。装置６０が無線デバイスの一部である場合、受信回路６６および送信回路６８をＲＦ（無線周波数）回路に接続できるが、図を簡潔にし平易にするためこのＲＦ回路は図６に示されていない。受信回路６６は、受信信号を処理してバッファに保留し、その後、データバス６２を通じてその信号を送信する。一方、送信回路６８は、データバス６２からのデータを処理してバッファに保留し、その後、デバイス６０からデータを送信する。ＣＰＵ／コントローラ６４は、データバス６２のデータ管理の機能と、さらには、メモリユニット６０の命令内容を実行することを含む一般データ処理の機能とを実施する。

送信回路６８および受信回路６６は、図６で示すように別個の構成要素とする代わりに、別法としてＣＰＵ／コントローラ６４の一部とすることができる。メモリユニット７０は、参照番号７２によって全体的に示される命令セットを含む。この場合、命令は、とりわけ、ソース特性１２の推定器、レート決定モジュール１４、ダウンリンク特性／状態１６の受信器、アップリンク特性／状態１８の測定器、および符号器２０を含む。モジュール１２、１４、１６、１８および２０の種々の機能は、図４で説明し概括的に示した。

この例では、メモリユニット７０はランダムアクセスメモリ（ＲＡＭ）回路を備えることができる。例示的なモジュール１２、１４、１６、１８および２０は、ソフトウェアルーチンおよび／またはデータセットを備えることができる。メモリユニット７０は、揮発性タイプまたは不揮発性タイプのいずれかであり得る別のメモリ回路（図示せず）に接続できる。あるいは、メモリユニット５０は、他の回路タイプ、例えばＥＥＰＲＯＭ（電気的消去可能プログラマブル読込み専用メモリ）、ＥＰＲＯＭ（電気的プログラマブル読込み専用メモリ）、ＲＯＭ（読込み専用メモリ）、ＡＳＩＣ（特定用途向け集積回路）、磁気ディスク、光ディスク、および当技術分野においてよく知られている他の物で作られてよい。

さらに、図４および図５で説明し概括的に示した構造および技術は、当技術分野で知られている任意のコンピュータ可読媒体上に担持されたコンピュータ可読命令としてコード化することもできることに留意されたい。本明細書では、「コンピュータ可読媒体」という用語は、図６において示し説明したＣＰＵ／コントローラ６４などの実行用の任意のプロセッサに命令を提供することに関与する任意の媒体を指す。このような媒体は、記憶タイプであってよく、前にも説明したように、例えば図６中のメモリユニット７０の説明における揮発性または不揮発性の記憶媒体の形態をとることができる。また、このような媒体は、伝送形式であってもよく、同軸ケーブル、銅線、光ケーブル、および機械またはコンピュータによって読み込み可能な信号を搬送できる音波、電磁波または光波を搬送する無線インターフェースを含むことができる。本開示では、別段の指定がない限り信号搬送波は、光波、電磁波、および音波を含む中波と総称される。コンピュータプログラム製品は、コンピュータ可読媒体を含む有形の物理媒体を指し、このコンピュータ可読媒体は、本開示の技術を実行するソフトウェア命令を販売または配布するために使用できる。コンピュータプログラム製品は、パッケージ材料を含むことができる。

符号器２０は、アップリンクチャネルまたはダウンリンクチャネルまたは両方のいずれかのチャネルスループットと合致するようにソースＩＤＲを調節することができる。また本開示の技術は、符号器が可変フレーム符号化を利用することを可能にし、混雑したセルにおいてハンドオフが実行される場合にしばしば当てはまるスループットがゼロであるときなどの限定的な場合においてフリーズフレームを可能にすることができる。本開示の技術を実施するためのスケジューラ特有の情報要求は存在しない。すなわち、説明される技術は、どのような専用のスケジューラを用いても働くように意図される。

上記開示の特徴のうち少なくともいくつかを以下のように要約できる。レート決定アルゴリズムは、（ａ）観測されたアップリンクスループットの関数、（ｂ）観測されたダウンリンクスループットの関数、（ｃ）以前に符号化および送信されたデータと比較される入力ソースの可変性、（ｄ）所望の圧縮品質、ならびに（ｅ）指定されたＡＤＲに基づく。提案される解決策は、可変フレームレート符号化を実施し、出力フレームレートは、（ａ）観測されたアップリンクスループット、（ｂ）観測されたダウンリンクスループット、（ｃ）以前に符号化および送信されたデータと比較される入力ソースの可変性、ならびに（ｄ）所望の圧縮品質の関数である。

提案される解決策は、（ａ）以前に符号化されたフレーム品質、（ｂ）以前に符号化されたフレームと現在時刻との間の時間的距離、ならびに（ｃ）変化するソース特性の関数として、符号化される品質を調整する。提案される解決策は、２つの別個のトークンバケットを使用してアップリンクおよびダウンリンクのチャネル特性を追跡する。トークンバケットの各々は、それぞれのスループット、最大バケットサイズ、および現在バケット占有率の関数を使用して更新される。さらにダウンリンクトークンバケットでは、最小平均データレート、ならびに負荷状態およびハンドオフ中のハンドオフ継続時間の関数を使用してトークンがリークされる。

図７は、それぞれ２４、２８、３６および４４のユーザを有する異なるシステムのための４つのフレームレートヒストグラムを図示する。図７は、ユーザ数が増加するにつれて、本明細書で説明されるレート制御アルゴリズムはより多くのフレームをスキップすることを示し、それはシステムにおけるユーザの経験とユーザの数との間で容認できるトレードオフを行う能力を実証する。

このようなネットワークのシステムレベルの性能を決定するには、フィードバックループ、信号待ち時間、サイト選択、プロトコル実行、プロトコル実行、ランダムパケット到着、マルチパスフェージング環境における移動度を正確にモデル化するために、複数のユーザと複数のセルとをシミュレーションすることができるイベント駆動の動的システムシミュレーションツールが必要である。シミュレーションのために、次のように要約される仮定に従うことができる。

ａ）スロット／秒は１５００であり、チップ／秒は３８４００００である。

ｂ）基地局の数は１９であり、セクタ／基地局は３であり、中心セルにおけるユーザ数／セクタは２４から５２までの間にある。

ｃ）セルの半径は１６２０メートルである。

ｄ）アンテナモデルは２であり、チャネルモデルは歩行者Ａ（３ｋｍ／ｈ）である。そして、
ｅ）比例公平スケジューラが用いられる。

本開示の技術と一貫して、固定電話から移動電話への呼シナリオを、システム装荷によるノードＢにおけるスケジューラの効果を調査するために、シミュレートした。これは、アップリンクのトークンバケット

に規則的な間隔で一定サイズのトークンを追加して、ワイヤラインアップリンクのためにＣＢＲチャネルをシミュレートすることによって達成された。６４ｋｂｐｓチャネルの指定されたＱｏＳのために、これは１００ｍｓごとに８００バイトという結果になる。

通常、データトラフィックモデルは、無線リンクアルゴリズム／デザインとエンドユーザアプリケーションとの間に交互作用を取り込むために必要である。ベストエフォートのモデルは、ＴＣＰ／ＩＰの上のウェブブラウジングおよび他の応用を特徴付ける。これらは、無線網のパケットスケジューラの無線リンクの品質および方針に応じて、閉ループトラフィックモデルに可変サイズＩＰパケットを提供する。リアルタイムモデルはパケット損失要件と遅延保証とを結合して、エアインターフェースの機能をテストする。これらの保証を満たすエアインターフェースの能力を、ブロッキングの確率およびベストエフォートのサービスのために留まっている残留容量の両方によって測定することができる。

ビデオトラフィックモデルを造ることの難しさを克服するために、シミュレーションは、上記のイベント駆動マルチユーザマルチセルシミュレーションプラットホームにＨ．２６３＋ビデオコーデックを実装した。このシミュレーションにおいて使用された特定の設定は以下の通りである。

ａ）使用されたビデオコーデックは、提案されたフィードバックを使用するために変更されたＴＭＮ８レート制御と、受信器からのパケット損失フィードバックに基づく適応イントラマクロブロックリフレッシュとを備えたＨ．２６３＋（Ａｎｎｅｘ Ｉ、Ｊ、Ｋ、Ｔ）である。

ｂ）目標ビットレートを６４ｋｂｐｓに設定し、符号化のためにＧＯＰ構造は使用しなかった。

ｃ）入力ソースは、公称フレームレート１０ｆｐｓを有するＦｏｒｅｍａｎ ＱＣＩＦシーケンスであり、呼出し時間は３０秒であった。そして
ｄ）ＵＥ ＢからＵＥ Ａへのフィードバックを伝えるために仮想チャネルを使用した。タイムリーなフィードバックの利点を評価するために、仮想チャネルは設定値へのフィードバック情報を遅延させる。

平均ピーク信号対雑音比（ＰＳＮＲ）は、再構成されたビデオシーケンスの知覚的品質とはうまく相関しない。これは特に誤りを起こしやすい環境において悪化し、ここで、ビデオ符号化の前兆となる性質のため、単一のパケットエラーが通常複数のビデオフレームのＰＳＮＲ低下（誤り伝搬）という結果になる。したがって、パケット損失が復号化されたビデオ品質の上に有する効果を「客観的に」取り込むことは有益であろう。この誤り伝搬効果を取り込むために、新しい客観的計量パーセンテージが低下したビデオ継続時間（ｐＤＶＤ）を使用することができる。ｐＤＶＤは、パケット損失によって損なわれたビデオシーケンス継続時間のパーセンテージを示すもので、すなわち、きれいな符号化されたフレームのＰＳＮＲと比較したときに、フレームのＰＳＮＲは著しく低下した。

ｐＤＶＤは下記の式で定義することができる。

ただし、

および

はそれぞれ、エラーのないおよびエラーを起こしやすい条件における第ｎ番目のフレームのＰＳＮＲであり、ｌ（ｙ）はｙが真である場合には１、そうでない場合は０であり、ｘはあらかじめ定義されたしきい値であり、Ｎはビデオシーケンスにおけるフレームの数である。ＰＳＶＴサービスの目的の１つはｐＤＶＤを最小化することでなければならず、その一方でＰＳＮＲを最大にする。

レート適応アルゴリズムの１つの効果を実証するために、フィードバックを有する記録されたパケット遅延のＣＤＦと、フィードバックのないそれとを比較することができる。この比較を図８に示す。フィードバックが使用されないときには、パケットの４０％を超えるものに２秒より長い端末間遅延がある。しかし、フィードバックが使用されるときには、パケットの９０％のための遅延は、１０００ｍｓ、５００ｍｓ、および２００ｍｓのフィードバック時定数に対してそれぞれ約１．８秒、１．２５秒、および０．１８秒である。パケット遅延のこのかなりの減少は、本開示の技術の利点をはっきり例証する。さらに、図８から、改良された性能がより速いフィードバックを使用することによって可能であることは明白である。例えば、フィードバック定数が２００ｍｓであるときに、最大のパケット遅延は約３５０ｍｓである。図８において、フィードバックのない状態は、ダウンリンクトークンバケット

に規則的な間隔で一定サイズのトークンを追加することによってシミュレートされた。フィードバック時間が減少するにつれて、観測されたパケット遅延は減少し、これは符号器レートを抑えてチャネル条件と一致するためにタイムリーなフィードバックが必要であることを示唆する。

６４ｋｂｐｓチャネルの指定されたＱｏＳのためには、これは２ｍｓごとに１６バイトという結果になる。より多くのユーザがセルに入るにつれて、各ユーザが利用できる帯域幅は前述のように減少する。この減少した利用可能帯域幅における妥当なビデオ品質をサポートするために、符号器はフレームの一部の符号化をスキップしなければならない。

図７は、システムにおけるユーザの数が増加するときの符号化されたフレームレートの変化を示す。図７における４つのグラフは、２４人、２８人、３６人、および４４人のユーザに対するフレームレートヒストグラムを示す。より多くのユーザがセルに入るにつれて平均フレームレートを低下させることによって、システムにおけるユーザ経験とユーザの数との間で容認できるトレードオフを行う能力を、上記のシステムが実証することを認めることができる。

図９は、セル内に様々な数のユーザが存在するときのパケット遅延ＣＤＦを例示する。２４人のユーザがセル内にいる場合については、最大パケット遅延は約１７０ｍｓであり、パケットＣＤＦの９０パーセンタイル点は約１００ｍｓであることを認めることができる。端末間遅延が低い値に保たれることを確実にすることによって、ビデオ遅延が会話アプリケーションにおけるユーザ経験に対して最小の影響を有することになることを予期することができる。ユーザの数が増加しても、パケット遅延値が劇的に増加してサービスを使用不可能にすることはないことは望ましい。図９から、４４人のユーザによっても、パケットＣＤＦの９０パーセンタイル点はまだ会話型サービスのために容認できる値である約３５０ｍｓであることを認めることができる。

特に、図９において、３ＧＰＰは、ビデオサービスのための単向端末間転送遅延として３４０ｍｓの９５^ｔｈパーセンタイル点を特定した。ＰＳＮＲおよびｐＤＶＤの客観的測度を、２人の典型的なユーザについて下の表１に示す。フレームを劣化したと断言するためのｐＤＶＤしきい値ｘ（式８を参照されたい）を、２ｄＢに設定した。２００ｍｓのフィードバック時定数によって、すべてのパケットが（０のｐＤＶＤ値によって示されるように）フィードバックに間に合って受信されることを認めることができる。クリーンなＰＳＮＲ値は、２００ｍｓのフィードバック遅延の場合は、「フィードバックのない」場合と比較するとより低いことに注目されたい。これは、チャネル条件が劣化するときに割り当てられたビットを符号器が減らすことによるものである。しかし、このスキームの効果は、損失性ＰＳＮＲ値を比較することによって明らかに実証される。これは、タイムリーなフィードバックがチャネル条件について送信器に利用可能となるときに、符号器はパケットが極端に遅れないことを確実にするためにその伝送を適応させることができ、こうして受信側におけるビデオ品質を大幅に改善できることを実証する。

説明した技術の効果は下の表１から認めることもでき、この表は、フィードバックがタイムリーでないかまたはまったく利用できないときに、ユーザがより多くのシステム資源（例えば総ビットレート）を消費することを示す。それでも、受信側における高いｐＤＶＤ値および低いＰＳＮＲによって証明されたように、これらの追加の資源は、より良いユーザ経験に転換されない。

概して、表１は、様々なフィードバック時定数に対して２人のユーザのために達成された客観的測度を提供する。２００ｍｓのフィードバック時定数に対しては、すべてのパケットがプレイバックに間に合って受信されることを認めることができる。システム資源（例えば増加したビットレート）の追加使用が、タイムリーなフィードバックが利用できないときには改善されたユーザ経験に転換しないことを示すこともできる。

以下の説明は、ＵＥ−ＢからＵＥ−Ａまでフィードバック情報を送信するためのいくつかのオプションを対象にする。ＲＴＣＰパケットおよびＲＴＣＰ ＡＰＰパケットなどの従来の方法を、観測されたスループット情報をフィードバックするために使用することができる。さらに、ＲＴＰヘッダ拡張などのアプローチを、フィードバック情報を効率的に配信するために利用することもできる。多くの他の設計選択が可能であるが、上記の実施例はフィードバックチャネルデザイン選択の賛否を例示することができる。これらのオプションのすべてにおいて、既存の実装はフィードバック情報を無視して、以前の製品との互換性を提供することができる。

１２８ｋｂｐｓの最高ビットレート（Ｈ．２６３プロフィール３レベル４５、ＭＰＥＧ−４シンプルプロフィールレベル１ｂ、Ｈ．２６４ベースラインプロフィールレベル１ｂ）を仮定した場合、２オクテットフィールドが観測されたスループットをオクテット単位で搬送するには極めて適切である。フィードバック情報が２００ｍｓごとに送信される場合、フィードバックメッセージは８０ｂｐｓの帯域幅を必要とする。使用されるフィードバック機構に応じて、追加のオーバヘッドがあってもよい。従来のＲＴＣＰパケットおよびＲＴＣＰ ＡＰＰパケットのために、このオーバヘッドはメッセージ当り９０〜１２０オクテットもの高さにすることができ、結果的に最高４８００ｂｐｓの帯域幅になる。

非複合ＲＴＣＰ ＡＰＰパケットを使用すると、最小ＡＰＰパケットサイズは、観測されたスループット情報のための２オクテットを含めて１６オクテットである。これは結果的に６４０ｂｐｓの帯域幅要件になる。ＲＴＰヘッダ拡張については、８オクテットがＲＴＰペイロードストリームの中でフィードバック情報を搬送するのに適切であり、結果的に３２０ｂｐｓの帯域幅になる。特に、フィードバック情報を、ＰＳＶＴなどの双方向サービスの用途にだけ、ＲＴＰストリームに組み込むことができる。

いくつかのパケット交換サービスにおいて、ＲＴＣＰをオフにすることは可能である。さらに、ユーザがセル周辺条件にあるときにはＲＴＰがＲＴＣＰより信頼性が高いかもしれない。これは、急速フィードバックを必要とするときには、非ＲＴＣＰベースの機構の使用が望ましいことを示唆する。通常、ＲＴＰ／ＡＶＰプロフィールにおけるＲＴＣＰメッセージは５秒ごとに１回送られる。ＲＴＰ／ＡＶＰＦプロフィールについては、ＲＴＣＰメッセージをより頻繁に配信することができる。ＲＴＣＰのために典型的な５％帯域幅のＲＴＰ帯域幅を仮定する場合、ＲＴＰ／ＡＶＰＦプロフィールはタイムリーにフィードバックを送信するためにＲＴＰ／ＡＶＰの限界をなお有し、本明細書で説明される利点を実現する。このための解法は、非複合ＲＴＣＰ ＡＰＰパケットと一緒のＲＴＰ／ＡＶＰＦプロフィールである。

オーバヘッドは非複合ＲＴＣＰ ＡＰＰパケットによって小さくなるので、送信器へのタイムリーなフィードバックの必要性を果たすことは可能であり得る。ＲＴＰヘッダ拡張については、フィードバック情報がタイムリーに配信されて、ＲＴＣＰベースのアプローチよりも信頼性が高い可能性があることは顕著である。

本開示の説明されたレート適応技術は、（ｉ）パケット損失、（ｉｉ）変化するチャネルスループット、および（ｉｉｉ）ビデオソース特性を考慮に入れて、ビデオソースを符号化することができる。説明された技術の利点を実証するために、システムレベルのシミュレーション結果を、標準化団体で承認されている現実的シミュレーション条件を使用して提示した。符号器においてチャネル帯域幅の考慮事項を考察することによって、無線ネットワークを通じたビデオパケットの伝送待ち時間を著しく短縮する可能性があり、したがってＰＳＶＴサービスにおける改良されたユーザ経験を確実にすることが示された。待ち時間を制御することの追加の効果は、観測されたビデオパケットジッターが減少し、したがって改良されたオーディオ／ビデオ同期を可能にすることである。さらにまた、本発明者らが提唱するアプローチは、一貫したビデオフレーム品質を維持しながら符号化フレームレートを暗黙に低下させることによって、システムに入るＰＳＶＴユーザが増えるにつれて、容認できるサービス低下を提供する機能を有する。

図１０は、本開示の様々な技術を実装することができる一実施例のシステムを示す例示的ブロック図である。図１０において、アクセス端末（ＡＴ）１００２および１００４はネットワーク１００６を介して互いに通信する。ネットワーク１００６は、アクセスポイント（ＡＰ）１４０２および１４０４を含むことができる。ＡＰ１４０２はアップリンク１００７を介してＡＰ１００２からデータを受信し、ＡＰ１００４はネットワーク１００６からＡＴ１００４へダウンリンク１００８を介してデータを送信する。ＡＰ１４０２およびＡＰ１４０４は、ネットワーク１００６に、おそらく多くのルータおよびスイッチを通じて通信可能に結合されることができる。

図１０には２つのＡＴ１００２および１００４が図示されているが、本開示の技術は、いかなる数のＡＴのためにもマルチメディアＶＴをサポートするように拡張することができる。ＡＴ１００２の構成要素は、情報取込み、符号化、および送信を説明するために例示され、一方でＡＴ１００４の構成要素は、情報受信、復号、および表示を説明するために例示されている。しかしＡＴ１００２およびＡＴ１００４は、双方向ＶＴ通信をサポートするために、相互構成要素を含むことができる。すなわち、ＡＴ１００２はデバイス１００４のために例示した構成要素のすべてを含むことができ、その逆もまた同様である。ＡＴ１００２およびＡＴ１００４は、無線通信デバイス、ＶＴ送受器、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、またはＶＴ機能性を含む型のデバイスならどれでも備えることができる。場合によっては、ＡＴ１００２およびＡＴ１００４の１つは、有線陸線端末を備えてもよい。

ＡＴ１００２は、アップリンクスループットを決定するためのモジュール１１１０、ダウンリンクスループットを決定するためのモジュール１１１２、バジェットを決定するためのモジュール１１１４、コード化するためのモジュール１１１６、送信するためのモジュール１１１８、受信するためのモジュール１１２０、および取込み用モジュール１１２１を含む。しかしながら、これらの構成要素のすべてが本開示の実施態様に必要というわけではない。これらの様々なモジュール１１１０、１１１２、１１１４、１１１６、１１１８、１１２０、および１１２１は、バス１１１５または様々な直接インターフェースまたは間接インターフェースを介して通信可能に結合されることができる。

アップリンクスループットを決定するためのモジュール１１１０およびダウンリンクスループットを決定するためのモジュール１１１２は、本明細書で説明されるようにトークンバケットを含むことができる。アップリンクスループットを決定するためのモジュール１１１０は、例えばアップリンク１００７上の送信されたパケットサイズに基づいてトークンを追加することによって、アップリンク１００７上のスループットをモニタする。アップリンクスループットを決定するためのモジュール１１１０は、２つの好結果の符号化操作の観測ウィンドウを通じて合計操作を実施し、その観測ウィンドウの間にアップリンク１００７上のスループットを合計することができる。

ダウンリンクスループットを決定するためのモジュール１１１２は、例えば、ＡＴ１００４からのフィードバックに基づいてダウンリンク１００８上の送信されたパケットサイズに基づくトークンを追加することによって、ダウンリンク１００８上のスループットをモニタする。ダウンリンクスループットを決定するためのモジュール１１１２は、２つの好結果の符号化操作の観測ウィンドウを通じて合計操作を実施し、その観測ウィンドウの間にダウンリンク１００８上のスループットを合計することができる。また、本明細書で説明されるように、このダウンリンク情報はＡＴ１００４からのフィードバックである。

バジェットを決定するためのモジュール１１１４は、いかなる所与の事例においても（ビデオフレームなどの）所与のビデオユニットを符号化するために必要なデータ量を算出する。バジェットを決定するためのモジュール１１１４は、現在のビデオフレームの前にコード化されたフレームとの差に基づいて、このデータ量を算出することができる。フレームをコード化せずにより多くの時間が経過するにつれて、通常、フレームをコード化するために必要なデータ量は、前にコード化されたフレームからの現在場面の時間的距離が加わるので増加する（それゆえ視覚的差は大きくなる）。

コード化するためのモジュール１１１６はオーディオビデオＣＯＤＥＣを備えることができる。コード化するためのモジュール１１１６は、ＡＴ１００４への通信のために途切れなく音声情報をコード化することができるが、本開示の技術を使用して、アップリンク１００７およびダウンリンク１００８の測定されたスループットに基づいて選択的にビデオ情報をコード化することができる。

送信するためのモジュール１１１８は無線または有線ベースのであるかワイヤベースの送信機ユニットを備えることができ、受信するためのモジュール１１２０は無線または有線ベースの受信機ユニットを備えることができる。場合によっては、送信するためのモジュール１１１８および受信するためのモジュール１１２０は、集積トランシーバを備えることができる。

取込み用モジュール１１２１は、ＶＴ用のユーザ入力を取り込むための１つまたは複数のユニットを備えることができる。取込み用モジュール１１２１は、音声情報を取り込むためのマイクロホンなどの１つまたは複数の音声取込み装置を含むことができる、そして、１つまたは複数のビデオはビデオ情報を捕えるためにカメラユニットなどのユニットを捕える。

ネットワーク１００６はいかなるネットワーク構成から成ることもでき、いくつかの実施例ではインターネットを備えることができる。ネットワーク１００６はまた、多種多様な公共または固有ネットワークのいずれかを備えることができる。ネットワーク１００６は、ＡＴ１００２への／からの通信を容易にするため、およびＡＴ１００４への／からの通信を容易にするためにアクセスノードを含むことができる。

ＡＴ１００４は、ダウンリンクスループットを決定するためのモジュール１１２２、送信するためのモジュール１１２４、受信するためのモジュール１１２６、コード化するためのモジュール１１２８、および出力するためのモジュール１１３０を含むことができる。ダウンリンクスループットを決定するためのモジュール１１２２は、本明細書で説明されるようにトークンバケットを備えることができる。ダウンリンクスループットを決定するためのモジュール１１２２は、例えばダウンリンク１００８上の受信されたパケットサイズに基づいてトークンを追加することによって、アップリンク１００８上のスループットをモニタする。

送信するためのモジュール１１１８は無線または有線ベースの送信機ユニットを備えることができ、受信するためのモジュール１１２０は無線または有線ベースの受信機ユニットを備えることができる。場合によっては、送信するためのモジュール１１１８および受信するためのモジュール１１２０は、集積トランシーバを備えることができる。出力するためのモジュール１１３０は、ユーザにマルチメディアデータを出力する１つまたは複数の出力装置を備えることができる。例えば、出力するためのモジュール１１３０は、１つまたは複数の音声を出力するためのスピーカ、および１つまたは複数のビデオを出力するためのディスプレイを備えることができる。

本開示によれば、アップリンクスループットを決定するためのモジュール１１１０は、ＡＴ１００２からネットワーク１００６の第１アクセスノードへのマルチメディア通信に関連するアップリンク１００７上の第１レベルのスループットを決定する。ダウンリンクリンクスループットを決定するためのモジュール１１１２は、ネットワーク１００６の第２アクセスノードからＡＴ１００４へのマルチメディア通信に関連するダウンリンク１００８上の第２レベルのスループットを、ＡＴ１００４からＡＴ１００２へのフィードバックに基づいて決定する。バジェットを決定するためのモジュール１１１４は、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する。コード化するためのモジュール１１１６は、バジェットと第１および第２レベルのスループットとに基づいてビデオユニットをコード化する。

コード化するためのモジュール１１１６がビデオユニットをコード化した場合、送信するためのモジュール１１１８は、マルチメディアデータのコード化されたビデオユニットをＡＴ１００４からＡＴ１００２へネットワーク１００６を介して送信する。言及したように、モジュール１１１２および１１１４はＡＴ１００２に少なくとも２つの別個のトークンバケットを備え、第１トークンバケットは第１レベルのスループットを表す情報を格納し、第２トークンバケットは第２レベルのスループットを表す情報を格納する。コード化するためのモジュール１１１６は、バジェットと第１および第２のトークンバケットの占有および占有率の関数であるサイズを有するマルチメディアデータのビデオユニットをコード化することができる。第１トークンバケットは、ＡＴ１００２にて測定された第１レベルのスループットを反映するように更新されることができ、第２トークンバケットは、ＡＴ１００４にて例えばダウンリンクスループットを決定するためのモジュール１１２２によって測定された第２レベルのスループットを反映するように更新されることができる。トークンバケットのこの種の更新は、ＶＴセッションのためのＡＴ１００２とＡＴ１００４間のネゴシエートされたサービス品質（ＱｏＳ）、第１および第２トークンバケットの現行バッファ占有率、および経過時間に基づくことができる。モジュール１１１０および１１１２は、コード化するためのモジュール１１１６がマルチメディアデータのビデオユニットをコード化するときに、第１および第２トークンバケットのコンテンツを減らすことができる。

言及したように、ビデオフレームがコード化されるかどうかにかかわらず、コード化するためのモジュール１１１６はビデオフレームに関連する音声情報をコード化することができ、送信するためのモジュール１１１８はコード化された音声情報をＡＴ１００２からＡＴ１００４へネットワーク１００６を通じて送信することができる。こうして、マルチメディアＶＴはより良好な保証およびＱｏＳを音声情報に提供することができ、この種の音声情報は、アップリンク１００７またはダウンリンク１００８のいずれかがビデオには不十分なスループットであるが音声には十分であるスループットを有する帯域幅限定設定において、ビデオフレームよりも優先的に取り上げられる。

符号化モジュール１１１６は、バジェットが第１レベルのスループットまたは第２レベルのスループットのいずれかよりも大きい場合には、マルチメディアデータのビデオユニットのコード化をスキップすることができる。この場合には、マルチメディアデータのビデオユニットのコード化をスキップすることに応じて、モジュール１１１０はＡＴ１００２における測定値に基づいて第１レベルのスループットを更新することができ、モジュール１１１２はＡＴ１００２にフィードバックされたＡＴ１００４における測定値に基づいて第２レベルのスループットを更新することができる。バジェットを決定するためのモジュール１００４は、マルチメディアデータの次のビデオユニットの通信に関連するバジェットを再決定することができ、コード化するためのモジュール１１１６は、再決定されたバジェットが更新された第１および第２レベルのスループットより小さい場合、マルチメディアデータの次のビデオユニットをコード化することができる。

また、マルチメディアデータのビデオユニットはビデオフレームを備えることができる。ＡＴ１００２およびＡＴ１００４は、セッションの間のマルチメディアデータのビデオフレームの通信のためにフレームレートを定義することができ、マルチメディアデータの所与のビデオフレームの更新、再決定、およびコーディングが、セッションのフレームレートによって定義される次のサイクルの前に起こることができる。こうして、フレームがスキップされた場合、コード化するためのモジュール１１１６は次の予定のフレームまで待機する必要はないが、再決定されたバジェットがアップリンクおよびダウンリンクのために測定された更新されたスループットによって満たすことができる場合には、次の予定のフレームの前にフレームをコード化することができる。

２つのＡＴ（１００２および１００４）が図１０に図示されているが、本開示の技術はＶＴ会議におけるいかなる数のＡＴのためにも拡張することができる。ＡＴごとに、送信デバイスはトークンバケットを維持して、この所与のＡＴのためのスループットをフィードバックに基づいて決定することができる。したがって、本開示は、ネットワークの第３アクセスノードから第３デバイス（例えば第３ＡＴ）へのマルチメディア通信に関連する第３レベルのスループットを、第３デバイスから第１デバイス（例えばＡＴ１００２で）へのフィードバックに基づいて決定すること、および、バジェットが前記第１、第２、および第３レベルのスループットより小さいときには、マルチメディアデータのビデオユニットを符号化することを企画する。この場合には、ＡＴ１００２は少なくとも３つのトークンバケットを維持することができ、第１トークンバケットが第１レベルのスループットを表す情報を格納し、第２トークンバケットが第２レベルのスループットを表す情報を格納し、第３トークンバケットが第３レベルのスループットを表す情報を格納する。

受信器側では、装置１００４の受信するためのモジュール１１２６はＡＴ１００２からＡＴ１００４へ送られる第１マルチメディアデータを受信することができ、第１マルチメディアデータはダウンリンク１００８を介してネットワーク１００６のネットワークノードからＡＴ１００４へ通信される。スループットを決定するためのモジュール１１２２は、観測ウィンドウを通じてダウンリンクのスループットを測定することができ、そして、送信するためのモジュール１１２４は、観測ウィンドウを通じてダウンリンク上で測定されたスループットのレベルを表す情報を、第２デバイスから第１デバイスへ送信する。スループットのレベルを表すこのフィードバック通信情報は、点線によって図１０に示されている。ＡＴ１００４からＡＴ１００２へのこのフィードバックを通信するための多くの技術が上に述べられている。しかしながら一実施例では、送信するためのモジュール１１２４は、取り込まれ、コード化され、およびＡＴ １００４からＡＴ １００２に通信されるマルチメディアコンテンツによってスループットのレベルを表す情報をピギーバックする。この場合、送信するためのモジュール１１２４は、第２マルチメディアデータをＡＴ１００４からＡＴ１００２へ送信し、第２マルチメディアデータによってスループットのレベルを表す情報をピギーバックすることができる。

図１１〜１３は、本開示の技術と一致している流れ図である。図１１に示すように、ＡＴ１００２のモジュール１１１０は、アップリンク１００７のために第１レベルのスループットを決定する（１５０１）。こうするために、モジュール１１１０は、アップリンク１００７を通じて送信されるパケットに関連するデータの量を、観測ウィンドウを通じて、例えばその観測ウィンドウの間に送信されるすべてのデータを合計することによって測定することができる。このように、測定されたスループットはある程度のデータ、例えばデータの蓄積である。一実施例では、観測ウィンドウは、２つの連続したコード化されたフレームの間の時間量を備えることができる。この場合、アップリンク１００７のスループットは、その観測ウィンドウにおいて送信されるデータ量を定義する。モジュール１１１２は、例えばＡＴ１００４から受信されるフィードバックに基づいて、ダウンリンク１００８のために第２レベルのスループットを決定する（１５０２）。この場合、ＡＴ１００４は、ダウンリンク上のスループットを観測ウィンドウを通じてデータを蓄積することによって測定し、この測定値をＡＴ１００２にフィードバックすることができる。モジュール１１１４は、コード化すべきフレームのためのビットバジェットを、例えば現在の場面を前にコード化されたフレームと比較して、前のフレームに関連して現在場面をコード化するために必要な多くのビットを定義することによって決定する（１５０３）。

コード化するためのモジュール１１１６は、バジェットと第１および第２レベルのスループットとに基づいて、現在フレーム（すなわち現在場面のフレーム）をコード化する。例えば、コード化するためのモジュール１１１６は、バジェットと第１および第２レベルのスループットとの関数であるサイズを有するように現在フレームをコード化することができる。必要な場合には、コード化されたフレームがバジェットより少ないデータを使用し、したがってアップリンク上およびダウンリンク上のスループットの最小限より少ないデータを使用するように、フレームは詳細をより少なくしてコード化されることができる。代わりに、バジェットが第１および第２レベルのスループットより少ない場合、コーディングのためのモジュール１１１６はバジェットに従って現在フレームをコード号化することができる。この後の場合では、バジェットが第１または第２レベルのスループットより多い場合、コーディングのためのモジュールはバジェットに従って現在フレームをコード号化することができない。

図１２に示すように、ＡＴ１００２のモジュール１１１０はアップリンク１００７のための第１レベルのスループットを決定する（２００１）。モジュール１１１２は、例えばＡＴ１００４から受信されたフィードバックに基づいて、ダウンリンク１００８のための第２レベルのスループットを決定する（２００２）。モジュール１１１４は、コード化すべきフレームのためのビットバジェットを決定する（２００３）。

図１２において、ビットバジェットが第１および第２レベルのスループットの最小値より少ない場合（２００４のＹＥＳ分岐）、モジュール１１１６はフレーム（２００５）をコード化し、モジュール１１１８はフレームを送信する（２００６）。それからモジュール１１１６はセッションの次のフレームサイクルを待つ（２００７）。フレームサイクルは、マルチメディア電話セッションのためにＡＴ１００２とＡＴ１００４の間でネゴシエートされることができる。

ループ２０１１はループ２０１２から独立している。これは、実際のフレームレートがネゴシエートされたフレームレートに関する図１２のアルゴリズムによって適応できることを意味する。場合によっては、ループ２０１１はネゴシエートされたフレームサイクルより長く掛かることができ、この場合には、図１２のアルゴリズムがフレームレートをアップリンクおよびダウンリンク上の利用可能なスループットに合うように適応させる。他の場合には、２０１１のループはフレームのために短い遅延を加えることができ、遅延はネゴシエートされたフレームレートに関連する時間の範囲内である。後の場合には、モジュール１１１６はフレームをコード化することができ（２００５）、モジュール１１１８は予想されるフレームに関してわずかな遅延でフレームを送信することができる（２００６）。例えば、ネゴシエートされたフレームレートを毎秒１０フレームにすることができ、これによって予想されるフレームは１００ミリ秒ごとにコード化されることになる。スループットが不十分である場合（２００４のＮＯ分岐）、ループ２０１１は２ミリ秒ごとに続けることができる。この場合、いったんスループットが十分であれば（２００４のＹＥＳ分岐）、フレームはコード化されて（２００５）、送信される（２００６）。この場合、送信されるフレームは前に送信されたフレームから（１００＋２Ｎ）ミリ秒であり、ここでＮは、スループットが十分であることがわかる前にループ２０１１を通るサイクルの数を表す。

図１３に示すように、ＡＴ１００４のモジュール１１２６は、ダウンリンク１００８を介してマルチメディアデータを受信する（３００１）。モジュール１１２２は、ダウンリンク１００８のスループットを測定する（３００２）。モジュール１１２４は、ダウンリンク１００８のスループットの測定値をＡＴ１００２へのフィードバックとして送信する（３００３）。こうして、ＡＴ１００４はダウンリンクスループットを測定して、この情報を、本明細書で説明するようにマルチメディア電話セッションのビデオ情報に適応させるべきかどうか、どの程度適応させるべきかの決定に使用するためにＡＴ１００２にフィードバックする。

図１４および１５は、本開示の態様を実施するために用いることができる装置のブロック図である。装置３０００および３１００は、上記のように複数のＡＴを備えることができるか、または本開示の機能性をこの種のＡＴへ供給するためにＡＴの一部を形成するチップセットなどの１つまたは複数の回路を備えることができる。図１４に示すように、装置３０００は、アップリンクスループットを決定するためのモジュール３１１０、ダウンリンクスループットを決定するためのモジュール３１１２、バジェットを決定するためのモジュール３１１４、およびコーディングのためのモジュール３１１６を含む。

アップリンクスループットを決定するためのモジュール３１１０は、装置３０００からネットワークの第１アクセスノードへのアップリンクを通じたマルチメディアデータ通信に関連する第１レベルのスループットを決定する。ダウンリンクスループット３１１２を決定するためのモジュールは、ネットワークの第２のアクセスノードからダウンリンクを通じたマルチメディアデータ通信に関連する第２レベルのスループットを、例えばアクセス端末からのフィードバックに基づいて決定する。バジェットを決定するためのモジュール３１１４は、マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する。コーディングのためのモジュール１１１６は、バジェットと第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化する。

図１５に示すように、装置３１００は、ダウンリンクスループットを決定するためのモジュール３１２２、送信するためのモジュール３１２４、および受信するためのモジュール３１２６を含む。受信するためのモジュール３１２６は、ダウンリンクを通じて第１マルチメディアデータを受信する。ダウンリンクスループットを決定するためのモジュール３１２２は、観測ウィンドウを通じてダウンリンク上のネットワークからのスループットを測定するために、スループット測定モジュールを含むことができる。送信するためのモジュール３１２４は、観測ウィンドウを通じてダウンリンク上のネットワークから測定されたスループットのレベルを表す情報を送信する送信機モジュールを含むことができる。

多くの技術および実施例が説明されている。本明細書に説明された技術の１つまたは複数を、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装することができる。モジュールまたは構成要素として説明されたいずれの特徴も、集積論理デバイスの中でともに、または別々であるが相互運用可能な論理デバイスとして実装することができる。ソフトウェアで実装された場合、これらの技術は、実行されると上記の方法の１つまたは複数を実行する命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現されることができる。コンピュータ可読媒体は、パッケージ材料を含んでもよいコンピュータプログラム製品の一部を形成することができる。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶媒体などを備えることができる。これらの技術は、さらにまたは代わりに、コンピュータ可読通信媒体によって少なくとも部分的に実現されることができ、このコンピュータ可読通信媒体は、コードを命令またはデータ構造の形で伝えすなわち通信し、コンピュータによってアクセスされ、読み込まれ、および／または実行されることができる。

コードは、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路または個別の論理回路によって実行されることができる。したがって、本明細書で用いられる「プロセッサ」という用語は、本明細書に説明される技術の実装に適する前述の構造のいずれもまたはいかなる他の構造も含めて、単一のプロセッサまたは複数のプロセッサを指すことができる。さらに、いくつかの態様では、本明細書に説明された機能性を、本明細書に説明された技術を実行するために構成された専用のソフトウェアモジュールまたはハードウェアモジュールの中に提供することができる。

本明細書に開示された態様に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによってソフトウェアモジュールで実施されるか、両方の組合せで直接実現されることができる。ソフトウェアモジュール（例えば、実行可能命令および関連データを含む）および他のデータは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または本技術分野で周知のその他の形態のコンピュータ可読記憶媒体の中に存在することができる。サンプル記憶媒体を、例えば（本明細書では便宜のために「プロセッサ」と呼んでもよい）コンピュータ／プロセッサなどの機械に結合することができ、このようなプロセッサは情報（例えばコード）を記憶媒体から読み取ること、および情報媒体に書き込むことが可能である。サンプル標本記憶媒体はプロセッサに統合されたものにすることができる。プロセッサおよび記憶媒体はＡＳＩＣに存在することができる。ＡＳＩＣはユーザ機器に存在することができる。代替案として、プロセッサおよび記憶媒体はユーザ機器の個別構成要素として存在することができる。また、いくつかの態様では、いかなる適切なコンピュータプログラム製品も、開示の態様の１つまたは複数に関する（例えば少なくとも１つのコンピュータによって実行可能な）コードを備えるコンピュータ可読媒体を備えることができる。いくつかの態様では、コンピュータプログラム製品はパッケージ材料を含むことができる。

ハードウェアで実装された場合、本開示の技術は、本明細書に説明した技術を実行するように構成された回路またはデバイスなどの装置を対象とすることができる。したがって、本開示はまた、本明細書に説明した技術を実行するために構成された１つまたは複数の回路を企画している。この場合には、１つまたは複数の回路を備えた装置は、本開示の機能性をＡＴに提供するために設計されたＡＴの構成要素であってもよい。

本開示の様々な態様を説明した。これらおよびその他の態様は以下の請求の範囲内にある。

Claims (52)

1. マルチメディアデータ通信のための方法であって、
   第１アクセス端末からネットワークまでのマルチメディアデータ通信に関連する第１レベルのスループットを決定すること、
   前記ネットワークを介して第２アクセス端末から前記第１アクセス端末へのフィードバックに基づいて、前記ネットワークから前記第２アクセス端末までのマルチメディアデータ通信に関連する第２レベルのスループットを決定すること、
   マルチメディアデータのビデオユニットの通信に関連するバジェットを決定すること、および
   前記バジェットと前記第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化すること
   を備える、方法。
2. 前記バジェットと前記第１および第２レベルのスループットとに基づいて、マルチメディアデータのビデオユニットをコード化することが、
   前記バジェットと前記第１および第２レベルのスループットとの関数であるサイズを有するようにビデオユニットをコード化することを備える、
   請求項１に記載の方法。
3. 前記バジェットと前記第１および第２レベルのスループットとの関数であるサイズを有するようにビデオユニットをコード化することが、
   前記バジェットが前記第１および第２レベルのスループットより小さい場合、前記バジェットに従ってビデオユニットをコード化することを備える、
   請求項１に記載の方法。
4. 前記ネットワークが、
   前記第１アクセス端末へ／からデータを送受信する第１アクセスポイントと、
   前記第２アクセス端末へ／からデータを送受信する第２アクセスポイントであって、前記第１および第２アクセスポイントは前記ネットワークにおいて互いに通信で結合されている、第２アクセスポイントとを備える、
   請求項１に記載の方法。
5. 前記ネットワークを介して前記第１アクセス端末から前記第２アクセス端末まで前記マルチメディアデータのコード化されたビデオユニットを送信することをさらに備える、請求項１に記載の方法。
6. 少なくとも２つのトークンバケットを前記第１アクセス端末に維持することをさらに備え、第１トークンバケットが前記第１レベルのスループットを表す情報を格納し、第２トークンバケットが第２レベルのスループットを表す情報を格納し、
   前記マルチメディアデータのビデオユニットをコード化することが、バジェットと前記第１および第２トークンバケットの占有率の関数であるサイズを有するビデオユニットをコード化することを備える、
   請求項１に記載の方法。
7. 前記第１アクセス端末で測定された第１レベルのスループットを反映するために前記第１トークンバケットを更新すること、および
   前記第２アクセス端末で測定された第２レベルのスループットを反映するために前記第２トークンバケットを更新することをさらに備える、
   請求項６に記載の方法。
8. 前記第１および第２トークンバケットを更新することが、第１および第２アクセス端末間のネゴシエートされたサービス品質（ＱｏＳ）と、前記第１および第２トークンバケットの現在バッファ占有率と、経過時間とに基づく、請求項７に記載の方法。
9. 前記マルチメディアデータの前記ビデオユニットをコード化することに応じて、前記第１アクセス端末における前記第１および第２トークンバケットの少なくとも１つからコンテンツを削減することをさらに備える、
   請求項６に記載の方法。
10. マルチメディアデータの前記ビデオユニットがビデオフレームを備える、請求項１に記載の方法。
11. 前記ビデオフレームがコード化されているかどうかにかかわらず、前記ビデオフレームに関連する音声情報をコード化し、前記コード化された音声情報を前記第１アクセス端末から前記ネットワークを通じて前記第２アクセス端末へ送信することをさらに備える、
    請求項１０に記載の方法。
12. 前記バジェットが前記第１レベルのスループットまたは前記第２レベルのスループットのいずれかより大きい場合、マルチメディアデータの前記ビデオユニットのコード化をスキップすることをさらに備える、
    請求項１に記載の方法。
13. マルチメディアデータの前記ビデオユニットのコード化をスキップすることに応じて、
    前記第１アクセス端末における測定値に基づいて前記第１レベルのスループットを更新すること、
    前記第２アクセス端末における測定値に基づいて前記第２レベルのスループットを更新すること、
    マルチメディアデータの次のビデオユニットの通信と伴うバジェットを再決定すること、および
    再決定されたバジェットが更新された第１および第２レベルのスループットより少ない場合、マルチメディアデータの次のビデオユニットをコード化することをさらに備える、
    請求項１２に記載の方法。
14. マルチメディアデータの前記ビデオユニットがビデオフレームを備え、
    前記第１および第２アクセス端末は、セッション中における前記マルチメディアデータのビデオフレームの通信のためのフレームレートを定義し、
    マルチメディアデータの所与のビデオフレームのコード化をスキップすることに応じて、前記セッションのフレームレートによって定義される次のサイクルの前に、次のビデオフレームの更新、再決定、およびコード化が起こる、
    請求項１３に記載の方法。
15. ネットワークを介して第３アクセス端末から第１アクセス端末へのフィードバックに基づいて、ネットワークから第３アクセス端末までのマルチメディアデータ通信に関連する第３レベルのスループットを決定すること、および
    前記バジェットが第１、第２、および第３レベルのスループット未満であるときは、前記マルチメディアデータの前記ビデオユニットをコード化することをさらに備える、
    請求項１に記載の方法。
16. 少なくとも３つのトークンバケットを前記第１アクセス端末に維持することをさらに備え、第１トークンバケットは前記第１レベルのスループットを表す情報を格納し、第２トークンバケットは第２レベルのスループットを表す情報を格納し、第２トークンバケットは第３レベルのスループットを表す情報を格納する、
    請求項１５に記載の方法。
17. マルチメディアデータ通信のための装置であって、
    前記装置からネットワークまでのマルチメディアデータ通信に関連する第１レベルのスループットを決定する第１トークンバッファモジュールと、
    前記アクセス端末から前記装置へのフィードバックに基づいて前記ネットワークからアクセス端末までのマルチメディアデータ通信に関連する第２レベルのスループットを決定する第２トークンバッファモジュールと、
    前記マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する残差モジュールと、
    前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するコード化モジュールと
    を備える、装置。
18. 前記コード化モジュールが、前記バジェットと前記第１および第２レベルのスループットの関数であるサイズを有するように前記ビデオユニットをコード化する、請求項１７に記載の装置。
19. 前記バジェットが前記第１および第２レベルのスループットより小さい場合、コード化モジュールは前記バジェットに従って前記ビデオユニットをコード化する、請求項１７に記載の装置。
20. 前記ネットワークが、
    前記装置へ／からデータを送受信する第１アクセスポイントと、
    前記アクセス端末へ／からデータを送受信する第２アクセスポイントであって、前記第１および第２アクセスポイントは前記ネットワークにおいて互いに通信で結合されている、第２アクセスポイントとを備える、
    請求項１７に記載の装置。
21. 前記ネットワークを介して前記装置から前記アクセス端末まで前記マルチメディアデータの前記コード化されたビデオユニットを送信する送信機モジュールをさらに備える、請求項１７に記載の装置。
22. 前記第１トークンバケットは前記第１レベルのスループットを表す情報を格納し、前記第２トークンバケットは前記第２レベルのスループットを表す情報を格納し、
    前記コード化モジュールは、前記バジェットと前記第１および第２トークンバケットの占有率の関数であるサイズを有するビデオユニットをコード化する、
    請求項１７に記載の装置。
23. 前記装置で測定された前記第１レベルのスループットを反映するように前記第１トークンバケットを更新し、
    前記アクセス端末で測定された前記第２レベルのスループットを反映するように前記第１トークンバケットを更新するために構成された、
    請求項２２に記載の装置。
24. 前記第１および第２トークンバケットを更新することが、前記装置と他のデバイスとの間のネゴシエートされたサービス品質（ＱｏＳ）と、前記第１および第２トークンバケットの現在バッファ占有率と、経過時間とに基づく、請求項２３に記載の方法。
25. 前記第１および第２トークンバケットの少なくとも１つからのコンテンツが、マルチメディアデータの前記ビデオユニットをコード化することに応じて、前記装置において削減される、
    請求項２３に記載の装置。
26. １つまたは複数の集積回路を備える、請求項１７に記載の装置。
27. マルチメディアデータの前記ビデオユニットがビデオフレームを備える、請求項１７に記載の機器。
28. 前記ビデオフレームがコード化されているかどうかにかかわらず、前記コード化モジュールは前記ビデオフレームに関連する音声情報をコード化し、送信機が前記コード化された音声情報を前記装置から前記アクセス端末へ前記ネットワークを通じて送信する、
    請求項２７に記載の装置。
29. 前記コード化モジュールは、前記バジェットが第１レベルのスループットまたは第２レベルのスループットのいずれかよりより大きい場合、マルチメディアデータの前記ビデオユニットのコード化をスキップする、
    請求項１７に記載の装置。
30. マルチメディアデータの前記ビデオユニットのコード化をスキップすることに応じて、
    前記第１トークンバケットは、前記装置における測定値に基づいて前記第１レベルのスループットを更新し、
    前記第２トークンバケットは、アクセス端末における測定値に基づいて前記第２レベルのスループットを更新し、
    残差モジュールは、マルチメディアデータの次のビデオユニットの通信に関連する前記バジェットを再決定し、
    再決定されたバジェットが前記更新された第１および第２レベルのスループットより小さい場合、前記コード化モジュールはマルチメディアデータの前記次のビデオユニットをコード化する、
    請求項２９に記載の装置。
31. マルチメディアデータの前記ビデオユニットがビデオフレームを備え、
    前記装置および前記アクセス端末が、セッション中における前記マルチメディアデータのビデオフレームの通信のためのフレームレートを定義し、
    マルチメディアデータの所与のビデオフレームのコード化をスキップすることに応じて、前記セッションのフレームレートによって定義される次のサイクルの前に、次のビデオフレームの更新、再決定、およびコード化が起こる、
    請求項３０に記載の装置。
32. 別の端末から前記装置へのフィードバックに基づいて前記ネットワークから前記別の端末までのマルチメディアデータ通信に関連する第３レベルのスループットを決定する第３トークンバッファモジュールをさらに備え、
    前記コード化モジュールは、前記バジェットが前記第１、第２、および第３レベルのスループットより小さいときには、前記マルチメディアデータの前記ビデオユニットをコード化する、
    請求項１７に記載の装置。
33. 前記第１トークンバケットは前記第１レベルのスループットを表す情報を格納し、前記第２トークンバケットは前記第２レベルのスループットを表す情報を格納し、前記第３トークンバケットは前記第３レベルのスループットを表す情報を格納する、
    請求項３２に記載の装置。
34. マルチメディアデータ通信のための装置であって、
    前記装置からネットワークまでのマルチメディアデータ通信に関連する第１レベルのスループットを決定するための手段と、
    前記アクセス端末から前記装置への前記ネットワークを介するフィードバックに基づいて、前記ネットワークからアクセス端末へのマルチメディアデータ通信に関連する第２レベルのスループットを決定するための手段と、
    前記マルチメディアデータのビデオユニットの通信に関連するバジェットを決定するための手段と、
    前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するための手段と
    を備える、装置。
35. 前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するための手段が、
    前記バジェットと前記第１および第２レベルのスループットとの関数であるサイズを有するように前記ビデオユニットをコード化するための手段を備える、
    請求項３４に記載の装置。
36. 前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するための手段が、
    前記バジェットが前記第１および第２レベルのスループットより小さい場合、前記バジェットに従って前記ビデオユニットをコード化するための手段を備える、
    請求項３４に記載の装置。
37. 前記ネットワークが、
    前記装置へ／からデータを送受信する第１アクセスポイントと、
    前記アクセス端末へ／からデータを送受信する第２アクセスポイントであって、前記第１および第２アクセスポイントはネットワークにおいて互いに通信で結合されている、第２アクセスポイントとを備える、
    請求項３４に記載の装置。
38. 前記ネットワークを介して前記装置から前記アクセス端末まで前記マルチメディアデータの前記コード化されたビデオユニットを送信するための手段をさらに備える、請求項３４に記載の装置。
39. 少なくとも２つのトークンバケットを前記装置に維持するための手段をさらに備え、第１トークンバケットが前記第１レベルのスループットを表す情報を格納し、第２トークンバケットが第２レベルのスループットを表す情報を格納し、
    前記マルチメディアデータの前記ビデオユニットをコード化するための手段は、前記バジェットと前記第１および第２トークンバケットの占有率との関数であるサイズを有する前記ビデオユニットをコード化するための手段を備える、
    請求項３４に記載の装置。
40. 前記装置で測定された第１レベルのスループットを反映するために前記第１トークンバケットを更新するための手段と、
    前記アクセス端末で測定された第２レベルのスループットを反映するために前記第２トークンバケットを更新するための手段と
    をさらに備える、請求項３９に記載の装置。
41. 前記第１および第２トークンバケットを更新するための手段が、前記装置と前記アクセス端末間のネゴシエートされたサービス品質（ＱｏＳ）と、前記第１および第２トークンバケットの現在バッファ占有率と、経過時間とに基づいて更新するための手段を備える、請求項４０に記載の装置。
42. １つまたは複数の集積回路を備える、請求項３４に記載の装置。
43. マルチメディアデータの前記ビデオユニットをコード化することに応じて、前記装置における前記第１および第２トークンバケットの少なくとも１つからのコンテンツを削減するための手段を
    さらに備える、請求項３９に記載の装置。
44. マルチメディアデータの前記ビデオユニットがビデオフレームを備える、請求項３４に記載の機器。
45. 前記ビデオフレームがコード化されているかどうかにかかわらず、前記ビデオフレームに関連する音声情報をコード化するための手段と、前記コード化された音声情報を、前記ネットワークを通じて前記装置から前記アクセス端末へ送信するための手段と
    をさらに備える、請求項４４に記載の装置。
46. 前記バジェットが第１レベルのスループットまたは第２レベルのスループットのいずれかよりより大きい場合、マルチメディアデータの前記ビデオユニットのコード化をスキップするための手段
    をさらに備える、請求項３４に記載の装置。
47. マルチメディアデータの前記ビデオユニットのコード化をスキップすることに応じて、
    前記装置における測定値に基づいて前記第１レベルのスループットを更新するための手段と、
    前記アクセス端末における測定値に基づいて前記第２レベルのスループットを更新するための手段と、
    マルチメディアデータの次のビデオユニットの通信に関連する前記バジェットを再決定するための手段と、
    再決定されたバジェットが前記更新された第１および第２レベルのスループットより小さい場合に、マルチメディアデータの前記次のビデオユニットをコード化するための手段と
    をさらに備える、請求項４６に記載の装置。
48. マルチメディアデータの前記ビデオユニットがビデオフレームを備え、
    前記装置および前記アクセス端末は、セッション中におけるマルチメディアデータのビデオフレームの通信のためにフレームレートを定義し、
    マルチメディアデータの所与のビデオフレームのコード化をスキップすることに応じて、前記セッションのフレームレートによって定義される次のサイクルの前に、次のビデオフレームの更新、再決定、およびコード化が起こる、
    請求項４７に記載の装置。
49. 前記ネットワークを介する前記他のアクセス端末から前記装置へのフィードバックに基づいて、前記ネットワークから他のアクセス端末までのマルチメディアデータ通信に関連する第３レベルのスループットを決定するための手段と、
    前記バジェットが前記第１、第２、および第３レベルのスループットより小さいときには、前記マルチメディアデータの前記ビデオユニットをコード化するための手段と
    をさらに備える、請求項３４に記載の装置。
50. 少なくとも３つのトークンバケットを前記装置維持するための手段であって、第１トークンバケットが前記第１レベルのスループットを表す情報を格納し、第２トークンバケットが前記第２レベルのスループットを表す情報を格納し、第３トークンバケットが前記第３レベルのスループットを表す情報を格納する、手段
    をさらに備える、請求項４９に記載の装置。
51. コンピュータ読み取り可能な記録媒体に格納された命令を備えるコンピュータプログラムであって、前記命令は、
    第１アクセス端末からネットワークへのマルチメディアデータ通信に関連する第１レベルのスループットを決定するため、
    前記ネットワークを介する前記第２アクセス端末から前記第１アクセス端末へのフィードバックに基づいて、前記ネットワークから第２アクセス端末までのマルチメディアデータ通信に関連する第２レベルのスループットを決定するため、
    前記マルチメディアデータのビデオユニットの通信に関連するバジェットを決定するため、および
    前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するため
    に実行可能である、コンピュータプログラム。
52. アクセス端末（ＡＴ）であって、
    ネットワークへ／からワイヤレス通信を送受信するアンテナと、
    前記ＡＴから前記ネットワークまでのマルチメディアデータ通信に関連する第１レベルのスループットを決定する第１トークンバッファモジュールと、
    他のＡＴからのフィードバックに基づいて前記ネットワークから前記他のＡＴへのマルチメディアデータ通信に関連する第２レベルのスループットを決定する第２トークンバッファモジュールと、
    前記マルチメディアデータのビデオユニットの通信に関連するバジェットを決定する残差モジュールと、
    前記バジェットと前記第１および第２レベルのスループットとに基づいて、前記マルチメディアデータの前記ビデオユニットをコード化するコード化モジュールと
    を備える、アクセス端末（ＡＴ）。

Images