JP7377847B2 - 強化学習によって支援された動的リソース割り当て - Google Patents

Description

様々な例示的な実施形態は通信機器に関し、より詳細には、限定するものではないが、通信システムにおける動的リソース割り当てのための方法および装置に関する。

本セクションは、本開示のより深い理解を促進する助けとなり得る態様を紹介する。したがって、本セクションの陳述はこの観点から読まれるべきであり、従来技術に含まれるもの、または従来技術に含まれないものについての承認として理解されるべきではない。

動的リソース割り当て（ＤＲＡ：Ｄｙｎａｍｉｃ－ｒｅｓｏｕｒｃｅ－ａｌｌｏｃａｔｉｏｎ）アルゴリズムが、例えば、通信ネットワークにおいて、関連ネットワークリソースの効率的な利用および共有をサポートしつつ、個々のユーザのサービス品質（ＱｏＳ：Ｑｕａｌｉｔｙ－ｏｆ－Ｓｅｒｖｉｃｅ）要求を満足するサービスを提供するために用いられる。ＤＲＡのサブタイプが動的帯域幅割り当て（ＤＢＡ：ｄｙｎａｍｉｃ ｂａｎｄｗｉｄｔｈ ａｌｌｏｃａｔｉｏｎ）である。多くのネットワークシナリオにおいて、リソースの動的プロビジョニングは、例えば、総合的な許容可能ネットワーク負荷および／またはネットワーク収益の点で、同じリソースの静的プロビジョニングよりも優れていることが判明している。

本明細書において開示されるのは、ＤＲＡ制御が強化学習（ＲＬ：ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）によって支援される通信システムの様々な実施形態である。例示的な実施形態は、下り（ダウンストリーム）および／または上り（アップストリーム）データフローによって占められる（ｐｏｐｕｌａｔｅｄ）１つまたは複数のバッファキュー（ｂｕｆｆｅｒ ｑｕｅｕｅ）を制御し得る。バッファキューのエグレスレート（ｅｇｒｅｓｓ ｒａｔｅｓ：出力速度、出力レート）は、学習エージェントが、ＲＬ探索段階を回避し、その代わりに、すでに取られた行動（動作、アクション）の外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ：推定）に依拠しつつ、ＤＲＡコントローラの状態－行動マッピング関数（ｓｔａｔｅ－ｔｏ－ａｃｔｉｏｎ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ：状態から行動へのマッピング関数）を適応的に変更することができる、ＲＬ技法を用いて動的に制御することができる。この特徴は少なくとも２つの恩恵をもたらし得る：（ｉ）ＲＬ探索に通例関連付けられる性能ペナルティ（ｐｅｒｆｏｒｍａｎｃｅ ｐｅｎａｌｔｙ）の解消、および（ｉｉ）学習エージェントが状態の１回の発生時に状態ごとに多くの行動の性能メトリックを決定することができるがゆえの、環境のより高速の学習。

いくつかの実施形態はデジタル加入者線（ＤＳＬ：ｄｉｇｉｔａｌ－ｓｕｂｓｃｒｉｂｅｒ－ｌｉｎｅ）システムにおいて実施され得る。

いくつかの実施形態は受動光ネットワーク（ＰＯＮ：ｐａｓｓｉｖｅ－ｏｐｔｉｃａｌ－ｎｅｔｗｏｒｋ）システムにおいて実施され得る。

いくつかの実施形態は無線通信システムにおいて実施され得る。

例示的な実施形態によれば、少なくとも１つのプロセッサと、プログラムコードを含む少なくとも１つのメモリと、を備える装置であって、少なくとも１つのメモリおよびプログラムコードが、少なくとも１つのプロセッサを用いて、装置に、少なくとも、第１のバッファキューのエグレスレートを、クオリティ値（ｑｕａｌｉｔｙ ｖａｌｕｅ：品質値）に、および現在の時間間隔内の第１のバッファキューの占有に基づいて、次の時間間隔のための第１のバッファキューのエグレスレート制御パラメータ値を選択することによって、調節することと、現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を更新することと、を行わせるように構成されている、装置が提供される。

別の例示的な実施形態によれば、非一時的機械可読媒体上にて符号化されたプログラムコードを有する非一時的機械可読媒体であって、プログラムコードが機械によって実行されたときに、機械が、（Ａ）第１のバッファキューのエグレスレートを、クオリティ値に、および現在の時間間隔内の第１のバッファキューの占有（ｏｃｃｕｐａｎｃｙ）に基づいて、次の時間間隔のための第１のバッファキューのエグレスレート制御パラメータ値を選択することによって、調節するステップと、（Ｂ）現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を更新するステップと、を含む方法を実行（実施）する、非一時的機械可読媒体が提供される。

様々な開示された実施形態の他の態様、特徴、および恩恵は、例として、以下の詳細な説明および添付の図面からより完全に明らかになるであろう。

いくつかの実施形態が実施され得る通信システムのブロック図である。 いくつかの他の実施形態が実施され得る別の通信システムのブロック図である。 一実施形態に係る、図１～図２の通信システムにおいて用いられ得る回路のブロック図である。 一実施形態に係る、図３の回路を用いて実施され得るＤＲＡ制御方法のフローチャートを示す図である。 一実施形態に係る、図４ＡのＤＲＡ制御方法の特定のステップの例示的な相対タイムラインを示す図である。 一実施形態に係る、図３の回路の部分となることができるバッファキューを概略的に示す図である。 一実施形態に係る、図２の通信システムにおいて達成することができる例示的な改善をグラフで示す図である。 一実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 一実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 一実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 別の実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 別の実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 別の実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの異なる例示的な構成を示す図である。 さらに別の実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの例示的な構成を示す図である。 さらに別の実施形態に係る、図４ＡのＤＲＡ制御方法が実施され得る図１の通信システムの例示的な構成を示す図である。 一実施形態に係る、図１の通信システムにおいて達成することができる例示的な改善を示す図である。 いくつかの他の実施形態が実施され得るさらに別の通信システムのブロック図である。

図１は、いくつかの実施形態が実施され得る通信システム１００のブロック図を示す。システム１００は、図１において指示されるとおりの加入者線１４０₁～１４０_Nを経由して接続された分配点ユニット（ＤＰＵ：ｄｉｓｔｒｉｂｕｔｉｏｎ ｐｏｉｎｔ ｕｎｉｔ）１１０および複数の顧客構内設備（ＣＰＥ：ｃｕｓｔｏｍｅｒ－ｐｒｅｍｉｓｅ－ｅｑｕｉｐｍｅｎｔ：カスタマー構内設備）ユニット１５０₁～１５０_Nを備える。実施形態によっては、ＤＰＵ１１０はサービスプロバイダ（例えば、電話会社）の「中央局」に配置され得る。他の実施形態によっては、ＤＰＵ１１０は、中央局のものよりも加入者宅に近い場所への１つまたは複数のバックホール（例えば、光）リンクを用いて遠隔に展開され得、対応する機器が、路上キャビネット内、電柱上、建物の地下室内等に物理的に配置され得る。ＣＰＥユニット１５０₁～１５０_Nは、通例、異なるそれぞれの顧客の現場に配置されている。実施形態によっては、ＤＰＵ１１は、対応するネットワーク（図１には明示的に示されていない）のアクセスノード（ＡＮ：ａｃｃｅｓｓ ｎｏｄｅ）１１０として実施され、そのように称され得る。

加入者線１４０₁～１４０_Nの各々は、通例、音声および／またはデータサービスに対応する信号を伝送するように構成されたそれぞれの「ツイストペア」（または他の好適な）電気ケーブルを含む。ＤＰＵ１１０において、加入者線１４０₁～１４０_Nの各々は入力／出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）ポート１３８₁～１３８_Nのそれぞれのものに接続されている。ＣＰＥ側において、加入者線１４０₁～１４０_Nの各々は、同様に、各々、ＣＰＥユニット１５０₁～１５０_NのそれぞれのもののＩ／Ｏポートである、Ｉ／Ｏポート１４２₁～１４２_Nのそれぞれのものに接続されている。

例示的な実施形態では、ＤＰＵ（またはＡＮ）１１０は、各々、Ｉ／Ｏポート１３８₁～１３８_Nのそれぞれのものに内部接続された、複数のトランシーバ（１２０_i／１３０_i）を含む。ここで、ｉ＝１、２、…、Ｎである。トランシーバ（１２０_i／１３０_i）はそれぞれの送信器１２０_iおよびそれぞれの受信器１３０_iを含む。ＤＰＵ（またはＡＮ）１１０は、信号処理、およびその適切な動作のために必要とされる他の機能のうちの少なくとも一部を遂行するための、トランシーバ（１２０_i／１３０_i）および少なくとも１つのメモリ１１６に動作するように接続された少なくとも１つのデジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１１４をさらに含む。動作時、トランシーバ（１２０_i／１３０_i）は、適応ビットローディングおよびチャネルコーディングを用いた離散マルチトーン（ＤＭＴ：ｄｉｓｃｒｅｔｅ ｍｕｌｔｉｔｏｎｅ）変調を利用し得る。ＤＭＴシンボルのトーン数は２０４８～８１９２（または～１６３８４）の範囲に及び得る。ケーブルバインダ内、またはアクセスノードボード上の異なる加入者線１４０₁～１４０_Nの間のクロストーク干渉（ｃｒｏｓｓｔａｌｋ ｉｎｔｅｒｆｅｒｅｎｃｅ：混線干渉、混信干渉）に対処するために、ＤＰＵ（またはＡＮ）１１０は、ベクタリング（ｖｅｃｔｏｒｉｎｇ）とも称される、クロストーク消去技法を利用し得る。

例示的な実施形態では、ＣＰＥユニット１５０_iは、そのＣＰＥユニットのＩ／Ｏポート１４２_iに内部で接続されたトランシーバ（１６０_i／１７０_i）を含む。トランシーバ（１６０_i／１７０_i）はそれぞれの送信器１６０_iおよびそれぞれの受信器１７０_iを含む。ＣＰＥユニット１５０_iは、信号処理、およびその適切な動作のために必要とされる他の機能のうちの少なくとも一部を遂行するための、トランシーバ（１６０_i／１７０_i）および少なくとも１つのメモリ１５６_iに動作するように接続された少なくとも１つのＤＳＰ１５４_iをさらに含む。

実施形態によっては、システム１００はデジタル加入者線（ＤＳＬ）システムであり得る。

実施形態によっては、システム１００は、Ｇ．ｆａｓｔおよび／またはＧ．ｍｇｆａｓｔなどの、ＩＴＵ－Ｔ標準化ブロードバンドアクセス技術に準拠するように設計され得る。Ｇ．ｆａｓｔは、全体が本明細書において参照により組み込まれる、ＩＴＵ－Ｔ勧告Ｇ．９７０１において説明されている。Ｇ．ｍｇｆａｓｔのための第１次ＩＴＵ－Ｔ勧告は、現在、コメント－解決段階（ｃｏｍｍｅｎｔ－ｒｅｓｏｌｕｔｉｏｎ ｐｈａｓｅ：コメントから解決への段階（フェーズ））にあり、まだ公的に入手可能になっていない。これらのＩＴＵ－Ｔ勧告の各々はそれぞれのＤＲＡの特徴を説明している。

例えば、Ｇ．９７０１において、ＤＲＡは、下りおよび上りＱｏＳキューの占有に基づいて、ならびにＤＰＵ管理情報ベース（ＭＩＢ：Ｍａｎａｇｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｂａｓｅ）を通じてオペレータによって選択された限度内で、時分割二重化（ＴＤＤ：：ｔｉｍｅ－ｄｉｖｉｓｉｏｎ－ｄｕｐｌｅｘｉｎｇ）フレームごとの下りおよび上り送信機会を決定する機能性として定義されている。この特定の特徴はまた、ｉＤＴＡ（ｉｎｄｅｐｅｎｄｅｎｔ ｄｙｎａｍｉｃ ｔｉｍｅ ａｓｓｉｇｎｍｅｎｔ（独立動的時間割当て））および／またはｃＤＴＡ（ｃｏｏｒｄｉｎａｔｅｄ ｄｙｎａｍｉｃ ｔｉｍｅ ａｓｓｉｇｎｍｅｎｔ（調整動的時間割当て））を実施するためにも用いられ得る。例示的な実施形態では、ＤＲＡはショータイム中に途切れなく（例えば、データの損失、またはデータの順序における違反を全く生じさせることなく）遂行され得る。場合によっては、ＤＲＡの機能性は、例えば、不連続動作モードを用いて、電力消費を管理するためにも考慮され得る。来たるべきＧ．ｍｇｆａｓｔ（Ｇ．９７１１）仕様はまた、マルチユーザ、全二重設定への可能な拡張を有する、ＤＲＡ特徴を有する。Ｇ．ｍｇｆａｓｔのために提案されているいくつかの他の特徴、例えば、ポイントツーマルチポイント（Ｐ２ＭＰ：ｐｏｉｎｔ－ｔｏ－ｍｕｌｔｉｐｏｉｎｔ）送信および不連続時間周波数動作（ＤＴＦＯ：ｄｉｓｃｏｎｔｉｎｕｏｕｓ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｏｐｅｒａｔｉｏｎ）のための動的帯域幅再配分もまた、例えば、対応するリソースが、認知された要求に基づいて、異なるエンドユーザにミリ秒の時間スケールで動的に再割り当てされ得るため、ＤＲＡのサブタイプとして分類され得る。

ＤＰＵ（またはＡＮ）１１０は、本明細書において開示される様々な実施形態に係る上述のＤＲＡ機能のうちの一部または全てを実行および／または管理するようにプログラムすることができる電子コントローラ１１８を含む。実施形態によっては、電子コントローラ１１８は、ＤＳＰ１１４の部分を用いて実施され得る。少なくともいくつかの実施形態では、ＤＳＰ１１４および１５４₁～１５４_Nならびにメモリ１１６および１５６₁～１５６_Nのうちの一部または全ても、ＤＲＡ機能のうちの少なくとも一部をサポートおよび／または実施するために用いられ得る。

図２は、いくつかの他の実施形態が実施され得る受動光ネットワーク（ＰＯＮ）システム２００のブロック図を示す。システム２００は、光ネットワークユニット（ＯＮＵ：ｏｐｔｉｃａｌ ｎｅｔｗｏｒｋ ｕｎｉｔ）２６０₁～２６０_Nと通信するように構成された光回線終端装置（ＯＬＴ：ｏｐｔｉｃａｌ ｌｉｎｅ ｔｅｒｍｉｎａｌ）２１０を有する。本明細書において、数Ｎは、例えば、２～２５６の範囲内にあることができる。場合によっては、ＯＮＵ２６０₁～２６０_Nは、上り送信のために（名目上）同じ搬送波波長を用いるように構成することができる。他の場合によっては、ＯＮＵ２６０₁～２６０_Nは、上り送信のために異なるそれぞれの搬送波波長を用いるように構成することができる。

ＯＬＴ２１０は、どちらも、光サーキュレータ２２０または他の好適な方向性結合器（例えば、薄膜技術に基づく光ダイプレクサまたはトリプレクサ）を経由して、光ファイバー２２４に結合された光送信器２１２および光受信器２１４を含む。送信器２１２および受信器２１４の動作、機能、および構成は、実施形態によっては、対応するプロセッサ（例えば、２０２）の部分であることができる、電子コントローラ２１８によって発生される制御信号２１１および２１３を用いて管理および制御することができる。図２に指示されるとおりの、メモリ２０１、送信器２１２、受信器２１４、およびコントローラ２１８に結合されたＤＳＰ２０２を、信号およびデータ処理のため、ならびに、実施形態によっては、コントローラのいくつかの機能をサポートするために用いることができる。例示的な実施形態では、光ファイバー２２４は約１ｋｍ～約４０ｋｍの長さを有することができる。

送信器２１２は、通例、１つまたは複数の下り搬送波波長を用いて下り信号をＯＮＵ２６０₁～２６０_Nへ一斉通信するように構成されており、好適な時分割多重化（ＴＤＭ：ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅｘｉｎｇ）プロトコルが、異なるＯＮＵのために意図された信号を送信するために用いられる。受信器２１４は、１つまたは複数の上り搬送波波長を用いて送信されたＯＮＵ２６０₁～２６０_Nからの上り信号を受信するように構成されている。コントローラ２１８を用いて実行される好適な時間分割多元接続（ＴＤＭＡ：ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）プロトコルを、受信器２１４における、異なるＯＮＵ２６０によって発生された上り信号の衝突を防止するために用いることができる。

光ファイバー２２４はＯＬＴ２１０を１つまたは複数の受動ルータ（ｐａｓｓｉｖｅ ｒｏｕｔｅｒ）２３０に接続する。実施形態に依存して、ルータ２３０は、（ｉ）（１×Ｎ）受動光スプリッタ／コンバイナ、（ｉｉ）受動波長ルータ（例えば、アレイ導波路回折格子（ａｒｒａｙｅｄ ｗａｖｅｇｕｉｄｅ ｇｒａｔｉｎｇ）、ＡＷＧ）、または（ｉｉｉ）波長非感受性および／もしくは波長感受性受動光学要素の任意の好適な組み合わせを用いて実施され得る。典型的なルータ２３０は、その第１の側、または上り側における単一のポート２２８、およびその第２の、または下り側におけるＮ個のポート２３２₁～２３２_Nのセットを含む、（Ｎ＋１）個の光ポートを有する。ここでは、用語「側（ｓｉｄｅ）」は、物理的配向の意味でなく、「上り」または「下り」方向を指示するために抽象的な意味で使用される。ポート２２８はポート２３２₁～２３２_Nの各々に内部で光学的に接続されている。ポート２２８は、図２において指示されるように、光ファイバー２２４に外部で光学的に接続されている。ポート２３２₁～２３２_Nは、例えば、図２においてさらに指示されるように、光ファイバーを介して、またはより複雑な、受動光ファイバーネットワーク（図２には明示的に示されていない）を介して、ＯＮＵ２６０₁～２６０_Nにそれぞれ外部で光学的に接続されている。ルータ２３０を実施するために用いることができる例示的なデバイスが、例えば、全体が本明細書において参照により組み込まれる、米国特許第８，９２３，６７２号において開示されている。

例示的な実施形態では、ＯＮＵ２６０₁～２６０_Nの各々は、それぞれの光サーキュレータ２６２_iまたは他の好適な方向性結合器、それぞれの光送信器２６４_i、それぞれの光受信器２６６_i、少なくとも１つのそれぞれのＤＳＰ２６８_i、および少なくとも１つのそれぞれのメモリ２７２_iを含む。光サーキュレータ２６２_iは、（ｉ）受動ルータ２３０から受信された下り信号を光受信器２６６_iへ誘導し、（ｉｉ）光送信器２６４_iからの上り信号を受動ルータ２３０へ誘導するように構成されている。ＤＳＰ２６８_iは、信号処理、およびその適切な動作のために必要とされる他の機能のうちの少なくとも一部を遂行するために、光送信器２６４_iおよび光受信器２６６_iに動作するように接続されている。

例示的な商用適用物では、システム２００は、全ての下り信号が１．５５μｍ付近のスペクトル帯内にスペクトル的に配置され、全ての上り信号が１．３μｍ付近のスペクトル帯内にスペクトル的に配置されるよう動作するように、またはその逆に構成することができる。このような場合には、光サーキュレータ２２０および２６２の全てまたは一部はそれぞれの光バンドパスまたはダイクロイック光フィルタによって置換され得る。

図２は、単一の受動光ルータ２３０を有するＰＯＮシステムを示すが、複数の受動光ルータおよび樹枝状サブトポロジ（ｔｒｅｅ－ａｎｄ－ｂｒａｎｃｈ ｓｕｂ－ｔｏｐｏｌｏｇｉｅｓ）を有するＰＯＮアーキテクチャなどの、より複雑なＰＯＮアーキテクチャも可能である。

実施形態によっては、システム２００は、異なるＯＮＵ２６０によってファイバー設備（ｆｉｂｅｒ ｐｌａｎｔ）がＴＤＭ共有される、ギガビットＰＯＮ（Ｇ－ＰＯＮ：Ｇｉｇａｂｉｔ－ＰＯＮ）、イーサネットＰＯＮ（Ｅ－ＰＯＮ：Ｅｔｈｅｒｎｅｔ－ＰＯＮ）、および／またはギガビット可能対称ＰＯＮ（ＸＧＳ－ＰＯＮ：Ｇｉｇａｂｉｔ－ｃａｐａｂｌｅ ｓｙｍｍｅｔｒｉｃ ＰＯＮ）技術に基づき得る。他の実施形態によっては、システム２００は次世代ＰＯＮ－２（ＮＧ－ＰＯＮ２：Ｎｅｘｔ－Ｇｅｎｅｒａｔｉｏｎ ＰＯＮ－２）技術に基づき得、該技術によれば、異なる波長において動作するそのいくつかのサブシステムが共有ＰＯＮインフラストラクチャ上に「積み重ねられ」、これにより、時間および波長分割多重化（ＴＷＤＭ：ｔｉｍｅ－ ａｎｄ ｗａｖｅｌｅｎｇｔｈ－ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅｘｉｎｇ）ＰＯＮ構成を実施する。さらに他の実施形態によっては、システム２００は、Ｇ．ｈｓｐとも称される、２５Ｇ／５０Ｇの速度のための次世代ＴＤＭ－ＰＯＮ標準に従って動作するように構成され得る。

実施形態によっては、コントローラ２１８は、ＤＢＡが、ＯＬＴ２１０が上り送信機会をＯＮＵ２６０内の様々なトラフィックベアリングエンティティ（ｔｒａｆｆｉｃ－ｂｅａｒｉｎｇ ｅｎｔｉｔｙ）に、例えば、それらの活動の動的指示、およびトラフィック契約に基づいて、（ＴＤＭ方式で）割振ることを可能にするように構成され得る。活動ステータスの指示は、（例えば、バッファステータス報告を通じて）明示的であるか、もしくは（例えば、上り送信機会の間のアイドル（ｉｄｌｅ：あいている、活動停止中）状態のＸＧＰＯＮカプセル化方法（ＸＧＥＭ：ＸＧＰＯＮ－Ｅｎｃａｐｓｕｌａｔｉｏｎ－Ｍｅｔｈｏｄ）フレームの送信を通じて）黙示的であるか、またはその両方であることができる。実施形態によっては、システム２００は、全体が本明細書において参照により組み込まれる、ＩＴＵ－Ｔ勧告Ｇ．９８０７．２に準拠するように設計され得る。

例えば、ＸＧＳ－ＰＯＮ仕様の下で、上り帯域幅割り当ての受信側エンティティは割り当てＩＤ（Ａｌｌｏｃ－ＩＤ）によって表現される。各ＯＮＵに割り当てられるＡｌｌｏｃ－ＩＤの数、各Ａｌｌｏｃ－ＩＤ上に多重化されるＸＧＥＭポートの数、ならびにＯＮＵによって実施される実際の物理的および論理的キューイング構造にかかわらず、ＯＬＴは、各々の対する（ｓｕｂｔｅｎｄｉｎｇ）Ａｌｌｏｃ－ＩＤに関連付けられたトラフィック集合体（ｔｒａｆｆｉｃ ａｇｇｒｅｇａｔｅ）を単一の論理バッファとしてモデル化し得る。さらに、帯域幅割当ての目的のために、ＯＬＴは全てのＡｌｌｏｃ－ＩＤを、対応する論理階層の同じレベルにおいて存在する独立した同位エンティティとして考慮し得る。

Ａｌｌｏｃ－ＩＤ論理バッファごとに、コントローラ２１８は、帯域内ステータスレポートを収集すること、もしくは上りのアイドルパターンを観察することのどちらか、またはその両方によって、バッファの占有を推測するように構成され得る。次に、コントローラ２１８のＤＢＡ機能は、対応する帯域幅マップ（ＢＷｍａｐ：ｂａｎｄｗｉｄｔｈ ｍａｐ）の生成を担当する、ＯＬＴ上りスケジューラ（ＯＬＴ ｕｐｓｔｒｅａｍ ｓｃｈｅｄｕｌｅｒ：ＯＬＴの上流へのスケジューラ）への入力を提供し得る。例示的な実装形態では、ＢＷｍａｐはＡｌｌｏｃ－ＩＤごとの上り送信機会のサイズおよびタイミングを指定し、例えば、下りトラフィックを用いて、ＯＮＵ２６０へ帯域内で通信される。

実施形態によっては、コントローラ２１８のＤＢＡ機能は以下の従属機能を含み得る：
（ｉ） 論理上り送信バッファの占有ステータスの推測、
（ｉｉ） プロビジョニングされた帯域幅成分（ｂａｎｄｗｉｄｔｈ ｃｏｍｐｏｎｅｎｔ）パラメータ内の推測されたバッファ占有ステータスに従った割当て帯域幅の更新、
（ｉｉｉ） 更新された帯域幅に従った割り当ての発行、
（ｉｖ） 少なくとも一部のＤＢＡ動作の管理。
これらの従属機能は、個々のＡｌｌｏｃ－ＩＤおよびそれらのプロビジョニングされた帯域幅成分パラメータのレベルで適用され得る。

ＯＮＵバッファ占有推測機構に依存して、少なくとも２つの異なるＤＢＡ方法がコントローラ２１８を用いて実施され得る：
（Ａ） ＯＬＴ２１０によって請求され、請求に応じてＯＮＵ２６０によって提出された明示的なバッファ占有レポートに基づく、ステータス報告ＤＢＡ、ならびに
（Ｂ） アイドルＸＧＥＭフレームパターンのＯＬＴの観察、およびそれらと、対応する帯域幅マップとの比較に基づく、トラフィック監視ＤＢＡ。

コントローラ２１８は、本明細書において開示される様々な実施形態に係る上述のＤＢＡ機能および従属機能の一部または全てを実行および／または管理するようにプログラムすることができる。少なくともいくつかの実施形態では、ＤＳＰ２０２および２６８₁～２６８_Nならびにメモリ２０１および２７２₁～２７２_Nのうちの一部または全ても、ＤＢＡ機能および従属機能のうちの少なくとも一部をサポートおよび／または実施するために用いられ得る。

本明細書において使用するとき、用語「ＤＲＡ」は、以下の特徴のうちの一部または全てを包含すると解釈されるべきである：
Ｉ． 入来ビットストリームおよび／またはデータ単位（例えば、パケット）を、例えば、上りまたは下りの、対応するリンクを通じたさらなる送信のためにバッファするように構成された少なくとも１つのバッファキュー、
ＩＩ． 例えば、バッファキューへ到来し、その内部に在留し、かつ／またはそれを通過する実際のトラフィックを特徴付ける、少なくとも１つのバッファキューに対応するトラフィックの測定および／または推定を獲得すること、
ＩＩＩ． トラフィックの測定および／または推定を、高スループットを達成すること、電力消費を低減すること、遅延を低減すること、指定されたＱｏＳメトリックを達成すること、輻輳を低減すること等などの、関連する最適化目的（ｏｐｔｉｍｉｚａｔｉｏｎ ｏｂｊｅｃｔｉｖｅ）の下で、対応するデータリンクのいくつかのパラメータ、例えば、エグレスレートおよび／またはそれに対する制約を制御する関連ＤＲＡ（またはＤＢＡ）アルゴリズムへの入力として用いること。
本明細書において、エグレスレートとは、対応するバッファキューの出力レート（ｏｕｔｐｕｔ ｒａｔｅ：出力速度）である。

ｘＤＳＬまたはＰＯＮのための従来のＤＲＡアルゴリズムは、通例、バッファキューへ到来する、その内部に在留する、またはそれを通過するトラフィックの予測パターンに基づいてリソースをプロビジョニングしない。さらに、従来のＤＲＡアルゴリズムは、トラフィックメトリックとＤＲＡ制御出力（例えば、バッファキューのエグレスレートに対する制約）との間の固定されたマッピングに依拠する傾向がある。なおさらに、従来のＤＲＡアルゴリズムは、通例、恣意的な目的（例えば、恣意的な費用関数）に基づく最適化に適しない。例えば、ＤＲＡアルゴリズムが、例えば、待ち時間および／もしくは電力消費と関係する、特定のトレードオフを行うように、またはリソース割り当てのダイナミシティ（ｄｙｎａｍｉｃｉｔｙ）に対する制約を考慮するように変更される必要がある場合には、このとき、対応する変更の実施はかなり難しくなり得る。それゆえ、従来のＤＲＡアルゴリズムは、少なくともいくつかのトラフィックシナリオにおいて最適以下の性能をもたらす傾向があり、調整が難しくなる傾向がある。

現況技術におけるこれらの、および場合によっては、いくつかの他の関連問題は、ＤＲＡ制御が強化学習によって支援され得る、本明細書において開示される少なくともいくつかの実施形態を用いて有利に対処することができる。例示的な実施形態は、下りおよび／または上りイングレスデータストリーム（ｉｎｇｒｅｓｓ ｄａｔａ ｓｔｒｅａｍｓ：入力データストリーム）によって埋められた１つまたは複数の（論理または物理）バッファキューを制御するために、例えば、コントローラ１１８（図１）またはコントローラ２１８（図２）の部分として実施される、ＤＲＡコントローラに依拠し得、それらのエグレスレートは、以下においてより詳細に説明される、新規の強化学習技法を用いて、動的に変更され、および／または抑制される（ｃａｐｐｅｄ）。例示的な実施形態では、このようなＤＲＡコントローラは以下のものを利用し得る：
・ ステータスレポート（例えば、バッファキュー占有メトリック（ｂｕｆｆｅｒ－ｑｕｅｕｅ ｏｃｃｕｐａｎｃｙ ｍｅｔｒｉｃｓ）を提供する）、および／またはトラフィック監視データ（例えば、転送されたデータ単位の実際の数、イングレスレート（ｉｎｇｒｅｓｓ ｒａｔｅ（ｓ）：入力速度、入力レート）、エグレスレート（ｅｇｒｅｓｓ ｒａｔｅ（ｓ））等）などの、トラフィック情報を取り込む機能性、
・ 取り込まれたトラフィック情報を、バッファキューのエグレスレートを変更または制約することができる制御出力にマッピングするように構成されたＤＲＡアルゴリズム、ならびに
・ 明示的なＲＬ探索を回避し、その代わりに、取られた行動の外挿に依拠しつつ、ＤＲＡアルゴリズムのマッピング関数を適応的に変更するように構成された学習エージェント。
学習エージェントは以下のことのうちの一部または全ての能力を有し得る：
・ （ｉ）バッファキューに到来し、その内部に在留し、かつ／またはそれを通過する実際のトラフィック、および（ｉｉ）システム設計者／インプリメンタ（ｉｍｐｌｅｍｅｎｔｅｒ：実行する者）によって、またはネットワークオペレータによって学習エージェントへの入力として与えられた最適化目的に基づいて、ＤＲＡアルゴリズムの上述のマッピング機能性を変更すること、
・ ＤＲＡアルゴリズムの上述のマッピング機能性を、例えば、ペイロードデータのフローを中断することなく、オンラインで、および／またはオンザフライ（ｏｎ ｔｈｅ ｆｌｙ）で変更すること、ならびに
・ 環境を学習するための努力の一環として、ランダムな（任意の、無作為の）、および／または著しく最適を下回る行動（ｇｒｏｓｓｌｙ ｓｕｂｏｐｔｉｍａｌ ａｃｔｉｏｎ）を遂行することなく、ＤＲＡアルゴリズムの上述のマッピング機能性を変更すること。
最後の特徴は少なくとも２つの恩恵をもたらし得る：（ｉ）明示的なＲＬ探索に通例関連付けられる追加的な性能ペナルティの解消、および（ｉｉ）学習エージェントが状態の１回の発生時に状態ごとに多くの行動の性能メトリックを決定することができるがゆえの、環境のより高速の学習。

本明細書において、用語「強化学習」（またはＲＬ）は、概して、ソフトウェアおよび／またはハードウェア制御エージェント（例えば、電子コントローラ）が、何らかの恩恵（例えば、累積報酬）を最適化する（例えば、最大化する）ために環境内でどのように行動を取るべきであるかに関心を持つ、機械学習の一領域を指す。ＲＬは、教師あり学習および教師なし学習も含む、３つの基本的機械学習パラダイムのうちの１つである。従来の実装形態では、ＲＬは、未踏の領域の探索と環境の現在利用可能な知識の搾取との間の許容可能なバランスを達成するために適用され得る。

ＲＬのための環境はマルコフ決定プロセス（ＭＤＰ：Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ）の形で定式化され得る。なぜなら、例えば、そのように定式化された多くのＲＬアルゴリズムは動的プログラミング技法を利用し得るからである。古典的な動的プログラミング方法とＲＬアルゴリズムとの１つの顕著な相違は、後者がＭＤＰの正確な数学モデル知識を仮定せず、より正確な方法が技術的に実行可能でないことがある比較的大きいＭＤＰに適用される傾向があることである。

ＲＬは、その一般性のゆえに、ゲーム理論、制御理論、オペレーションズリサーチ、情報理論、シミュレーションベースの最適化、マルチエージェントシステム、群知能、統計、および遺伝的アルゴリズムなどの、多くの分野において用いられる。文献によっては、ＲＬは近似的ダイナミックプログラミングまたはニューロダイナミックプログラミングと称されることもある。

ＳＡＲＳＡアルゴリズムなどの、従来のＲＬアルゴリズムは、通例、２つの別個の段階、探索段階および搾取段階を有する。本明細書において、ＳＡＲＳＡはｓｔａｔｅ－ａｃｔｉｏｎ－ｒｅｗａｒｄ－ｓｔａｔｅ－ａｃｔｉｏｎ（状態－行動－報酬－状態－行動）を表す。ＲＬアルゴリズムは、例えば、制御可能回路およびデバイスによって表現される、環境と対話することができる、エージェント、例えば、電子コントローラによって実行され得る。エージェントは環境内の異なる状態を観察し、行動を取ることができる。行動に応じて、観察された状態は変化し得、エージェントは報酬を獲得し得る。行動のクオリティを定量化するために、Ｑ値が用いられる。例えば、ＳＡＲＳＡアルゴリズムでは、Ｑ値を更新するための主関数は、現在の状態Ｓ₁、エージェントが状態Ｓ₁において選定する行動Ａ₁、エージェントが、行動Ａ₁を選定したことで獲得する報酬、行動Ａ₁が取られた後に観察される状態Ｓ₂、およびエージェントが状態Ｓ₂において選定する次の行動Ａ₂に依存する。

エージェントによって、次の行動を選択するために用いられ得る１つの単純なポリシーは、貪欲（ｇｒｅｅｄｙ）ポリシーと称される。貪欲ポリシーは、Ｑ値を最大化することを目指されるが、最適以下の定常状態への収束を起こしやすいものとして知られている。貪欲ポリシーの変更はε貪欲ポリシーと称される。後者のポリシーの下では、（１－ε）の確率をもって、エージェントは貪欲ポリシーを用いて行動を取る。εの確率をもって、エージェントはランダムな行動を取る。本明細書において、係数εは、利用可能な知識の搾取と環境の継続探索との間のトレードオフを表す。

以上においてすでに指示されたように、それらの選択の本質そのもののゆえに、ランダムな行動は環境の現在の状態のために著しく最適を下回り、それゆえ、しばしば、大きな性能ペナルティを引き起こし得る。対照的に、本明細書において開示される実施形態は、搾取段階の間におけるこのようなランダムな行動を回避するように有利に設計される。さらに、少なくともいくつかの実施形態は、有利に、別個の探索段階を丸ごと回避することも可能であり得る。代わりに、環境の知識は、例えば、後述されるように、エージェントによって、観察された状態、取られた行動、および／または受け取られた報酬からの外挿に基づいて構築される。

図３は、一実施形態に係る回路３００のブロック図を示す。回路３００はＤＲＡ制御可能リソース３１０およびＤＲＡコントローラ３２０を含む。上述のＲＬの用語法の下では、リソース３００は環境の部分であり、コントローラ３２０はエージェントを表す。回路３００の異なる実施形態がシステム１００および２００における使用のために適応させられてもよい。

例示的な実施形態では、リソース３１０は、エグレスレートがＤＲＡコントローラ３２０によって制御され得る１つまたは複数のバッファキューを含み得る。

コントローラ３２０は、リソースモニタ３３０、ＤＲＡマッパー（ＤＲＡ ｍａｐｐｅｒ）３４０、および学習エージェント３５０を含む。

リソースモニタ３３０は、リソース３１０の選択された性能メトリックを監視することによってリソース計測情報３１２を取得するように動作する。実施形態によっては、リソースモニタ３３０はリソース３１０からの直接報告を通じて情報３１２を取得し得る。他の実施形態によっては、情報３１２は、リソースモニタ３３０によって、リソース３１０の特定の性能パラメータ／特性の観察および／または測定に基づいて推測され得る。リソースモニタ３３０は、情報３１２を用いてリソース３１０の現在の状態を決定するようにさらに動作する。本明細書において、用語「状態（ｓｔａｔｅ）」は、強化学習の技術分野において使用される従来の用語法と一貫した意味で使用される。次に、リソースモニタ３３０は、リソース３１０の決定された状態を、制御信号３３２を介して、ＤＲＡマッパー３４０および学習エージェント３５０へ通信する。

制御信号３３２に応じて、ＤＲＡマッパー３４０は行動を選択し、選択を、制御信号３４２を介して、リソース３１０へ通信する。制御信号３４２に応じて、リソース３１０は、選択された行動を実施する。例示的な実施形態では、ＤＲＡマッパー３４０は、異なる状態が行動にマップされたルックアップ表（ＬＵＴ：ｌｏｏｋｕｐ ｔａｂｌｅ）に基づいて行動を選択する。異なる行動は、ＬＵＴ内で、制御パラメータ値の異なるセットによって表現され得る。例えば、実施形態によっては、制御パラメータ値は少なくとも１つのバッファキューのエグレスレートであり得る。他の実施形態によっては、制御パラメータ値はエグレスレートの上限を表し得る。さらに他の実施形態によっては、制御パラメータは、エグレスレートを決定するための数学関数において用いられるパラメータを表すことができる。

代替的な実施形態によっては、ＤＲＡマッパー３４０は、状態－行動マッピングを実施するために人工ニューラルネットワーク（ＡＮＮ、ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用し得る。本明細書において使用するとき、用語「ＡＮＮ」は、複数の処理要素（ＰＥ：ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）を用いて構築された、分散型の、通例、非線形訓練可能な（ｎｏｎｌｉｎｅａｒ ｔｒａｉｎａｂｌｅ）回路または機械を指す。また、ＡＮＮは動的に適応可能であり得る。各ＰＥは１つまたは複数の他のＰＥとの結合を有する。ＰＥ間の複数の結合はＡＮＮのトポロジ（ｔｏｐｏｌｏｇｙ）を規定する。トポロジによっては、ＰＥは層に集成され得る。異なる層は、それらの入力に対して異なるそれぞれの種類の変換を遂行するように構成された異なるタイプのＰＥを有し得る。信号は最初のＰＥ層（通例、入力層と称される）から最後のＰＥ層（通例、出力層と称される）へ伝わり得る。トポロジによっては、ＡＮＮは、入力および出力ＰＥ層の間に配置された１つまたは複数の中間ＰＥ層（通例、隠れ層と称される）を有し得る。例示的なＰＥは入って来る信号をスケーリングし、合計し、バイアスを付加し（ｂｉａｓ）、活性化関数を用いて、バイアスを付加された合計の静的非線形関数である出力信号を生成し得る。得られたＰＥ出力はＡＮＮの出力のうちの１つになるか、または対応する結合を通じて１つまたは複数の他のＰＥへ送られ得る。個々のＰＥによって適用されるそれぞれの重みおよび／またはバイアスは訓練（または学習）動作モードの間に変更され得、通例、ペイロード（または作業）動作モードの間は一時的に（一定に）固定される。

例示的な実施形態では、学習エージェント３５０は、例えば、制御信号３４８を介して、ＤＲＡマッパー３４０のＬＵＴを埋め、それを更新するように動作する。例えば、リソースモニタ３３０から受信された制御信号３３２に応じて、学習エージェント３５０は、以前に取られた行動からの報酬、リソース３１０の新たな状態、およびＤＲＡマッパー３４０のＬＵＴのための更新を決定し得る。このような更新は、外部の（例えば、ネットワークまたはシステム）制御エンティティによって学習エージェント３５０に提供された最適化目的または費用関数３５２に従って、ならびに対応する貪欲ポリシーに基づいて生成され得る。それゆえ、ＤＲＡマッパー３４０によって実施される状態－行動マッピングは、通例、リソース３１０のためのいかなるランダムな行動または最適以下の行動の選択も生じさせない。加えて、ＬＵＴの更新３４８は、例えば、以下においてさらに説明されるように、別個のＲＬ探索段階を必要としない。

図４Ａは、一実施形態に係る、回路３００を用いて実施され得るＤＲＡ制御方法４００のフローチャートを示す。実施形態によっては、方法４００は、ＳＡＲＳＡアルゴリズムのいくつかの要素を用いて実施され得る。本明細書において、方法４００の説明は、概して、強化学習の技術分野において用いられる従来の用語法に従う。

方法４００は、回路３００がＲＬ支援付きＤＲＡ（ＲＬ－ａｉｄｅｄ ＤＲＡ）のために初期化される、ステップ４０２において開始する。例えば、ステップ４０２は、関連アルゴリズムおよび／または回路構成パラメータの初期値を選択および設定するために用いられ得る。それらのパラメータの１つの部分セットは方法４００の後続の処理ステップにおいて変更され得る。それらのパラメータの別の部分セットは方法４００の後続の処理ステップにおいて固定されたままとどまり得る。

以下の説明は、ステップ４０２において遂行され得るいくつかの例示的な下位ステップの概要を示す。

利用可能な行動の離散セット｛Ａ｝が定義され得る。１つの例示的な実施形態では、セット｛Ａ｝は、ＤＲＡコントローラ３２０によってリソース３１０の１つまたは複数のバッファキューに課され得るエグレスレートのセットを含み得る。

状態の１つまたは複数の特徴が定義され得る。概して、特徴は、情報３１２の任意の好適な関数および／またはその導関数によって表現され得る。異なる特徴は情報３１２の異なる部分セットに対応し得る。

複数の状態Ｓが、対応する特徴を用いて定義され得る。実施形態によっては、状態Ｓは離散的であり得、明確に定められた境界をそれらの間に有する。他の実施形態によっては、状態間の段階的移行が用いられ得る。

報酬関数ＲおよびＱ値関数Ｑが定義され得る。通例、Ｒ＝Ｒ（Ｓ，Ａ）およびＱ＝Ｑ（Ｓ，Ａ）である。換言すれば、報酬およびＱ値は、状態、およびその状態において取られた行動の両方に依存する。報酬関数Ｒは制御信号３５２（図３）を用いて指定され得る。式（１）はＱ値のための例示的な再帰的更新の公式を与える：
ここで、（Ｓ，Ａ）は以前の状態－行動対であり、（Ｓ’，Ａ’）は現在の状態－行動対である。パラメータαは、ＤＲＡマッパー３４０のＬＵＴまたはＡＮＮにおいて、新たに獲得された知識がどの程度まで古い知識に取って代わるのかを決定する学習率である。例えば、学習率αを０に設定することはエージェントに何も学習させないことになり、それに対して、１の学習率αはエージェントに最新の知識のみを考慮させることになるであろう。例示的な実施形態では、学習率αはα＝０．１であることができる。パラメータγは、将来の報酬の重要度を決定する割引率である。例えば、０の割引率はエージェントに現在の報酬のみを考慮させ、それに対して、１に近い割引率はエージェントに高い長期報酬を追求させることになる。例示的な実施形態では、割引率γはγ＝０．３であることができる。

次に、回路３００は、所定量の時間にわたって、ステップ４０２の初期設定を用いて、関連回路がアイドル状態から活動状態への移行を行うこと、およびいくつかの関連測定を遂行することを可能にするように動作することを可能にされ得る。

ステップ４０４において、リソースモニタ３３０は、例えば、以上において図３を参照してすでに指示されたように、情報３１２を取得し、リソース３１０の現在の状態Ｓ’を決定する。次に、リソースモニタ３３０は、決定された状態Ｓ’を、制御信号３３２を介して、ＤＲＡマッパー３４０および学習エージェント３５０へ通信する。

ステップ４０６において、ステップ４０４の制御信号３３２に応じて、ＤＲＡマッパー３４０は行動Ａ’を選択し、この選択を、制御信号３４２を介して、リソース３１０へ通信する。制御信号３４２に応じて、リソース３１０は、選択された行動Ａ’を実施する。

ステップ４０８において、ステップ４０４の制御信号３３２に応じて、学習エージェント３５０は、例えば、ステップ４０２の報酬関数Ｒ（Ｓ，Ａ）に基づいて、方法４００の以前の処理ループのステップ４０６において取られた行動Ａに対応する報酬を決定する。次に、学習エージェント３５０は、決定された報酬を用いて、例えば、式（１）または機能的に類似したコンストラクト（ｃｏｎｓｔｒｕｃｔ：構成体）を用いて、対応するＱ値を計算する。

ステップ４１０において、学習エージェント３５０は、まず、ステップ４０６において、以前の処理ループの対応する状態Ｓのために選択されていてもよい、１つまたは複数の他の行動Ａ_a（≠Ａ）（Ａとは異なる）に対応する報酬を決定するように動作する。この決定は、全てではないが、いくつかの種類のリソース３１０のためにのみ可能である。例えば、ステップ４１０のこの特定の下位ステップは、１つまたは複数のバッファキューによって表されたリソース３１０のために確実に実行され得る。この場合にステップ４１０を実施するために用いることができる例示的な数学公式が以下に与えられている（例えば、式（５）参照）。

ステップ４１０の次の下位ステップにおいて、学習エージェント３５０は、例えば、式（１）または機能的に類似したコンストラクトを用いて、１つまたは複数の行動Ａ_aに対応するＱ値を計算するように動作する。

概して、ステップ４１０が実行可能となるには、対応するリソース３１０の振る舞いが、行動Ａの近傍において、該近傍からの１つまたは複数の行動Ａ_aに対応する報酬を確実に決定するために適した外挿方法を適用することができるよう、十分に決定的である必要がある。本明細書において、用語「近傍（ｖｉｃｉｎｉｔｙ）」は、対応するパラメータ空間内の行動ＡおよびＡ_aの間の距離が比較的小さいこと、例えば、
であることを意味する。ここで、ａ₀は定数である。実施形態によっては、利用可能な行動の全範囲が行動Ａの近傍内にあり得る。

ステップ４１２において、学習エージェント３５０は、ＤＲＡマッパー３４０の状態－行動マッピング関数を更新するための適切な制御信号３４８を発生する。例示的な実施形態では、この更新は、ステップ４０８において行動Ａのために計算されたＱ値、およびステップ４１０において１つまたは複数の行動Ａ_aのために計算されたＱ値に基づいて、従来の仕方で遂行することができる。

ステップ４１４は、ＤＲＡ制御動作モードを抜けるべきか否かを決定する役割を果たす。概して、任意の好適な基準が、ステップ４１４におけるこの決定を行うために用いられ得る。決定が、抜けるべきとなった場合には、このとき、方法４００の処理は終了され、回路３００は異なる動作モードに切り替えられ得る。さもなければ、方法４００の処理はステップ４０４へ戻される。

図４Ｂは、一実施形態に係る、ＤＲＡ制御方法４００（図４Ａ）の特定のステップの例示的な相対タイムラインを示す。この特定の実施形態では、リソース３１０は、バッファキュー５００（図５）などの、バッファキューを含む。

図４Ｂの時間軸は時間ｔ₁～時間ｔ₃（＞ｔ₁）の時間範囲を示す。Ｔ（ｋ）と標識された、図４Ｂに示される２つの時間間隔のうちの第１のものは時間ｔ₁～ｔ₂にある。ここで、ｔ₁＜ｔ₂＜ｔ₃である。Ｔ（ｋ＋１）と標識された、２つの時間間隔のうちの第２のものは時間ｔ₂～ｔ₃にある。動作持、バッファキューはイングレストラフィックフローによって埋められ、エグレストラフィックフロー（ｅｇｒｅｓｓ ｔｒａｆｆｉｃ ｆｌｏｗ）によって空にされる。図４Ｂでは、以下の表記が使用される：
Ｂ（ｋ）は、時間間隔Ｔ（ｋ）の開始時におけるバッファキュー占有（充填（ｆｉｌｌ））である、
Ｂ（ｋ＋１）は、時間間隔Ｔ（ｋ）の終了時における、または、同等に、時間間隔Ｔ（ｋ＋１）の開始時におけるバッファキュー占有である、
Ｂ（ｋ＋２）は、時間間隔Ｔ（ｋ＋１）の終了時におけるバッファキュー占有である、
Ｉ（ｋ）は、時間間隔Ｔ（ｋ）内のイングレスフローの量である、
Ｉ（ｋ＋１）は、時間間隔Ｔ（ｋ＋１）内のイングレスフローの量である、
Ｅ（ｋ）は、時間間隔Ｔ（ｋ）内のエグレスフローの量である、
Ｅ（ｋ＋１）は、時間間隔Ｔ（ｋ＋１）内のエグレスフローの量である、
Ｒ（ｋ－１）は、時間間隔Ｔ（ｋ）の間に効力のある制御パラメータである、
Ｒ（ｋ）は、時間間隔Ｔ（ｋ＋１）の間に効力のある同様の制御パラメータである。

図４Ｂの時間範囲の間におけるステップ４０４の第１のインスタンスはＢ（ｋ）（および／またはＩ（ｋ－１）、Ｅ（ｋ－１）、式（２）参照）に基づき、該インスタンスを用いて、リソース３１０が時間ｔ₁にある状態Ｓを決定する。次に、ステップ４０６の対応するインスタンスを用いて、行動Ａ＝Ｒ（ｋ－１）を選択する。ステップ４０６のこのインスタンスにおいて行われる選択は、当該選択の時間にその内部に存在するＤＲＡマッパー３４０のＬＵＴに基づく。ＬＵＴの最後の更新が、ステップ４０６のこの特定のインスタンスの時間よりも早い時間におけるものであったため、時間間隔Ｔ（ｋ）内に用いられるべき制御パラメータＲ（ｋ－１）の時間指数は、図４Ｂにおいて、（ｋ－１）であるように示されている。

図４Ｂの時間範囲の間におけるステップ４０４の第２のインスタンスはＢ（ｋ＋１）（および／またはＩ（ｋ）、Ｅ（ｋ）、式（２）参照）に基づき、リソース３１０が時間ｔ₂にある状態Ｓ’を決定するために用いられる。次に、ステップ４０８～４１２の対応するインスタンスを用いて、ＤＲＡマッパー３４０のＬＵＴを更新し得る。次に、ステップ４０６の対応する（第２の）インスタンスを用いて、行動Ａ’＝Ｒ（ｋ）を選択する。選択はＬＵＴの更新後に行われる。

当業者は、以上において指示された、ステップの時間シーケンスが、次に続く時間間隔（図４Ｂには明示的に示されていない）内で繰り返され得ることを理解するであろう。

図５は、一実施形態に係るバッファキュー５００の動作を概略的に示す。バッファキュー５００はリソース３１０の部分であることができ、方法４００（図４Ａ）の対応する実施形態を用いて発生された制御信号３４２（図３も参照）を用いて制御することができる。バッファキュー５００の以下の説明は、図３～図５を引き続き参照して与えられる。

動作時、バッファキュー５００は、未知の速度およびダイナミシティを有するイングレストラフィックフロー５０１によって埋められる。トラフィックフローは、データ単位（例えば、データパケット）５０２の形態ものであり得、そのうちの５つが例示の目的のために、図５において、バッファキュー５００内に一時的に記憶されるように示されている。バッファキュー５００はエグレストラフィックフロー５０３によって空にされる。バッファキュー５００のエグレスレートは制御信号３４２を介して制御することができる。制御信号３４２を生成するために用いられる例示的な最適化目的３５２（図３）は、バッファキュー充填（遅延に関連する）と未利用容量との間の重み付きトレードオフを最小化することであることができる。バッファキュー５００の以下の説明において使用される表記は、以上において図４Ｂを参照して説明された表記と一貫している。

以下のように、式（２）を用いてバッファキュー５００のダイナミクスを記述することができる：
ここで、Ｅ（ｋ）は式（３）によって拘束される：
リソース計測情報３１２（図３）は、例えば、Ｂ（ｋ）およびＩ（ｋ）の値を含み得る。

方法４００（図４Ａ）のステップ４０８は、例えば、式（４）を用いて実施することができる：
ここで、Ｒ（Ｓ，Ａ）は、状態Ｓおよび行動Ａに対応する報酬であり、βは、バッファキュー５００の充填と未利用容量との間の選択されたトレードオフを表す定数である。

ステップ４１０（図４Ａ）は、例えば、式（５）を用いて実施することができる：
式（５）は、行動Ａ以外の行動への式（４）の外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）と見ることができる。

方法４００（図４Ａ）のステップ４１２は、例えば、式（６）を用いて実施することができる：

方法４００の処理がステップ４１２からループして元に戻った後に、次のステップ４０４（図４Ａ参照）は、例えば、式（７）を用いて実施することができる：
ここで、Ｆ（・）は２つの引数の好適な整数値関数である（式（１０）も参照）。

次に、次の方法４００（図４Ａ）のステップ４０６は、例えば、式（８）を用いて実施することができる：
ここで、ｃは正規化定数であり、ａは、利用可能な行動のセットからの任意の行動を表す。式（８）は貪欲選択ポリシーを表すことに留意されたい。

様々な実施形態では、バッファキュー５００は、システム１００（図１）内、またはシステム２００内にあることができる。それゆえ、式（２）～式（８）によって例示される処理は、例えば、以下においてさらに示されるように、いずれかのシステムに適応させることができる。

例えば、システム２００における上り送信に適用されるＤＢＡ制御では、最適化目的３５２は、遅延（バッファキュー占有に関連する）と帯域幅効率との間の有益なトレードオフが達成され得るよう、上りトラフィックベアリングエンティティごとにリソースを割振ることであり得る。この場合には、バッファキュー５００はシステム２００内のトラフィックベアリングエンティティの上りバッファキューであることができ、エグレスレートは、上り方向に送られている実際のトラフィックに対応し、制御パラメータＲは、そのトラフィックベアリングエンティティに割振ることができる帯域幅リソースの最大量に対応する。

方法４００（図４Ａ）のステップ４０２において、以下の状態定義が用いられ得る：
Ｓ＝離散（Ｉ（ｋ），Ｌ）

当業者は、式（９）は、適用可能な範囲のイングレスレートの、Ｌ個の離散レベルへの量子化（ｑｕａｎｔｉｚａｔｉｏｎ）に依拠することを理解するであろう。次に、この状態定義を用いて、式（７）のための対応する関数Ｆを考案することができる。

図６は、システム２００において、方法４００およびバッファキュー５００のこれらの例示的な実装形態に基づいて達成することができる例示的な改善をグラフで示す。より具体的には、図６において、曲線６０２は、例示的な実施形態に係るシステム２００においてパレート方式で達成することができる平均帯域幅（ＢＷ）使用量の関数としてのバッファキュー５００の平均占有（充填）の振る舞いを示すシミュレーション結果を示す。点６０４は、従来のＤＢＡアルゴリズムによって制御されているときの同じシステム２００の性能を定量化している。矢印６０６は、方法４００の上述の実施形態は、有利に、バッファキュー５００の同じ平均充填において平均帯域幅使用量の点で上記の従来のＤＢＡアルゴリズムより性能が約１５％優れ得ることを指示する。

図７～図１０は、一実施形態に係る、方法４００が実施され得るシステム１００（図１）の異なる例示的な構成を示す。より具体的には、図７～図８は、方法４００が、システム１００内の単一のバッファキュー５００の不連続動作を最適化するために用いられている、いくつかのシナリオを示す。図９は、１つの上りバッファキュー５００および１つの下りバッファキュー５００のための送信機会の独立動的時間割当て（ｉＤＴＡ）のための方法４００の使用を示す。図１０は、複数の上りおよび下りキュー５００のための送信機会の調整動的時間割当て（ｃＤＴＡ）のための方法４００の使用を示す。

図７Ａ～図７Ｃに対応するシステム設定の下で、エグレスフロー５０３は、データ送信のために割振ることができる１つのＴＤＤフレーム当たりのタイムスロットの数に関連する。タイムスロットの上記数は、最小数（ＭＩＮ）～最大数（ＭＡＸ）から選択される任意の値に設定することができる。図７Ａ～図７Ｃの各々は、（ｉ）バッファキューの異なる対応する占有Ｂ（ｋ）（図５も参照）、および（ｉｉ）割振られたタイムスロットの異なるそれぞれの数によって特徴付けられる異なるそれぞれの時点を示す。

より具体的には、図７Ａは、バッファキュー５００が中程度の量のデータ単位５０２を有し、方法４００がＤＲＡコントローラ３２０に中間の（ＭＩＮとＭＡＸとの間の）数のタイムスロットをバッファキューに割振らせる状況を示す。図７Ｂは、バッファキュー５００が空であり、方法４００がＤＲＡコントローラ３２０に最小数（ＭＩＮ）のタイムスロットをバッファキューに割振らせる状況を示す。図７Ｃは、バッファキュー５００が比較的多量のデータ単位５０２を有し、方法４００がＤＲＡコントローラ３２０に最大数（ＭＡＸ）のタイムスロットをバッファキューに割振らせる状況を示す。この種の振る舞いを達成するために、最適化目的３５２は、割振られるタイムスロットの数を最小化するよう試みつつ、バッファキュー５００の占有Ｂ（ｋ）を比較的低く保つように定式化される。この特定の最適化目的３５２は、対応する送信器の遅延性能（Ｂ（ｋ）に関連する）と電力消費（割振られるタイムスロットの数に関連する）との間のトレードオフを実施する。

図８Ａ～図８Ｃに対応するシステム設定は、フィードバック機構が、今度は、データを充填されたＴＤＤフレームごとの実際のエグレス量（ｅｇｒｅｓｓ ｖｏｌｕｍｅ：エグレス（出力）ボリューム）またはタイムスロットの実際の数に対応することを除いて、図７Ａ～図７Ｃに対応するシステム設定と同様である。関連文献によっては、このシステム構成は非ステータスレポート（ｎｏｎ－ｓｔａｔｕｓ ｒｅｐｏｒｔ）またはトラフィック監視モードと称されることがある。このモードでは、第１の時間において、ＤＲＡコントローラ３２０は第１の数のタイムスロットを来たるべき時間間隔の間における送信のために割振る。その時間間隔の間に、データを充填された実際の数のタイムスロットが計数され、例えば、信号３１２を介して、ＤＲＡコントローラ３２０へ折り返し報告される。レポートに応じて、ＤＲＡコントローラ３２０は、方法４００の実施形態を用いて次の来たるべき時間間隔のための第２の数のタイムスロットを決定するように動作する。ここでは、ペイロードデータを積載されないタイムスロットはアイドルデータを積載され得ることに留意されたい。アイドルデータの送信は、通例、有意の省電力をもたらさない。したがって、最適化目的３５２は、バッファキュー５００内のデータ単位５０２のバックログを比較的低いレベルに保つことを依然として目指しつつ、アイドルデータの送信を最小化するように定式化することができる。

図９は、単一のツイストペアまたは同軸ケーブル１４０を通じて実施されるデータリンクを示す。バッファキュー５００₁が下り送信のために用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₁および５０３₁と標識されている。バッファキュー５００₂が上り送信のために同様に用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₂および５０３₂と標識されている。本明細書において、ＴＤＤフレームは、例えば、図９に指示されるように、下り送信のために用いることができるＤＭＴシンボル位置のセット、および上り送信のために用いることができるＤＭＴシンボル位置のセットを有する。下りおよび上りＤＭＴシンボル位置の合計は一定である（例えば、特定のＧ．ｆａｓｔプロファイルについては、３５個のＤＭＴシンボル位置）。パラメータＭ₁は、ＴＤＤフレーム内の下り送信のために割振られたＤＭＴシンボル位置の数を表す。下りおよび上りＤＭＴシンボル位置の合計は一定であるため、このパラメータは、上り送信のために割振られたＤＭＴシンボル位置の数も制御する。Ｍ₁の値は、ＤＲＡコントローラ３２０によって、バッファキュー５００₁および５００₂の充填に基づいて、または好適なトラフィック監視情報に基づいて動的に変更され得る。Ｍ₁の値が変化することができる範囲は、どちらも図９に指示されている、数ＭＩＮ₁～数ＭＡＸ₁である。

図１０は、２本のツイストペアまたは同軸ケーブル１４０を通じて実施されるデータリンクを示す。バッファキュー５００₁が、２本のケーブルのうちの第１のものを通じた下り送信のために用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₁および５０３₁と標識されている。バッファキュー５００₃が、２本のケーブルのうちの第２のものを通じた下り送信のために同様に用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₃および５０３₃と標識されている。バッファキュー５００₂が、２本のケーブルのうちの第１のものを通じた上り送信のために用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₂および５０３₂と標識されている。バッファキュー５００₄が、２本のケーブルのうちの第２のものを通じた上り送信のために同様に用いられ、対応するイングレスおよびエグレスフローが、それぞれ、５０１₄および５０３₄と標識されている。本明細書では、上りおよび下り信号の間の近端クロストーク干渉を回避するために、Ｍ₁、ＭＩＮ₁、およびＭＡＸ₁の同じ値が両方の伝送回線のＴＤＤフレームに適用されている。３本以上のツイストペアまたは同軸ケーブル１４０を通じて実施されるデータリンクへの図示の構成の拡張は極めて簡単である。

図９～図１０に示されるシステムに対応する例示的な実施形態において、方法４００のステップ４０２は、上りおよび下りキューのキュー充填および／またはエグレスレートが状態空間変数として用いられるように実施され得る。この場合には、式（７）は、例えば、以下の形を取り得る：

ここで、Ｍ_FはＴＤＤフレーム内のタイムスロットの総数であり、Ｅ^U _n（ｋ）は、上り方向におけるｎ番目のユーザのためのｋ番目の時間間隔内のエグレスレートであり、Ｅ^D _n（ｋ）は、下り方向におけるｎ番目のユーザのためのｋ番目の時間間隔内のエグレスレートである。最適化目的３５２は、例えば、アイドルタイムスロットの数を経時的に最小化するように定式化することができる。

図１１は、図１０に示される構成で方法４００を用いてｃＤＴＡモードで動作するシステム１００において達成することができる例示的な改善を示す。図１１に示される表の第１列は、３つの異なる制御アルゴリズムが比較される更新周期（ｕｐｄａｔｅ ｐｅｒｉｏｄ：更新期間）の異なる値を与える。第２列は、Ｍ₁の値がＭ₁＝１８に固定されているアルゴリズムの推定性能特性を提示する。第２列は、全体が本明細書において参照により組み込まれる、欧州特許出願公開第３１８２６３６号において開示されているＤＲＡアルゴリズムの推定性能特性を提示する。第３列は、方法４００の一実施形態を用いて実施されたＤＲＡアルゴリズムの推定性能特性を提示する。性能特性は、下りおよび上りエグレスレートが、それぞれ、最大平均下りエグレスレートおよび最大平均上りエグレスレートに比例して制御可能に割振られる、「最適な比例する（対応する）公正な割り当て（ｏｐｔｉｍａｌ ｐｒｏｐｏｒｔｉｏｎａｌ ｆａｉｒ ａｌｌｏｃａｔｉｏｎ）」からのずれ（ｄｅｖｉａｔｉｏｎ）を用いて定量化される。より良好な性能は図示のメトリックのより小さい絶対値に対応する。例えば、方法４００の例示的な実施形態は、３０ミリ秒の更新周期に対して、従来技術のｃＤＴＡアルゴリズムより性能が約３０％優れ得ることが分かる。この改善は、有利に、例えば、対応するＤＳＬシステムにおける改善されたＱｏＳとなって表れることができる。

図１２は、いくつかの代替的な実施形態が実施され得る無線通信システム１２００のブロック図を示す。システム１２００は、モバイル端末１２１０、複数のモバイル端末１２２０₁～１２２０_N、およびネットワークコア１２５０に動作するように接続された基地局１２３０を含む。例示的な実施形態では、基地局１２３０は、発展型Ｎｏｄｅ Ｂ（ｅＮＢ：ｅｖｏｌｖｅｄ Ｎｏｄｅ Ｂ）または次世代Ｎｏｄｅ Ｂ（ｇＮＢ）のインスタンスであることができる。無線ネットワークの異なる世代（例えば、３Ｇ、４Ｇ、および／または５Ｇ、またはさらに、６Ｇなどの、５Ｇの将来の発展）の文脈では、モバイル端末１２１０および１２２０₁～１２２０_Nのうちの任意のものなどの、モバイル端末はユーザ機器（ＵＥ：ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ）と称されることがあり、ネットワークコア１２５０は発展型パケットコア（ＥＰＣ：ｅｖｏｌｖｅｄ ｐａｃｋｅｔ ｃｏｒｅ）と称されることがある。基地局１２３０は、関連技術分野において知られているとおりの、基地局１２３０およびネットワークコア１２５０に動作するように接続された追加の基地局（図１２には明示的に示されていない）を有する拡張ＵＭＴＳ地上アクセスネットワーク（Ｅ－ＵＴＲＡＮ：ｅｖｏｌｖｅｄ ＵＭＴＳ ｔｅｒｒｅｓｔｒｉａｌ ｒａｄｉｏ ａｃｃｅｓｓ ｎｅｔｗｏｒｋ）の部分であるか、または５Ｇ、６Ｇ、もしくは無線ネットワークの将来の発展の部分を形成し得る。本明細書において、用語ＵＭＴＳはＵｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ユニバーサル移動体通信システム）を表す。

例示的な実施形態では、モバイル端末１２１０は、少なくとも１つのメモリ１２０８に結合されており、モバイル端末が基地局１２３０との無線リンク１２１８を確立し、維持することを可能にする仕方で１つまたは複数のアンテナ１２１６に接続された無線周波数（ＲＦ：ｒａｄｉｏ－ｆｒｅｑｕｅｎｃｙ）トランシーバ１２１４にインターフェースで連結された、少なくとも１つのＤＳＰ１２１２を含む。動作時、無線リンク１２１８は、モバイル端末１２１０が、例えば、電話通話またはデータセッションをサポートし、伝える（ｃａｒｒｙ）ために、アップリンク信号を基地局１２３０へ送り、ダウンリンク信号を基地局から受信することを可能にする。モバイル端末１２２０₁～１２２０_Nの各々はモバイル端末１２１０と、機能的に、および／または構造的に同様であることができる。実施形態によっては、モバイル端末１２２０₁～１２２０_Nは存在しなくてもよい。様々な実施形態では、モバイル端末１２１０は、セルラー電話、スマートフォン、ハンドヘルドコンピュータ、パーソナルメディアデバイス、スマートウォッチ、ＩｏＴデバイス、ゲーミングデバイス、スマートカー等であることができる。

例示的な実施形態では、基地局１２３０は、少なくとも１つのメモリ１２２８に結合されており、基地局がモバイル端末１２２０₁～１２２０_Nとの無線リンク１２１８および／または１つまたは複数の他の無線リンク（図１２には明示的に示されていない）を確立し、サポートすることを可能にする仕方で複数のアンテナ１２３６₁～１２３６_Mに接続されたＲＦトランシーバ１２３４にインターフェースで連結された少なくとも１つのＤＳＰ１２３２を含む。例えば、基地局１２３０は、モバイル端末１２１０が、まず、基地局によって支配されたセルを、サービングセルになるよう選択し、次に、無線リンク１２１８を確立することを可能にするデータを一斉通信し得る。

例示的な実施形態では、ＤＳＰ１２１２および１２３２ならびにメモリ１２０８および１２２８のうちの一部または全てを、図３～図５を参照して説明される少なくともいくつかの実施形態を実施するために用いることができる。

例えば、実施形態によっては、システム１２００は、全体が本明細書において参照により組み込まれる、ＩＥＥＥ標準８０２．１１－２０１６に従って動作し得る。この標準は、ＱｏＳデータフレーム、バッファされたトラフィックキュー（ｂｕｆｆｅｒｅｄ－ｔｒａｆｆｉｃ ｑｕｅｕｅ）、および送信機会の使用を指定する。それゆえ、システム１２００は、（１つまたは複数のトラフィッククラスに関連付けられ得る）バッファキューを有し、キューサイズ情報を適切なコントローラ／スケジューラへ通信し、方法４００の一実施形態を用いて送信機会（および／または他のリソース）を対応する無線局１２１０、１２２０、および／または１２３０に割り当て得る。

以上において、例えば、概要セクションにおいて、および／または図１～図１２のうちの１つ、またはそれらのうちの一部または全ての任意の組み合わせを参照して開示された例示的な実施形態によれば、少なくとも１つのプロセッサ（例えば、１１４、１１８、図１；２０２、２１８、図２；１２１２、１２３２、図１２）と、プログラムコードを含む少なくとも１つのメモリ（例えば、１１６、図１；２０１、図２；１２０８、１２２８、図１２）と、を備える装置であって、少なくとも１つのメモリおよびプログラムコードが、少なくとも１つのプロセッサを用いて、装置に、少なくとも、第１のバッファキュー（例えば、５００、図５、図７～図８；５００₁、図９～図１０）のエグレスレート（例えば、Ｅ（ｋ＋１）、図４Ｂ）を、クオリティ値（例えば、Ｑ値、式（１））に、および現在の時間間隔（例えば、Ｔ（ｋ）、図４Ｂ）内の第１のバッファキューの占有（例えば、Ｂ（ｋ）および／またはＢ（ｋ＋１）、図４Ｂ）に基づいて、次の時間間隔（例えば、Ｔ（ｋ＋１）、図４Ｂ）のための第１のバッファキューのエグレスレート制御パラメータ値（例えば、Ｒ（ｋ）、図４Ｂ）を選択することによって、調節することと、現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を（例えば、式（６）に従って）更新することと、を行わせるように構成されている、装置が提供される。

本明細書において使用するとき、用語「エグレスレート制御パラメータ値」は、エグレスレート値、および適用可能なエグレスレート値に対する限度（例えば、上限Ｒ（ｋ））のうちの一方または両方を包含すると解釈されるべきである。

本明細書において使用するとき、用語「占有（ｏｃｃｕｐａｎｃｙ）」は、バッファキューの充填（例えば、メトリックＢ（ｋ）、Ｂ（ｋ＋１）および／またはそれらの組み合わせ）、１つもしくは複数の他のバッファキュー充填メトリック（例えば、イングレスレート、イングレス量、エグレスレート、エグレス量、およびそれらの異なる組み合わせ）、ならびに／または例えば、ステータスレポートにおいて見いだされ得るとおりの、関連トラフィック監視データを包含すると解釈されるべきである。

上述の装置のいくつかの実施形態では、装置は、現在の、および／または以前の時間間隔内の第１のバッファキューの占有（例えば、Ｂ（ｋ）および／またはＢ（ｋ＋１）、図４Ｂ）に基づいて現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を更新するように構成された電子マッパー（ｅｌｅｃｔｒｏｎｉｃ ｍａｐｐｅｒ）（例えば、３４０、図３）を備える。

上述の装置のうちの任意のものの実施形態によっては、装置は、現在の時間間隔内で選択されたエグレスレート制御パラメータ値に対応するクオリティ値からの外挿を用いて複数のクオリティ値を更新するように構成されている。

上述の装置のうちの任意のものの実施形態によっては、プログラムコードは強化学習プログラムを含む。

上述の装置のうちの任意のものの実施形態によっては、強化学習プログラムは探索段階をサポートしない。

上述の装置のうちの任意のものの実施形態によっては、少なくとも１つのメモリおよびプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、電子マッパーを用いて少なくとも第２のバッファキュー（例えば、５００₂、図９～図１０）のエグレスレートを調節させるようにさらに構成されている。

上述の装置のうちの任意のものの実施形態によっては、第１のバッファキューは下り送信のためのものであり、第２のバッファキューは上り送信のためのものである。

上述の装置のうちの任意のものの実施形態によっては、第１のバッファキューおよび第２のバッファキューの両方は下り送信のためのものであるか、または上り送信のためのものである。

上述の装置のうちの任意のものの実施形態によっては、電子マッパーは、（例えば、式（８）によって表される）貪欲選択ポリシーを用いて次の時間間隔のための第１のバッファキューのエグレスレートを選択するように構成されている。本明細書において使用するとき、用語「貪欲選択ポリシー」は、ε貪欲ポリシー、またはいくらかの０でない確率をもって最適以下の、もしくはランダムな行動が取られ得る他の選択ポリシーを除外する。

上述の装置のうちの任意のものの実施形態によっては、電子マッパーは、次の時間間隔のための第１のバッファキューのエグレスレートのランダムな選択を行わないように構成されている。

上述の装置のうちの任意のものの実施形態によっては、装置は、データを第１のバッファキューから、加入者線（例えば、１４０₁、図１）を通じて、顧客構内設備ユニット（例えば、１４０₁、図１）へ送信するためのアクセスノード（例えば、１１０、図１）を備える。

上述の装置のうちの任意のものの実施形態によっては、装置は、データを第１のバッファキューから、加入者線（例えば、１４０₁、図１）を通じて、アクセスノード（例えば、１１０、図１）へ送信するための顧客構内設備ユニット（例えば、１４０₁、図１）を備える。

上述の装置のうちの任意のものの実施形態によっては、装置は、データを第１のバッファキューから、光ファイバー（例えば、２２４、図２）を通じて、光ネットワークユニット（例えば、２６０₁、図２）へ送信するための光回線終端装置（例えば、２１０、図２）を備える。

上述の装置のうちの任意のものの実施形態によっては、装置は、データを第１のバッファキューから、光ファイバー（例えば、２２４、図２）を通じて、光回線終端装置（例えば、２１０、図２）へ送信するための光ネットワークユニット（例えば、２６０₁、図２）を備える。

上述の装置のうちの任意のものの実施形態によっては、エグレスレートは第１のバッファキューのための帯域幅割り当てを決定する。

上述の装置のうちの任意のものの実施形態によっては、エグレスレートは時分割二重化フレームにおいて第１のバッファキューのための送信機会の割り当てを決定する。

上述の装置のうちの任意のものの実施形態によっては、エグレスレートは時分割多重化を用いて第１のバッファキューのための送信機会の割り当てを決定する。

上述の装置のうちの任意のものの実施形態によっては、装置は、少なくとも１つのプロセッサおよび少なくとも１つのメモリに動作するように接続された無線通信システム（例えば、１２００、図１２）の基地局（例えば、１２３０、図１２）を備える。

以上において、例えば、概要セクションにおいて、および／または図１～図１２のうちの任意の１つ、もしくはそれらのうちの一部もしくは全ての任意の組み合わせを参照して開示された別の例示的な実施形態によれば、プログラムコードが上に符号化された非一時的機械可読媒体であって、プログラムコードが機械によって実行されたときに、機械が、第１のバッファキュー（例えば、５００、図５、図７～図８；５００₁、図９～図１０）のエグレスレート（例えば、Ｅ（ｋ＋１）、図４Ｂ）を、クオリティ値（例えば、Ｑ値、式（１））に、および現在の時間間隔（例えば、Ｔ（ｋ）、図４Ｂ）内の第１のバッファキューの占有（例えば、Ｂ（ｋ）および／またはＢ（ｋ＋１）、図４Ｂ）に基づいて、次の時間間隔（例えば、Ｔ（ｋ＋１）、図４Ｂ）のための第１のバッファキューのエグレスレート制御パラメータ値（例えば、Ｒ（ｋ）、図４Ｂ）を選択することによって、（例えば、４０６、図４Ａにおいて）調節するステップと、現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を（例えば、４１２、図４Ａにおいて、式（６）に従って）更新するステップと、を含む方法を実施する、非一時的機械可読媒体が提供される。

上述の非一時的機械可読媒体の実施形態によっては、更新するステップは、現在の時間間隔内の第１のバッファキューの占有（例えば、Ｂ（ｋ）および／またはＢ（ｋ＋１）、図４Ｂ）に基づいて現在の時間間隔内の第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数のクオリティ値を更新するように構成された電子マッパー（例えば、３４０、図３）を用いることを含む。

本開示は例示的な実施形態への参照を含むが、本明細書は、限定的な意味で解釈されることを意図されていない。本開示が関連する当業者に明らかである、上述の実施形態、および本開示の範囲内の他の実施形態の様々な変更は、例えば、添付の請求項において表明されるとおりの、本開示の原理および範囲に含まれると考えられる。

別途明示的に断りのない限り、各数値および範囲は、あたかも、単語「約（ａｂｏｕｔ）」または「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」が値または範囲の前に置かれているかのように、おおよそのものであると解釈されるべきである。

本開示の本質を説明するために説明され、図示された部分の細部、材料、および配置の様々な変更が、当業者によって、例えば、添付の請求項において表明されるとおりの、本開示の範囲から逸脱することなく行われ得ることがさらに理解されるであろう。

請求項における図の番号および／または図の参照符号の使用は、請求項の解釈を促進するために、クレームされている主題の１つまたは複数の可能な実施形態を識別することを意図されている。このような使用は、それらの請求項の範囲を、対応する図に示される実施形態に必然的に限定するものと解釈されるべきでない。

添付の方法クレームにおける要素は、存在する場合、特定の順序で、対応するラベル付けと共に記述されているが、クレームの記述がそれらの要素のうちの一部または全てを実施するための特定の順序を別途示唆していない限り、それらの要素は、必ずしも、その特定の順序で実施されるよう限定されることを意図されるわけではない。

本明細書における「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、実施形態に関して説明された特定の特徴、構造、または特性が本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書中の様々な箇所における表現「一実施形態において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」の出現は必ずしも全てが同じ実施形態に言及しているわけではなく、別個の、または代替的な実施形態は必ずしも他の実施形態を相互排除するわけでもない。同じことが用語「実装形態（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」にも言える。

本明細書において別途記載のない限り、複数の同様の対象物のうちの対象物に言及するための、順序を示す形容詞「第１」、「第２」、「第３」等の使用は、単に、そのような同様の対象物の異なる事例が言及されていることを指示するにすぎず、そのように言及された同様の対象物が、時間的に、空間的に、格付けにおいて、または任意の他の様態において、対応する順序または順番になっていなければならないことを暗示することを意図されていない。

本明細書において別途記載のない限り、その明白な意味に加えて、接続詞「ｉｆ（～の場合には）」は、さらに、または代替的に、「ｗｈｅｎ（～ときには）」、または「ｕｐｏｎ（～と）」、または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と決定したことに応じて）」、または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味すると解釈され得、その解釈は、対応する特定の文脈に依存し得る。例えば、表現「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と決定された場合には）」、または「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ］ ｉｓ ｄｅｔｅｃｔｅｄ（［規定された条件］が検出された場合には）」は、「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と決定すると）」、または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と決定したことに応じて）」、または「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［規定された条件または事象］を検出すると）」、または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［規定された条件または事象］を検出したことに応じて）」を意味すると解釈され得る。

また、本説明の目的のために、用語「結合する（ｃｏｕｐｌｅ）」、「結合する（ｃｏｕｐｌｉｎｇ）」、「結合される（ｃｏｕｐｌｅｄ）」、「接続する（ｃｏｎｎｅｃｔ）」、「接続する（ｃｏｎｎｅｃｔｉｎｇ）」、または「接続される（ｃｏｎｎｅｃｔｅｄ）」は、エネルギーが２つ以上の要素の間で伝達されることを可能にされ、必須ではないが、１つまたは複数の追加の要素の介在が企図される、当技術分野において知られた、または今後開発される任意の様式に言及する。逆に、用語「直接結合される（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」等は、そのような追加の要素の不存在を暗示する。

本明細書において、要素および標準を参照して使用するとき、用語「適合した（ｃｏｍｐａｔｉｂｌｅ）」は、要素が、標準によって完全に、または部分的に指定された様式で他の要素と通信し、他の要素によって、標準によって指定された様式で他の要素と通信する能力を十分に有すると認識されるであろうことを意味する。適合した要素は、標準によって指定された様式で内部で動作する必要はない。

記載されている実施形態は、全ての点において、例示としてのみ考慮されるべきであり、限定として考慮されるべきではない。特に、本開示の範囲は、本明細書における説明および図でなく、添付の請求項によって指示される。請求項の均等の意味および範囲内に含まれる全ての変更はそれらの範囲に包含されるべきである。

当業者であれば、様々な上述の方法のステップは、プログラムされたコンピュータによって遂行され得ることを容易に認識するであろう。本明細書において、いくつかの実施形態は、機械またはコンピュータ可読であり、本明細書において説明される方法のステップのうちの一部または全てを遂行する命令の機械実行可能またはコンピュータ実行可能プログラムをエンコードする、プログラム記憶デバイス、例えば、デジタルデータ記憶媒体を包括することを意図される。プログラム記憶デバイスは、例えば、デジタルメモリ、磁気ディスクもしくはテープなどの磁気記憶媒体、ハードドライブ、または光学的に読み取り可能なデジタルデータ記憶媒体であり得る。実施形態はまた、本明細書において説明された方法の上記のステップを遂行するようにプログラムされたコンピュータを包括することも意図される。

「プロセッサ」および／または「コントローラ」と標識された任意の機能ブロックを含む、図に示される様々な要素の機能は、専用ハードウェア、および適切なソフトウェアと連携してソフトウェアを実行する能力を有するハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合には、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または一部が共有され得る、複数の個々のプロセッサによって提供され得る。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に指すと解釈されるべきでなく、限定するものではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ソフトウェアを記憶するためのリードオンリーメモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性ストレージを暗黙的に含み得る。従来の、および／または特注の、他のハードウェアも含まれ得る。同様に、図に示される任意のスイッチは単に概念的なものにすぎない。それらの機能は、プログラム論理の動作を通じて、専用論理を通じて、プログラム制御および専用論理の相互作用を通じて、またはさらに手動で実施され得、特定の技法は、文脈からより具体的に理解されるようにインプリメンタによって選択可能である。

本出願において使用するとき、用語「回路（ｃｉｒｃｕｉｔｒｙ）」は以下のもののうちの１つまたは複数または全てを指し得る：（ａ）ハードウェアのみの回路の実装形態（アナログおよび／またはデジタル回路（ｃｉｒｃｕｉｔｒｙ）のみの形の実装形態など）、（ｂ）ハードウェア回路およびソフトウェアの組み合わせ、例えば，次のようなもの（適用可能な場合）：（ｉ）アナログおよび／またはデジタルハードウェア回路とソフトウェア／ファームウェアとの組み合わせ、および（ｉｉ）携帯電話またはサーバなどの装置に様々な機能を遂行させるよう協働する、ソフトウェアを伴うハードウェアプロセッサの任意の部分（デジタル信号プロセッサを含む）、ソフトウェア、およびメモリ）、ならびに（ｃ）ソフトウェア（例えば、ファームウェア）を動作のために必要とする、マイクロプロセッサ、またはマイクロプロセッサの部分などの、ハードウェア回路およびまたはプロセッサ、ただし、ソフトウェアは、それが動作のために必要とされないときには、存在しなくてもよい。」回路（ｃｉｒｃｕｉｔｒｙ）のこの定義は、任意の請求項を含む、本出願におけるこの用語の全ての使用に当てはまる。さらなる例として、本出願において使用するとき、用語、回路（ｃｉｒｃｕｉｔｒｙ）はまた、ハードウェア回路もしくはプロセッサ（または複数のプロセッサ）のみ、またはハードウェア回路もしくはプロセッサの部分、ならびにその（またはそれらの）付随するソフトウェアおよび／またはファームウェアの実装形態も包括する。用語、回路（ｃｉｒｃｕｉｔｒｙ）はまた、例えば、および特定のクレーム要素に適用可能な場合には、モバイルデバイスのためのベースバンド集積回路またはプロセッサ集積回路、あるいはサーバ、セルラーネットワークデバイス、または他のコンピューティングもしくはネットワークデバイス内の同様の集積回路も包括する。

当業者には、本明細書における任意のブロック図は、本開示の原理を取り入れた例示的回路（ｃｉｒｃｕｉｔｒｙ）の概念図を表すことを理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コード、および同様のものは、コンピュータ可読媒体内で実質的に表現され、それにより、コンピュータまたはプロセッサによって実行され得る様々なプロセスを表すことを理解されたい。これは、このようなコンピュータまたはプロセッサが明示されているかどうかにかかわりない。

本明細書における「発明の概要」は、いくつかの例示的な実施形態を紹介することを意図されており、追加の実施形態が、「発明を実施するための形態」において、および／または１つまたは複数の図面を参照して説明される。「発明の概要」は、クレームされている主題の本質的な要素または特徴を識別することを意図されておらず、また、それは、クレームされている主題の範囲を限定することも意図されていない。

１００ 通信システム
１１０ 分配点ユニット
１１４、１５４₁、１５４_N、２０２、２６８₁、２６８_N、１２１２、１２３２ デジタル信号プロセッサ
１１６、１５６₁、１５６_N、２０１、２７２₁、２７２_N、１２０８、１２２８ メモリ
１１８、２１８ 電子コントローラ
１２０_i、１６０_i 送信器
１３０_i、１７０_i 受信器
１３８₁、１３８_N、１４２₁、１４２_N 入力／出力ポート
１４０₁、１４０_N 加入者線
１５０₁、１５０_N 顧客構内設備ユニット
２００ 受動光ネットワークシステム
２１０ 光回線終端装置
２１１、２１３ 制御信号
２１２、２６４_i 光送信器
２１４、２６６_i 光受信器
２２０、２６２、２６２_i 光サーキュレータ
２２４ 光ファイバー
２２８、２３２₁、２３２_N ポート
２３０ 受動ルータ
２６０₁、２６０_N 光ネットワークユニット
３００ 回路
３１０ ＤＲＡ制御可能リソース
３１２ リソース計測情報
３２０ ＤＲＡコントローラ
３３０ リソースモニタ
３３２、３４２、３４８ 制御信号
３４０ ＤＲＡマッパー
３５０ 学習エージェント
３５２ 最適化目的
４００ 方法
５００、５００₁、５００₂、５００₃、５００₄ バッファキュー
５０１ イングレストラフィックフロー
５０１₁、５０１₂、５０１₃、５０１₄ イングレスフロー
５０２ データ単位
５０３ エグレストラフィックフロー
５０３₁、５０３₂、５０３₃、５０３₄ エグレスフロー
１２００ 無線通信システム
１２１０、１２２０₁、１２２０_N、１２２０₁、１２２０_N モバイル端末
１２１４、１２３４ 無線周波数トランシーバ
１２１６、１２３６₁、１２３６_M アンテナ
１２１８ 無線リンク
１２３０ 基地局
１２５０ ネットワークコア

Claims (14)

1. 少なくとも１つのプロセッサと、
   プログラムコードを含む少なくとも１つのメモリと、
   を備える装置であって、
   前記少なくとも１つのメモリと前記プログラムコードとが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
   第１のバッファキューのエグレスレートを、クオリティ値に、および現在の時間間隔内の前記第１のバッファキューの占有に基づいて、次の時間間隔のための前記第１のバッファキューのエグレスレート制御パラメータ値を選択することによって、調節することであって、前記クオリティ値は特定の状態における特定のエグレスレート制御パラメータ値に対する報酬を定量化することと、
   前記現在の時間間隔内の前記第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数の前記クオリティ値を更新することと、
   を行わせるように構成されている、装置。
2. 前記装置が、前記現在の時間間隔内の前記第１のバッファキューの前記占有に基づいて前記現在の時間間隔内の前記第１のバッファキューの前記複数のエグレスレート制御パラメータ値に対応する前記複数の前記クオリティ値を更新するように構成された学習エージェントを備える、請求項１に記載の装置。
3. 前記少なくとも１つのメモリと前記プログラムコードとが、前記少なくとも１つのプロセッサを用いて、前記装置に、以前の時間間隔内において選択された前記エグレスレート制御パラメータ値に対応するクオリティ値からの外挿を用いて前記複数の前記クオリティ値を更新させるように構成されている、請求項１に記載の装置。
4. 前記プログラムコードが強化学習プログラムを含む、請求項１に記載の装置。
5. 前記強化学習プログラムが探索段階をサポートせず、すでに取られた行動の外挿に依拠する、請求項４に記載の装置（３００）。
6. 前記少なくとも１つのメモリと前記プログラムコードとが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも第２のバッファキューのエグレスレートを調節させるようにさらに構成されている、請求項１に記載の装置。
7. 前記第１のバッファキューが下り（ダウンストリーム）送信のためのものであり、
   前記第２のバッファキューが上り（アップストリーム）送信のためのものである、請求項６に記載の装置。
8. 前記第１のバッファキューと前記第２のバッファキューとの両方が下り（ダウンストリーム）送信のためのものであるか、または上り（アップストリーム）送信のためのものである、請求項６に記載の装置。
9. 前記少なくとも１つのメモリと前記プログラムコードとが、前記少なくとも１つのプロセッサを用いて、前記装置に、貪欲選択ポリシーを用いて前記次の時間間隔のための前記第１のバッファキューの前記エグレスレート制御パラメータ値を選択させるようにさらに構成されている、請求項１に記載の装置。
10. 前記少なくとも１つのメモリ（１１６、２０１）と前記プログラムコードとが、前記少なくとも１つのプロセッサ（１１８、２１８、３２０）を用いて、前記装置に、前記次の時間間隔のための前記第１のバッファキュー（５００）の前記エグレスレート制御パラメータ値のランダムな選択を行わせないようにさらに構成されている、請求項１に記載の装置（３００）。
11. 請求項１～１０のいずれかに記載の装置を備えるアクセスノードであって、データを前記第１のバッファキューから、データリンクを通じて、顧客構内設備ユニットへ送信するようさらに構成されている、アクセスノード。
12. 請求項１～１０のいずれかに記載の装置を備える顧客構内設備であって、データを前記第１のバッファキューから、データリンクを通じて、アクセスノードへ送信するようさらに構成されている、顧客構内設備。
13. 非一時的機械可読媒体上にて符号化されたプログラムコードを有する前記非一時的機械可読媒体であって、前記プログラムコードが機械によって実行されたときに、前記機械が、
    第１のバッファキューのエグレスレートを、クオリティ値に、および現在の時間間隔内の前記第１のバッファキューの占有に基づいて、次の時間間隔のための前記第１のバッファキューのエグレスレート制御パラメータ値を選択することによって、調節することであって、前記クオリティ値は特定の状態における特定のエグレスレート制御パラメータ値に対する報酬を定量化することと、
    前記現在の時間間隔内の前記第１のバッファキューの複数のエグレスレート制御パラメータ値に対応する複数の前記クオリティ値を更新することと、
    を含む方法を実行する、非一時的機械可読媒体。
14. 前記現在の時間間隔内の前記第１のバッファキューの前記複数のエグレスレート制御パラメータ値に対応する前記複数の前記クオリティ値を更新することが、前記現在の時間間隔内の前記第１のバッファキューの前記占有に基づく、請求項１３に記載の非一時的機械可読媒体。

Images