JP6645931B2

JP6645931B2 - ＱｏＳ制御システム及び方法

Info

Publication number: JP6645931B2
Application number: JP2016157565A
Authority: JP
Inventors: 琢也東條; 松本　実; 実松本; 直樹高谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-08-10
Filing date: 2016-08-10
Publication date: 2020-02-14
Anticipated expiration: 2036-08-10
Also published as: JP2018026711A

Description

本発明は、移動網におけるＱｏＳ制御技術に関する。

ＩｏＴ（Internet of Things）の発展に伴い、人間の皮膚感覚や反応などをネットワークを介して伝えるTactile Internetという概念が提唱されている。このTactile Internetでは、ミリ秒オーダーの低遅延性が求められており、このような厳しい遅延要件のネットワークを実現するためには、ネットワークのアーキテクチャも含めた見直しが必要となる。

低遅延通信を実現するネットワークアーキテクチャとして、Mobile Edge Computingという手法が提案されている。Mobile Edge Computingは、サーバやアプリケーションを端末近傍のデータセンタ等に配備し、サーバと端末間の通信遅延を短縮化することを一つの目的としており、ＥＴＳＩＩＳＧＭＥＣにてMobile Edge Computingを実現するためのフレームワークが提案されている（非特許文献１参照）。

Mobile Edge Computingの具体的な実装技術としては、非特許文献２に示すように、３ＧＰＰにて規定されているｅＮＢ（evolved Node B）とＥＰＣ（Evolved Packet Core）を接続するＳ１インタフェース区間において、Ｓ１ベアラに対するパケットの送受信機能を追加することで、端末近傍のデータセンタに配備したサーバやアプリケーションがＳ１インタフェースを介して端末と通信することを可能にしている。

"Mobile-Edge Computing - Introductory Technical White Paper", ETSI ISG MEC, 2014 "Intel NEV SDK Product Brief", Intel White Paper, [online], [平成28年7月14日検索], インターネット<URL:https://networkbuilders.intel.com/docs/Intel_Wireless_Product_Brief_for_IDF_v8.pdf>

非特許文献２に示す手法にて、Mobile Edge Computingを実現した場合、端末近傍のデータセンタと通信を行い、通信に係る物理的な伝搬遅延を短縮化することができる。しかし、通信遅延を増加させる要因には伝搬遅延以外に輻輳によるキューイング遅延があり、モバイル網においては無線区間の電波帯域が限られているため、無線区間にて輻輳起因の遅延増加が発生しやすい。

低遅延通信を実現するためには、遅延条件の緩いベストエフォート型フローと遅延条件の厳しい優先型フローを区別し、無線区間の輻輳発生時においても優先型フローを滞留させない制御が必要である。

このような制御を実現する手段として、ＱｏＳ（Quality of Service）制御技術があり、ｅＮＢやMobile Edge ComputingプラットフォームにＱｏＳ制御機能を組み込むことで、優先型のフローを滞留させない制御が可能となる。

しかし、３ＧＰＰにて規定されているＱｏＳ制御では、ｅＮＢはＥＰＣと端末間で確立されるベアラ単位でＱｏＳ制御を行うことが規定されている。非特許文献２で示す手法では、ベアラ内にベストエフォート型フローと優先型フローが混在するため、ｅＮＢではこれらのフローを識別してＱｏＳ制御することが求められるが、３ＧＰＰの規定を超えた実装になるため、ｅＮＢに新たな機能追加が必要となる。なお、ｅＮＢ〜ＥＰＣ間で確立されるベアラは、Ｓ１ベアラや無線ベアラ等の複数のベアラの組み合わせで構成される。

このような課題の解決の方向性として、モバイル網に配備されている既存の全てのｅＮＢに対して機能追加をすることは、コスト面から現実的ではない。このため、ｅＮＢではなくMobile Edge ComputingプラットフォームにＱｏＳ制御を導入することが解決策として考えられる。

ただし、 Mobile Edge Computingプラットフォームは、無線区間の輻輳状態を直接的に把握することができないため、輻輳状態の検知が課題となる。また、輻輳時にベストエフォート型フローに対する帯域制限をかける際に、過剰な制御をかけた場合、無線区間の帯域使用率が低下する可能性があるため、帯域の制御方法も課題である。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、無線基地局に機能追加等をすることなく優先型フローの低遅延性を確保することができるＱｏＳ制御システム及び方法を提供することにある。

上記目的を達成するために、本願発明は、無線基地局とコアネットワークとを備えるとともに優先型フローとベストエフォート型フローとが混在する移動網において前記無線基地局と前記コアネットワーク間に配置されＴＣＰパケットの転送機能を有するＱｏＳ制御システムであって、前記移動網は、前記無線基地局と前記コアネットワークとの間に形成されるベアラに対するパケット送受信機能を有するプラットフォームを備え、前記ＱｏＳ制御システムは、前記プラットフォームに配置されるとともに、転送するＴＣＰパケットを解析して無線区間におけるパケットロスの発生を検出するとともにパケットロス発生時のデータ量ｘｉとパケットロス数ｙｉとを記憶するパケットロス検出手段と、パケットロスが発生した場合に、前記パケットロス検出手段により記憶された前記パケットロス発生時のデータ量ｘｉ及びパケットロス数ｙｉのうち少なくともデータ量ｘｉの統計的処理により無線区間に輻輳を発生させないための制限データ量を算出し、送信可能な最大データ量を前記制限データ量に制限することによりベストエフォート型フローの帯域を狭くするよう制御する帯域制御手段とを備えたことを特徴とする。

本発明によれば、無線基地局に機能追加をすることなしに、無線区間の輻輳を検知し、ベストエフォート型フローの帯域を制限することで、優先型フローがベストエフォート型フローの影響を受けて無線基地局においてパケットが滞留することを防ぎ、結果として、優先型フローが低遅延な通信を実現することができる。

無線通信システムの概要を説明する図ＱｏＳ制御システムの輻輳検知機能を説明する図第１のパケットロスの検出方法を説明する図第２のパケットロスの検出方法を説明する図帯域制限の制限データ量の算出方法を説明する図ＱｏＳ制御システムの構成図帯域制御部の構成図帯域制御部の動作を説明する図ＴＣＰデータパケット処理部の動作を説明する図ＴＣＰＡＣＫパケット処理部の動作を説明する図フロー管理部の管理データの一例を説明する図輻輳検知部の動作を説明する図品質管理部の管理データの一例を説明する図

本実施の形態に係る無線通信システムについて図１を参照して説明する。図１は本発明に係る無線通信システムの概要を説明する構成図である。

本発明は、周知のＬＴＥ（Long Term Evolution）などのモバイル網を対象とするものであり、図１ではＬＴＥを例にとって説明する。ＬＴＥにおけるネットワーク構成は、コアネットワークとしてのＥＰＣ１０と、端末１を収容する無線基地局としてのｅＮＢ２０とを備えている。ＥＰＣ１０は、インターネット３０を含む１つ以上の外部ネットワークと接続しており、該外部ネットワークとのゲートウェイを含む。周知のように、端末１がインターネット３０と通信する際には、当該通信に係るフローは、端末１とｅＮＢ２０との間に形成された無線ベアラ４１と、ｅＮＢ２０とＥＰＣ１０との間に形成されたＳ１ベアラ４２を通る。

本発明では、低遅延通信を実現するためのMobile Edge Computingプラットフォーム（以下「ＭＥＣプラットフォーム」と言う）５０を備えていることを前提としている。ＭＥＣプラットフォーム５０は、ｅＮＢ２０とＥＰＣ１０との間であってｅＮＢ２０の近傍に配置される。ＭＥＣプラットフォーム５０には、端末１にサービスを提供するアプリケーション６０が接続されている。ＭＥＣプラットフォーム５０がＳ１ベアラに対するパケット送受信機能を提供することで、端末１と該端末１の近傍に配備されたアプリケーション６０との間で通信が可能になる。

本発明は、図１に示すように、ｅＮＢ２０〜ＥＰＣ１０間のベアラ４１，４２内に混在する優先型フローとベストエフォート型フローという優先度の異なる２つのフローに対してＱｏＳ制御を行うために、ＭＥＣプラットフォーム５０にＱｏＳ制御システム１００を組み込むことを特徴としている。すなわち、ＱｏＳ制御システム１００は、Ｓ１インタフェース区間に配置されている。なお、ＱｏＳ制御システム１００の制御対象は、ＯＳＩ（Open Systems Interconnection）参照モデルのトランスポート層に位置するＴＣＰ（Transmission Control Protocol）のフローである。

優先型フローはＭＥＣプラットフォーム５０により端末１とアプリケーション６０との間に形成される。ベストエフォート型フローは、基本的には端末１とインターネット３０との間に形成されるが、端末１とアプリケーション６０との間にベストエフォート型フローが形成される場合もある点に留意されたい。なお、本実施の形態では説明の簡単のため、図１に示すように、ベストエフォート型フローは端末１とインターネット３０との間にのみ形成されているものとする。

ＭＥＣプラットフォーム５０は、Mobile Edge Computingを実現するために、Ｓ１ベアラ等のモバイル網特有の信号処理やパケット処理を行う機能を有している。一方、ＱｏＳ制御システム１００は、ＴＣＰフロー処理のみを扱うものであり、パケットの振り分け処理等はＭＥＣプラットフォーム５０で処理される。換言すれば、ＱｏＳ制御システム１００で処理対象となるＴＣＰフローは、端末１とインターネット３０との間のＴＣＰフローだけでなく、端末１とアプリケーション６０との間のＴＣＰフローも含まれる。なお、図２以降では説明の簡単のため、アプリケーション６０についての記載は省略した。

本発明におけるＱｏＳ制御システム１００は、輻輳検知機能と帯域制御機能とを備えている。前記輻輳検知機能は、ＴＣＰパケットのシーケンス番号分析に基づいて、無線区間の輻輳状態を検知する機能である。前記帯域制御機能は、輻輳状態を検知した際に、輻輳状態を回避するために、ベストエフォート型フローに対して帯域制御を行う機能である。

図２を参照してＱｏＳ制御システム１００の輻輳検知機能の概要について説明する。輻輳検知機能では、ＴＣＰパケットのシーケンス番号とＡＣＫパケットのＡＣＫ情報からパケットの到達性を確認する。ＡＣＫ情報による到達確認が取れない場合、パケットロスが発生しており、無線区間の輻輳とみなす。ＡＣＫの戻りにはＮＷ遅延による時間差があるため、（１）ＴＣＰパケット処理と、（２）ＡＣＫパケット処理の分析フェーズは時間差を設ける（各分析フェーズは予め決められた固定的な時間）。また、ＴＣＰパケットの転送データ量を記録しておくことで、輻輳が発生した際のデータ量を把握する。

ＱｏＳ制御システム１００の輻輳検知機能のうちパケットロス検出の詳細について図３及び図４を参照して説明する。パケットロスの検出は、図３又は図４に示す方法を用いる。図３に示す方法はＡＣＫシーケンス番号を分析することで輻輳検知を行うものであり、図４はＡＣＫ＋ＳＡＣＫシーケンス番号を分析することで輻輳検知を行うものである。図３及び図４はどちらも１パケットロスの例であるが、パケットロスの判定結果は、ＡＣＫシーケンス番号分析は３パケットロス、ＡＣＫ＋ＳＡＣＫシーケンス番号分析では１パケットロスとなり、後者の方が精度が高い。本発明では、ＡＣＫ＋ＳＡＣＫシーケンス番号分析を原則として使用するが、分析対象のＴＣＰフローがＳＡＣＫオプションをサポートしていない場合は、ＡＣＫシーケンス番号分析の手法を用いる。

ＱｏＳ制御システム１００の帯域制御機能の概要について説明する。まず、前記輻輳検知機能において、パケットロス発生時のデータ量ｘ_ｉ、パケットロス数ｙ_ｉとして、分析結果を統計データとして記録する。

そして、帯域制御機能では、記録された統計データを元に、下記のいずれかの方法で無線区間に輻輳を発生させないための制限データ量を決定する。

（１）データ量ｘ_ｉの最小値×安全係数を制限データ量とする。ここで、安全係数は例えば０．９等の、パケットロスが発生した最小データ量よりも小さい値にするための補正値である。
（２）データ量とパケットロス数の関係を一次関数として扱い、ｘ軸の切片を用いる。すなわち、一次関数ｙ＝ａｘ＋ｂの係数を下記の最小二乗法にて求め、ｘ＝−ｂ／ａ×安全係数を制限データ量とする。安全係数について前記（１）と同様である。本方法のイメージを図５に示す。

帯域制御は、図２に示す分析フェーズと同じ時間間隔において送信可能な最大データ量を上記情報で決定した制限データ量に制限することで行う。

次に、本発明の一実施の形態に係るＱｏＳ制御システムについて図６を参照して説明する。本実施の形態に係るＱｏＳ制御システム１００は、図６に示すように、帯域制御部１１０と、ＴＣＰデータパケット処理部１２０と、フロー管理部１３０と、ＴＣＰＡＣＫパケット処理部１４０と、輻輳検知部１５０と、品質管理部１６０とを備えている。

帯域制御部１１０は、図７に示すように、上位ネットワークから受信したＴＣＰパケットの優先クラスに基づき格納先キューの振り分けを行うクラシファイヤ１１１と、優先クラスのＴＣＰパケットを格納する優先キュー１１２と、ベストエフォートクラスのＴＣＰパケットを格納するＢＥキュー１１３と、ＢＥキュー１１３からのＴＣＰパケットをトークンバケットポリサーやシェーパー等のアルゴリズムにより出力制御する帯域制御機能部１１４と、優先クラスに基づくスケジューリングによりＴＣＰパケットを出力するスケジューラ１１５と、図示しない全体制御部を備えている。

帯域制御部１１０の全体制御部は、図８に示すように、品質管理部１６０からデータ量とパケットロス数のデータを読み込み（ステップＳ１）、前述の輻輳を発生させないための制限データ量を算出し（ステップＳ２）、算出した単位時間あたりに制限する制限データ量を帯域制機能部１１４に設定する（ステップＳ３）。ここで、帯域制御機能部１１４による帯域制御の対象となるのは、図７からも明らかなように、ベストエフォート型フローである点に留意されたい。

上位ネットワークからのパケットは、帯域制御部１１０を介して、ＴＣＰデータパケット処理部１２０に渡される。ＴＣＰデータパケット処理部１２０では、図９に示すように、ＴＣＰフローが識別され（ステップＳ１１）、フロー管理部１３０のＴＣＰデータパケット情報に、ＴＣＰフローＩＤ、シーケンス番号、バイト数、受信時刻情報が記録される（ステップＳ１２）。ＴＣＰフローＩＤは、ＩＰアドレスやＴＣＰポート番号等からハッシュ計算により算出したＴＣＰフローを一意に識別できるＩＤである。ＴＣＰデータパケット処理部１２０にて処理されたパケットは下位ネットワークに転送される。

一方、下位ネットワークからのパケットは、図１０に示すように、ＴＣＰＡＣＫパケット処理部１４０にて、ＴＣＰフローが識別され（ステップＳ２１）、ＡＣＫシーケンス番号、ＳＡＣＫシーケンス番号、受信時刻情報がフロー管理部１３０のＴＣＰＡＣＫパケット情報に記録される（ステップＳ２２，Ｓ２３）。ＴＣＰＡＣＫパケット処理部１４０にて処理されたパケットは上位ネットワークに転送される。

フロー管理部１３０における管理データの一例を図１１に示す。前述したように、フロー管理部１３０では、ＴＣＰデータパケット処理部１２０により記録されたＴＣＰデータパケット情報と、ＴＣＰＡＣＫパケット処理部１４０により記録されたＴＣＰＡＣＫパケット情報とが管理される。

輻輳検知部１５０では、図１２に示すように、フロー管理部１３０からＴＣＰデータパケット情報と、ＴＣＰＡＣＫパケット情報を読み込み（ステップＳ３１）、ＴＣＰフロー毎に、記録されているＴＣＰデータパケットのシーケンス番号がＡＣＫによる受信確認が取れているかを判定する（ステップＳ３２〜Ｓ３４）。但し、ＤｅｌａｙｅｄＡＣＫによりＡＣＫパケットが直ちに送信されない場合があるため、ＴＣＰフローの最後に記録されたＴＣＰデータパケットは分析の対象外とする（ステップＳ３２）。

受信確認の判定は、ＴＣＰデータパケットのシーケンス番号＜ＡＣＫシーケンス番号となっていれば受信確認が取れているものとする（ステップＳ３３）。また、ＳＡＣＫシーケンス番号＃１〜＃ＮにＴＣＰデータパケットのシーケンス番号が含まれている場合も受信確認が取れているものとする（ステップＳ３４）。いずれにも該当しない場合は、パケットロスが発生したとみなし、品質管理部１６０のパケットロス数をカウントアップ（＋１）する（ステップＳ３５）。また、輻輳検知部１５０は、品質管理部１６０のデータ量として、ＴＣＰデータパケット情報に記載されているバイト数の合計値を記録する（ステップＳ３６）。最後に処理済みの各データをフロー管理部１３０から削除する（ステップＳ３７）。品質管理部１６０で管理されている管理データの一例を図１３に示す。

帯域制御部１１０では、予め決められたポリシーに基づいて、ベストエフォート型フローと優先型フローに分類し、パケットを優先キュー１１２とＢＥキュー１１３にそれぞれ分けてキューイングを行う。帯域制御は、品質管理部１６０のデータ量とパケットロス数の統計データを用いて、前述した２つの方法のいずれかにより、帯域制限機能部１１４で用いるデータ量を決定する。

なお、上記の説明において上位ネットワーク・下位ネットワークとは、ＱｏＳ制御システム１００からみて端末１側が下位ネットワークであり、端末１の通信相手先側、すなわちインターネット３０及びアプリケーション６０側が上位ネットワークである点に留意されたい。

このように、本実施の形態に係る無線通信システムによれば、ｅＮＢ２０に機能追加をすることなしに、無線区間の輻輳を検知し、ベストエフォート型フローの帯域を制限することで、優先型フローがベストエフォート型フローの影響を受けてｅＮＢ２０においてパケットが滞留することを防ぎ、結果として、優先型フローが低遅延な通信を実現することができる。

以上、本発明の一実施の形態について詳述したが、本発明はこれに限定されるものではない。例えば、上記実施の形態では、モバイル網として３ＧＰＰで規定するＬＴＥについて説明したが、他のアーキテクチャによるモバイル網であっても本発明を適用できる。

１０…ＥＰＣ
２０…ｅＮＢ
３０…インターネット
４１…無線ベアラ
４２…Ｓ１ベアラ
５０…ＭＥＣ（Mobile Edge Computing）プラットフォーム
１００…ＱｏＳ制御システム
１１０…帯域制御部１１０
１２０…ＴＣＰデータパケット処理部
１３０…フロー管理部
１４０…ＴＣＰＡＣＫパケット処理部
１５０…輻輳検知部
１６０…品質管理部

Claims

無線基地局とコアネットワークとを備えるとともに優先型フローとベストエフォート型フローとが混在する移動網において前記無線基地局と前記コアネットワーク間に配置されＴＣＰパケットの転送機能を有するＱｏＳ制御システムであって、
前記移動網は、前記無線基地局と前記コアネットワークとの間に形成されるベアラに対するパケット送受信機能を有するプラットフォームを備え、
前記ＱｏＳ制御システムは、前記プラットフォームに配置されるとともに、転送するＴＣＰパケットを解析して無線区間におけるパケットロスの発生を検出するとともにパケットロス発生時のデータ量ｘｉとパケットロス数ｙｉとを記憶するパケットロス検出手段と、パケットロスが発生した場合に、前記パケットロス検出手段により記憶された前記パケットロス発生時のデータ量ｘｉ及びパケットロス数ｙｉのうち少なくともデータ量ｘｉの統計的処理により無線区間に輻輳を発生させないための制限データ量を算出し、送信可能な最大データ量を前記制限データ量に制限することによりベストエフォート型フローの帯域を狭くするよう制御する帯域制御手段とを備えた
ことを特徴とするＱｏＳ制御システム。
前記パケットロス検出手段は、転送するＴＣＰパケットのシーケンス番号及びＡＣＫ番号に基づきパケットロスの発生を検出する
ことを特徴とする請求項１記載のＱｏＳ制御システム。
前記パケットロス検出手段は、転送するＴＣＰパケットのシーケンス番号及びＡＣＫ番号並びにＳＡＣＫオプションのシーケンス番号に基づきパケットロスの発生を検出する
ことを特徴とする請求項１記載のＱｏＳ制御システム。
前記帯域制御手段は、データ量ｘとパケットロス発生数ｙとの関係を一次関数ｙ＝ａｘ＋ｂとし、前記パケットロス検出手段により記憶された前記パケットロス発生時のデータ量ｘｉ及びパケットロス数ｙｉに基づき前記一次関数の係数ａ及びｂを最小二乗法で算出し、−ｂ／ａ×所定の安全係数を制御データ量として算出する
ことを特徴とする請求項１乃至３何れか１項記載のＱｏＳ制御システム。
前記帯域制御手段は、前記パケットロス検出手段により記憶された前記パケットロス発生時のデータ量ｘｉの最小値×所定の安全係数を制御データ量として算出する
ことを特徴とする請求項１乃至３何れか１項記載のＱｏＳ制御システム。
前記安全係数は１未満の正の値である
ことを特徴とする請求項４又は５記載のＱｏＳ制御システム。
前記プラットフォームは前記無線基地局の近傍に配置されており、
前記優先型フローは前記無線基地局に収容された端末と前記プラットフォームに接続され且つ前記端末にサービスを提供するアプリケーションとの間に形成される
ことを特徴とする請求項１乃至６何れか１項記載のＱｏＳ制御システム。
無線基地局とコアネットワークとを備えるとともに優先型フローとベストエフォート型フローとが混在する移動網において前記無線基地局と前記コアネットワーク間に配置されたＱｏＳ制御システムがＴＣＰパケットを転送するＱｏＳ制御を行うＱｏＳ制御方法であって、
前記移動網は、前記無線基地局と前記コアネットワークとの間に形成されるベアラに対するパケット送受信機能を有するプラットフォームを備え、
前記ＱｏＳ制御システムを、前記プラットフォームに配置し、
ＱｏＳ制御システムのパケットロス検出手段が、転送するＴＣＰパケットを解析して無線区間におけるパケットロスの発生を検出するとともにパケットロス発生時のデータ量ｘｉとパケットロス数ｙｉとを記憶し、
ＱｏＳ制御システムの帯域制御手段が、パケットロスが発生した場合に、前記パケットロス検出手段により記憶された前記パケットロス発生時のデータ量ｘｉ及びパケットロス数ｙｉのうち少なくともデータ量ｘｉの統計的処理により無線区間に輻輳を発生させないための制限データ量を算出し、送信可能な最大データ量を前記制限データ量に制限することによりベストエフォート型フローの帯域を狭くするよう制御する
ことを特徴とするＱｏＳ制御方法。