JP2024008685A - 通信装置、制御方法、及び、プログラム - Google Patents

通信装置、制御方法、及び、プログラム Download PDF

Info

Publication number
JP2024008685A
JP2024008685A JP2022110740A JP2022110740A JP2024008685A JP 2024008685 A JP2024008685 A JP 2024008685A JP 2022110740 A JP2022110740 A JP 2022110740A JP 2022110740 A JP2022110740 A JP 2022110740A JP 2024008685 A JP2024008685 A JP 2024008685A
Authority
JP
Japan
Prior art keywords
information
data
sta
traffic
traffic steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022110740A
Other languages
English (en)
Inventor
利之 中川
Toshiyuki Nakagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022110740A priority Critical patent/JP2024008685A/ja
Priority to PCT/JP2023/023250 priority patent/WO2024009800A1/ja
Publication of JP2024008685A publication Critical patent/JP2024008685A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/16Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/16Performing reselection for specific purposes
    • H04W36/22Performing reselection for specific purposes for handling the traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/24Reselection being triggered by specific parameters
    • H04W36/26Reselection being triggered by specific parameters by agreed or negotiated communication parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】 無線通信におけるトラフィックステアリングにおいて機械学習を使用するためのデータ収集やそのためのデータ通信ができるようにすること。【解決手段】 通信装置は、無線チャネル品質の情報、複数のアクセスポイントの負荷状況を示す情報、トラフィックの特性情報、単位時間における前述のいずれかの情報の時系列データのうち一部あるいはすべての情報を推定の入力データとして取得し、トラフィックステアリングするか否か、する場合にはどのようにステアリングするかを示す情報を計算する。通信装置は、計算の結果、自身が接続するSTAのトラフィックステアリングが必要と判断した場合、自身が接続するSTA又は自身が連携するアクセスポイントのうち一台以上に通信の切り替えに関する情報を通知する。【選択図】 図5

Description

本発明は、IEEE802.11規格に準拠した通信装置に関する。
無線LAN(Wireless Local Area Network、以下、WLAN)に関する通信規格としてIEEE802.11シリーズ規格が知られている。最新規格であるIEEE802.11be規格ではMulti-Link技術を用いて、高いピークスループットに加え、低遅延な通信を実現している(特許文献1)。
特開2018-50133号公報
IEEE802.11規格の後継規格では、AI(Artificial Intelligence)やML(Machine Learning)の導入が検討されている。
ところで、無線アクセスポイント(以下AP)が複数存在する環境において、多数の子機(以下STA)が接続する高負荷なAPを避けて負荷の低いAPへSTAを分散して接続させると、通信の効率を高めることができると想定される。また、STAが利用するサービスが必要とする通信特性を鑑み、適切にSTAを分散してAPに接続させることが考えられる。この分散処理により、個々のSTAに対して個々のSTAが必要とする通信特性のネットワークをSTAに提供しつつ、尚且つ、ネットワーク全体としての効率を高めることができると想定される。このように効率や、通信特性を鑑みて、接続状態や通信経路等をチューニングする技術をトラフィックステアリングと呼ぶ。
無線通信におけるトラフィックステアリングの最適化のために機械学習を用いることが考えられるが、従来においては、ローミングで機械学習を実現するためのデータ収集に使用するフレーム構成やデータ収集方法、学習データの使用方法が存在しなかった。
本発明は上述の課題を鑑みなされたものである。本発明の1つの側面としては、トラフィックステアリングに機械学習を使用するためのデータ収集やそのためのデータ通信ができるようにすることを目的の1つとする。また、本発明の別の側面によれば、収集したデータに基づいて通信に適したトラフィックステアリングを行えるようにすることを目的の1つとする。
本発明の1つの側面としての通信装置は、通信装置であって無線チャネル品質の情報、複数のアクセスポイントの負荷状況を示す情報、トラフィックの特性情報、単位時間における前述のいずれかの情報の時系列データのうち一部あるいはすべての情報を推定の入力データとして取得し、トラフィックステアリングするか否か、する場合にはどのようにステアリングするかを示す情報を計算する計算手段と、前記計算手段による計算結果において、自身が接続するSTAのトラフィックステアリングが必要な場合は、自身が接続するSTA又は自身が連携するアクセスポイントのうち一台以上に通信の切り替えに関する情報を通知する通知手段と、を有することを特徴とする。
本発明によれば、無線通信装置におけるエンドツーエンドの通信を最適化するトラフィックステアリングを行うことができる。
ネットワーク構成例を示す図である。 AP・STAのハードウェア構成例を示す図である。 AP・STAの機能ブロック構成例を示す図である。 入力データ、学習モデル、出力データから成る学習モデルを利用した構造の概念を示す図である。 システム全体の処理フローの一例を示す図である。 APによって実行される処理の流れの一例を示す図である。 データ収集サーバによって実行される処理の流れの一例を示す図である。 推定サーバによって実行される学習フェーズの処理の流れの一例を示す図である。 推定サーバによって実行される推定フェーズの処理の流れの一例を示す図である。
(第1の実施形態)
図1は、第一の実施形態にかかるネットワーク構成例を示す。図1の無線通信システムは、AP(アクセスポイント)101、101b、101cと、STA102、107、110、データ収集サーバ105、推定サーバ106とを具備した無線ネットワークである。APも中継機能を有する点を除き、STAと同様の機能を有するため、STAの一形態である。
AP101が送信する信号が到達する範囲を示した円100の内部にあるSTAがAP101と通信可能である。本実施形態では、AP101とSTA102は、最大伝送速度46.08Gbpsを目標とするIEEE802.11be規格の後継規格に準拠した無線通信を実行可能に構成される。当該後継規格では、90Gbps-100Gbps超の最大伝送速度を達成すべ目標として掲げている。また、この当該802.11beの後継規格では、高信頼通信や低レイテンシ通信のサポートなどを新たに達成すべき目標として掲げている。上記を踏まえ、本実施形態では、IEEE802.11beの後継規格であり、最大伝送速度として90Gbps-100Gbps超を目標とする後継規格を、IEEE802.11UHR(Ultra High Reliability)と仮称する。
なお、IEEE802.11UHRという名称は後継規格で達成すべき目標や当該規格で目玉となる特徴を踏まえて便宜上設けられたものであり、規格が確定した状態において別の名称となりうる。一方、本明細書及び添付の特許請求の範囲は、本質的には、802.11be規格の後継規格であって、無線通信をサポートしうるすべての後継規格に適用可能であることに留意されたい。
AP101は、STA102と所定のアソシエーションプロセス等を介して無線リンク103、104を確立する。なお、図1では2本のリンクを用いたマルチリンク接続を例に示しているが、無線リンクは1本でも2本以上でもよい。
AP101はインターネットを介してデータ収集サーバ105および推定サーバ106と接続する。AP101とデータ収集サーバ105、推定サーバ106との接続で使用する通信プロトコルはどのようなものであってもよい。またSTAやAPの数は2以上であってもよい。
本実施形態では、一例として、AP101がAP101,101b、101cからなるメッシュネットワークのコントローラとして機能する場合を例示している。また、AP101b、AP101cはメッシュネットワークのエージェント装置として機能する。
図2に、本発明におけるAP・STAのハードウェア構成を示す。ハードウェア構成の一例として、記憶部201、制御部202、機能部203、計算部204、入力部205、出力部206、通信部207、及びアンテナ208を有する。
記憶部201はROMやRAM等のメモリにより構成され、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部201として、ROM、RAM等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、DVDなどの記憶媒体を用いてもよい。また、記憶部201が複数のメモリ等を備えていてもよい。
制御部202は、例えばCPUやMPU等のプロセッサ、ASIC(特定用途向け集積回路)、DSP(デジタルシグナルプロセッサ)、FPGA(フィールドプログラマブルゲートアレイ)等により構成される。ここで、CPUはCentral Processing Unitの、MPUは、Micro Processing Unitの頭字語である。記憶部201に記憶されたプログラムを実行することにより、APを制御する。なお、制御部202は、記憶部201に記憶されたプログラムとOS(Operating System)との協働により、APを制御するようにしてもよい。また、制御部202がマルチコア等の複数のプロセッサから成り、APを制御するようにしてもよい。
また、制御部202は、機能部203を制御して、AP機能、撮像や印刷、投影等の所定の処理を実行する。機能部203は、APが所定の処理を実行するためのハードウェアである。
計算部204は、例えばGPUやTPUなどのプロセッサ、ASIC(特定用途向け集積回路)、DSP(デジタルシグナルプロセッサ)、FPGA(フィールドプログラマブルゲートアレイ)等により構成される。機械学習したものの推定演算や、機械学習自体を演算するためのハードウェアである。
図1の例では、機械学習に用いるデータ収集サーバ105、推定サーバ106を、AP101やSTA102と別に用意する例を示したが、これらの機能をAP101やSTA102に組み込んでも良い。この場合、計算部204は、機械学習した結果を用いた推定演算や、機械学習自体を演算するためのハードウェアとして動作する。
ここで、GPUはGraphical Processing Unit、TPUはTensor Processing Unitの頭文字である。TPUは機械学習に特化したシストリックアレイ型のハードウェアプロセッサの一例であり、計算リソースとして積和演算器及び積和演算機に隣接して設けられたバッファレジスタ、ハードウェアで実装された活性化関数を有する。また、演算の流れを指示するためのTPU命令を解釈し、上述する計算リソースを制御する命令デコーダを有する。この、TPUは所謂ニューラルプロセッシングユニット(NPU)として機能する。
これらのプロセッサは制御部202と共同で演算を行うため、一部演算を共有してもよい。GPUやTPUはCPU等の汎用プロセッサと比較してデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回にわたり学習を行う場合にはGPUやTPUで処理を行うことが有効である。そこで本実施例では推定サーバの学習部による処理には制御部202に加えて計算部204にGPUを用いる。具体的には学習モデルを含む学習プログラムを実行する場合に、制御部202または計算部204が協働して演算を行うことで学習を行う。なお、学習部の処理は制御部202または計算部204のみにより演算が行われてもよい。また推定部も学習部と同様に計算部204を用いてもよい。
入力部205は、ユーザからの各種操作の受付を行う。出力部206は、ユーザに対して各種出力を行う。ここで、出力部206による出力とは、画面上への表示や、スピーカによる音声出力、振動出力等の少なくともひとつを含む。なお、タッチパネルのように入力部205と出力部206の両方を1つのモジュールで実現するようにしてもよい。
通信部207は、IEEE 802.11 EHT規格や後継規格であるIEEE802.11UHR規格等のIEEE802.11規格シリーズに準拠した無線通信データの符号化・復号化・変復調の処理を行う。また、通信部207はWi-Fiに準拠した無線通信の制御や、IP(Internet Protocol)通信の制御を行う。さらに、通信部207はアンテナ208を制御して、無線通信のための無線信号の送受信を行う。
図1に示したように、機械学習に用いるデータ収集サーバ105、推定サーバ106を、AP101やSTA102と別に用意する場合、当該サーバは所謂ノイマン型のコンピュータで構成される。より具体的には、サーバは制御部204に相当する1以上のメモリ及び1以上のプロセッサと、計算部204に相当するGPUやTPU等の演算リソースを有する。この場合、サーバのGPUやTPUは、機械学習した結果を用いた推定演算や、機械学習自体を演算するためのハードウェアとして動作する。
図3に、本発明における学習システムの機能ブロックを示す。STA102はデータ送受信部312を有し、通信部207で収集した周囲の情報や自身の情報および記憶部201に蓄積した情報について通信部207およびアンテナ208を通して送受信する。データ記憶部311は記憶部201を使用する。
AP101はSTA102が送信するデータを受け取るデータ送受信部303を持っており、ここでAP101からSTA102へのデータ送信も行う。これらは通信部207やアンテナ208を用いる。このほか、データを記憶するデータ記憶部301を記憶部201に持っている。また、記憶部201および制御部202を展開し、通信関連データ管理部302を持つ。通信関連データ管理部302はデータ収集サーバ105や推定サーバ106と連携し、学習に必要な入力データの送信や、推定結果の受信およびその要求などを通信する。
データ収集サーバ105はAP101や他のAPから収集したデータをデータ記憶部321に蓄積する。また必要に応じて推定サーバ106に蓄積したデータをデータ収集/提供部322を使って送信する。
推定サーバ106はデータ収集サーバ105から得た入力情報及び結果データを受信し、学習データ生成部332および学習部333を使って学習モデルを生成する。生成した学習モデルはデータ記憶部331に記憶する。AP101から推定値の要求があれば、推定部334にて学習結果を用いて推定値を演算し、結果をAP101に返す。
なお、機械学習に用いるデータ収集サーバ105、推定サーバ106の機能をAP101やSTA102に組み込む場合、AP101やSTA102等の単一の装置が図3に示す全ての機能を有することになる。機械学習に用いるデータ収集サーバ105、推定サーバ106をAP101やSTA102とは別体として設ける場合、収集や推論等の機能は前述した通り別体のサーバが担うことになる。図3では、別体のサーバが学習と推論の両方を行う場合を例示しているがこれに限定されず、推論処理はAP101において実現するようにしてもよい。この場合、推論サーバ106は、受け取った入力・出力データを元に生成した学習済みのモデルデータをAP101に送信する。この場合AP101が、推論部334の機能を有するように構成すればよい。AP101は、サーバ106から受信した学習済みのモデルデータを記憶する。そして、AP101の推論部334は、自身が収集する周辺環境や動作状況から得られる推論用のインプットデータと学習済みモデルデータを用いて推定値を演算するよう構成すればよい。
なお、学習部333は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。
更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
図4は、本実施形態の学習モデルを用いた入出力の構造を示す概念図である。学習モデルの入力データとしては、例えば、AP101とSTA102間の無線チャネル品質の情報、STA102周辺のAPに関する情報、AP101における負荷状況を示す負荷情報、エンドツーエンドトラフィックのQoS情報、各情報の優先度を使用する。表1は、学習モデルにおける入力データと、出力データの一例を示している。
Figure 2024008685000002
具体的に説明する。AP101とSTA102等のAP101に接続するSTAの無線品質の情報は、例えばリンクレート、電波強度、変調方式や符号化率などの組み合わせをインデックス化したMCS値、信号対雑音比(SNR)などの情報である。MCSはModulation and Coding Schemeの略である。また、搬送波対雑音比(CNR)、CQI(Channel Quality Indicator)などの情報である。
また、通信品質の情報は、また、STA102周辺のAPに関する通信品質情報も含む。周辺のAPに関する通信品質の情報は、例えばSTA102が周辺のAPから受信する信号の受信レベルであるRSSI(Received Signal Strength Indicator)である。
また、AP101における負荷の情報は、例えばSTAの接続台数や、トラフィックの通信レート(各STA、全STAの総計)、CPU処理負荷の情報である。また、負荷の情報に、パケット優先度の高いデータの処理状況等が含まれていてもよい。また、負荷の情報にAPが提供するネットワークにおけるTXOPの発生状況などが含まれていてもよい。
また、QoSトラフィックの情報は、STA102が行った通信のネットワークの両端における往復遅延時間(RTT)や、パケットロス率、通信スループット、ジッター(ゆらぎ)、パケット優先度の情報である。当該情報はトラフィックの特性情報の一例である。また、QoSトラフィックの情報には、優先度やトラフィック傾向などから推定して得られる、STAを所持するユーザが利用するネットワークサービスで必要となる通信特性(必要となるスループット、信頼性、最低遅延時間等)が含まれていてもよい。当該情報はトラフィックの特性情報の一例である。
例えば、STA102において動画のストリーミング視聴を行っている場合には、動画のストリーミング配信を行っているサーバとSTA102との間における実際のトラフィックの情報や、本来当該サービスを享受するために推奨される通信特性の情報である。
なお、上述した各情報は、現時点の情報だけでなく、過去の所定期間内の統計情報であってもよい。言い換えると入力データとしてはある時刻を基準とした所定の単位時間の間における上記情報の変動、即ち上述の情報の時系列のデータが入力パラメータに用いられてもよい。なお、本実施形態では、単位時間の一例として、一分程度を想定しているがこれに限定されるものではない。
なお、本実施形態において、学習済みモデルにインプットデータを入力して得られる出力データとして、遷移の推奨度、リンク遷移先のBSSに関する情報(BSS遷移の候補リスト)や、STA-AP間のリンクの追加、削除に関する情報等を想定している。
すなわち、本実施形態における推定は、現在の局面におけるエンドツーエンドトラフィックのQoS値を改善するために次に行うべきアクションを推定するとともに、当該アクションを行った場合の改善度合いを示す推奨度を推定する。
AP101は、出力データに基づき改善が見込まれる場合は、トラフィックステアリングのための処理を実行する。なお、実際にトラフィックステアリングを行った場合、ステアリング後の実測値を記録し、学習用、更新用、評価用のデータとして蓄積する。
入力データの特性について説明する。APとSTA間の無線品質の情報は、通信スループットや、データ遅延の発生、データ通信の信頼性と一定の相関を有する。例えば通信品質が悪いほど、トラフィックステアリング後の通信品質が向上する傾向がある。例えば通信品質が良いほどトラフィックステアリングを行っても通信品質の向上が見込めない傾向がある。AP101における負荷の情報は、通信スループットや、データ遅延の発生と一定の相関を有する。例えばトラフィックステアリングを行う前の負荷が高いほど、トラフィックステアリング後の通信品質が向上する傾向がある。例えば、トラフィックステアリングを行う前の負荷が低いほど、トラフィックステアリング後の通信品質の向上が見込めない傾向がある。また、例えば、トラフィックステアリングを行う前の負荷が低いほど、他のAPが受け持っていたSTAのトラフィックを受け入れても、通信品質を維持できる可能性が高いといった傾向がある。
また、QoSトラフィックの情報は、トラフィックステアリング後に達成すべき通信品質に一定の相関がある。例えば、現在のQoSトラフィックの優先度が高いが、遅延が大きい場合、何らかのトラフィックステアリングを行わないと、必要な通信品質が担保できないといった傾向がある。例えば、現在のQoSトラフィックと、ユーザが利用するネットワークサービスで必要となる通信特性に乖離がある場合も、何らかのトラフィックステアリングを行わないと、必要な通信品質が担保できないといった傾向がある。
このように、それぞれの入力パラメータが、ネットワーク上における通信品質等に対して、ある程度の傾向を持つ。現実空間においては、これらのパラメータの各々が複雑に連関し、トラフィックステアリング後に通信品質が向上するかどうかが決まる。しかしながら、各々が複雑に連関していることから、その判断を判定、分岐処理などの論理的なアロゴリズムで決定することは難しい。
一方で、ある程度の傾向を有する複数のパラメータを入力として、トラフィックステアリングの要否と、次に行うべきアクションの候補に関する推定を行うと、トラフィックステアリングの実行により通信品質が向上するかを推定できる可能性が高い。これらを鑑み、本実施形態では、上記のパラメータのうちの一部の組み合わせあるいはすべてのパラメータを入力データとし、実際の環境パラメータを用いた学習を行う。
表1で例示したインプットデータは、以下のように生成することができる。まず、STAは、通信品質等を含むステータスレポートをAP101等のAPに送信する。APは、ステータスレポートや自身が管理する通信パラメータの情報などに基づき、STAとAPの間での通信品質と、時刻とを対応付けて記憶する。また、APは、自身の負荷を示す情報を定期的に監視し、負荷を示す情報とその時刻とを対応付けて記憶する。メッシュネットワークのコントローラとして機能するAP101は、他のAPから、各STAの周囲のAPとの電波状況、負荷情報を定期的に収集し、当該収集を行った時刻と対応づけて記憶する。
AP101は、自身が収集して記憶している情報を収集サーバ105に定期的に送信する。収集サーバ105はAPやSTAから得られたデータに基づき学習のためのメタデータを生成し、推論サーバ106に送信する。
推論サーバ106の生成部322は受信したメタデータに基づき学習のためのデータセット(入力データセットと教師データの組み合わせ)を生成する。時間軸に基づいて取得した各種情報を組み合わせて、表1に示したような、ある時点でのネットワーク状況を示すデータセットを生成する。教師データは前述した出力データであり、トラフィックステアリングの結果として良好な結果が得られた場合のデータである。教師データの生成方法については後述する。
なお、学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。
推定サーバ106若しくはAP101は、学習済みデータに対して現在のネットワーク状況を入力して、トラフィックステアリングの候補や、推奨度を計算する。
実際にトラフィックステアリングを行った場合に、AP、収集サーバ105、及び推論サーバ106は協働して、トラフィックステアリングを行う前のネットワーク状況と、トラフィックステアリングを行った後のネットワーク状況を記憶する。また、推論サーバ106は、学習用のデータや、学習済みモデルデータが適切なトラフィックステアリングを推定できているかどうかを評価するための評価データとして当該データを成形し蓄積する。
なお、本実施形態の通信システムでは、蓄積済みのデータがなく、学習済みのモデルデータが構築されていない場合、従来手法である事前に定義されたアルゴリズムベースのトラフィックステアリングを実行する。そして、トラフィックステアリングの結果を評価し、教師データを作成する。例えば、推論サーバ106は、優先度やトラフィック傾向などから推定して得られる、STAを所持するユーザが利用するネットワークサービスで必要となる通信特性をステアリングの結果満たしたかを確認する。より具体的にはサービスで必要となるスループット、信頼性、最低遅延時間等を満たしたかを確認する。また、他の通信悪影響がなかったかを確認する。通信特性を満たし、悪影響がなかった場合、ステアリング結果が良好であることをステアリングであったこと、ステアリング処理の内容(移行先のBSSの情報等)、ステアリングが行われた時刻情報を対応付けて記憶する。また、悪影響があった又はステアリング結果が良好でなかったと判断すると、ステアリング結果が良好でなかったことを記憶する。これらのデータはモデルデータの学習時、更新時の教師データとして利用される。図5は、図4で示した学習モデルの構造を利用したシステム全体の処理フローを説明する図である。
S500-0において、AP101や他のAPはトラフィックステアリングの学習に用いる情報を含むメタデータを収集サーバ105を介して推論サーバ106に提供する。S500-1において、推論サーバ106は学習モデルの生成や更新処理を行う。当該生成や更新の処理は、推論サーバ106に蓄積したメタデータやS500-1で受信した過去のローミングの効果を示す情報を組み合わせたデータセットに基づき実行される。当該処理は新たなデータが所定数以上蓄積されたタイミングにおいて定期的に行われるものとする。S501以降では、当該生成又は更新された学習済みモデルを用いる推論処理を説明する。
まず、AP101は接続中のSTA102に対し、STAデータのレポートを要求する(S501)。ここで要求するSTAデータとは、AP101とSTA102の無線チャネル品質の情報、およびSTA102周辺のAPに関する情報であり、図4で示した学習や推定に使用する入力データに用いる情報である。この要求は、例えばIEEE 802.11kで規定されているRadio Measurement Request、Link Measurement Request、Neighbor Report Requestなどを用いて各情報を要求する。IEEE 802.11kでは、APとクライアント間における無線通信環境に関する情報交換をサポートしたり、近隣APの情報や、各チャネルの信号レベル等を伝達したりする仕組みが規定されている。また、学習データを収集するためにSTA Report Requestを定義してもよい。なお同図において、AP101に接続中のSTAはSTA102のみであるが、他に図示しないSTAが接続している場合には、AP101は他のSTAに対しても同様にSTAデータのレポートを要求する。
STA102は、AP101の要求に従って、STAデータのレポートを送信する(S502)。例えばIEEE 802.11kで規定されているRadio Measurement Report、Link Measurement Report、Neighbor Report Responseなどを用いて各情報を送信する。また、学習や推論のために必要となるデータを収集するためにSTA Report Request・Responseを定義してもよい。STA102が周辺のAPの情報を収集する方法としては、この他にもWi-Fi Agile Multiband仕様で規定されている方法を使用することができ、STA102はこれらの仕様に基づいて周辺のAP情報をAP101へ通知する。本ステップで収集する周辺のAP情報にも、通信品質に関する情報が含まれる。
続いてAP101は、トラフィックステアリング推定要求を推定サーバ106へ送信する(S503)。トラフィックステアリング推定要求には、ステップS502でSTA102から受信したSTAデータのレポートと、AP101の負荷情報が含まれる。
推定サーバ106は、AP101から送信されたトラフィックステアリング推定要求に含まれる入力データに基づき推定したトラフィックをステアリングした場合のリンク遷移先のBSSに関する情報(BSS遷移の候補リスト)を推定結果として返信する。また、当該リンクの推奨度、STA-AP間のリンクの追加、削除に関する情報についても推定し、推定結果としてAP101へ返信する(S504)。
AP101は、推定サーバから受信したトラフィックステアリング推定結果を基に、STA102のトラフィックをステアリングするべきか否かを判断する。トラフィックステアリングが必要と判断した場合、STA102のトラフィックをステアリングするべくSTA102へトラフィックステアリングを要求する(S505)。STA102はステアリング要求を受信すると、それに基づいて他APへのステアリングを実施するが、STA102は要求に従うか否かを自身で決定することもでき、推奨されるトラフィックステアリング要求のいずれにも従わなくてもよい。またSTA102が遷移しない場合、AP101は一定時間経過後にトラフィックステアリング要求を再送してもよいし、STA102との接続を強制的に解除してもよい。AP101は、トラフィックステアリングするべきと判断されたSTAが一台以上存在する場合、一台以上のSTAにトラフィックステアリングの要求を送信する。
なお、この例では、STA102等のAP101に接続しているSTAを他のフォロワーのAPにステアリングする場合を例示しているが、これに限定されるものではない。例えば、推論結果が、フォロワーのAP(例えばAP101b)に属するSTAのトラフィックを別のAP(101c)にステアリングすべきことを示している場合、当該STAに対するトラフィックステアリングを要求する。この際、AP101は、フォロワーであるAP101bを介して特定のSTAにステアリング要求を送信する。また、ステアリング要求は、接続先の変更に限らず、エンドツーエンドのマルチホップ経路を設定する制御などであってもよい。例えば、メッシュネットワーク内の機器同士で低レイテンシ、高スループットの双方向通信が行われる場合などには、当該通信の経路をメインAPを経由しない経路に切り替え、メインAPに対する輻輳を回避したりすることができる。
図6は、APの処理の流れを示すフローチャートである。この処理はAP101がSTAと接続開始後、所定の時間周期/回数で定期的に行うが、これに限らず、AP101に接続中のSTA数が所定の閾値を超えた場合や、通信スループットが所定の閾値を超えた場合に行ってもよい。また、STAがより良い通信環境を求めて、AP101へBSS移行要求を送信した場合に行ってもよい。例えば、IEEE 802.11vで規定されているBSS Transition Management Queryを受信した場合に行ってもよい。AP101はSTA102に対して品質情報を含むSTAデータを要求する(S601)。これは図5のS501によって実現する。また、AP101はフォロワーAPに対して品質情報や負荷情報を含むAPデータを要求する。
次にその応答を受信する(S602)。これは図5のS502によって実現する。続いて、推定サーバ106に対し、トラフィックステアリング推定を要求するか否かを判断する(S603)。ここでの判断は、例えばAP101の設定やメッシュネットワークに対する全般の設定としてトラフィックステアリング機能が有効となっているか否かで判断することが可能である。これに限らず、各APに接続しているSTAの接続台数や各APのCPU処理負荷、各APの通信スループット等が所定の閾値を超えた場合に、自動的にトラフィックステアリング推定を要求してもよい。すなわち、ネットワークトラフィックの傾向が変わりうる何かしらのイベントが発生した場合に当該フローチャートの処理を行うよう構成してもよい。
ステップS603の判断の結果、トラフィックステアリング推定を要求しないと判断した場合には、収集したデータをデータ収集サーバ105へ送信して処理を終了する(S604)。S603で送信したデータはモデルデータの学習や更新に用いられる。
一方、ステップS603の判断の結果、トラフィックステアリング推定を要求すると判断した場合には、推定サーバ106に対しトラフィックステアリング推定要求を送信する(S605)。続いて、AP101は、推定サーバ106からトラフィックステアリング推定結果を受信する(S606)。なお、図5のステップS503で前述した通り、トラフィックステアリング推定要求には、STA102から受信したSTAデータのレポートと、AP101やフォロワーAPの負荷情報が含まれる。また、推定を要求する場合であっても、推定結果を受け取った後にデータ収集サーバ105へメタデータを送信してもよい。
続いてAP101は、受信したトラフィックステアリング推定結果を元に、AP101若しくはフォロワーAPに接続しているSTAのトラフィックをステアリングするか否かを判断する(S607)。ステップS607の判断の結果、トラフィックステアリングを行わないと判断した場合には、処理を終了する。S605の要求に基づく推定処理と、S607の判定処理を合わせて計算処理と呼ぶ。また、当該計算処理を行って得られるローミングするべきか否かの情報を計算結果とも呼ぶ。
一方、ステップS607の判断の結果、トラフィックステアリングを行うと判断した場合には、STA102に対してトラフィックステアリングを要求する(S608)。ここでの制御方法としては、例えばIEEE 802.11vで規定されているBSS Transition Management Requestを使用することができる。IEEE 802.11vは、IEEE 802.11kで規定される測定情報を無線環境の管理に利用する方法を規定しており、STAの動作を制御することが可能となる。また、IEEE 802.11v以外にも、前述したWi-Fi Agile Multiband仕様で規定されている方法を使用することもできる。
図7は、学習および推定時のデータ収集サーバ105の処理の流れを示すフローチャートである。この処理はデータ収集サーバ105が常に実行している。
データ収集サーバ105は、AP101やフォロワーAPもしくは推定サーバ106からの要求を待ち受ける(S701)。要求を受信すると、要求の送信元によって処理を変更する(S702)。推定サーバ106からの要求であった場合、学習のためのデータ一覧要求であると判断し、推定サーバに記録していたメタデータ一覧を送信する(S703)。AP101やフォロワーAPからの要求であった場合、データ収集サーバ105へのメタデータ記録要求であると判断し、メタデータを記憶する(S704)。なお、判断基準は送信元アドレスでなくてもよい。例えば、要求フレーム内部に、要求内容が記載されていてもよい。
図8は、学習時の推定サーバ106の処理の流れを示すフローチャートである。推定サーバにおける学習モデルの生成及び更新処理は、定期的に実施されるものとする。
推定サーバ106は、メタデータ一覧をデータ収集サーバ105に対して要求する(S801)。続いてデータ収集サーバ105からメタデータ一覧を受信したら(S802)、時系列データから学習に用いるデータセットを生成する(S803)。また、入力データとしては継続したある期間中の全データであってもよい。例えば過去1日のデータについて、1分後ごとのデータをサンプリングし、集めたデータであってもよい。
続いて、推定サーバ106は、学習に用いるデータセットを学習モデルに入力する(S804)。そして、推定サーバ106の学習部333は入力パラメータに基づいてモデルデータの学習処理を行う(S805)。例えば、ニューラルネットワークを用いて学習モデルを構築する場合、推定サーバ106は、ニューラルネットワークの出力値が目標値に近づくように畳み込みニューラルネットワークのノード間の結合重み付け係数等の更新処理を行う。推定サーバ106は、教師データと学習中のモデルデータを利用して出力した出力値との誤差情報を表す誤差関数を用いて、結合重み付け係数の調整量を決定する。
続いて推定サーバは、S803で用意したデータセットを全て入力し終えたか否かを判断する(S806)。入力し終えた場合は一連の学習処理を終了し、入力し終えていない場合、S804の処理に戻り、未入力のデータセットに基づくモデルデータの学習を継続する。S804とS805の処理を繰り返し行うことで結合重み付け係数が徐々に最適化されていき、目標値との誤差が小さい出力値を出力する学習済みモデルデータが構築される。
以上説明した処理により、ローミング処理のための学習済みモデルデータを構築することができる。
図9は、推定時の推定サーバ106の処理の流れを示すフローチャートである。推定サーバの推定は、常に実行することを想定している。なお、前述したように推論処理をAP101で行うように構成することもできる。この場合、推定サーバではなくAP101において図9の各処理が実行されるように構成すればよい。
推定サーバ106はまず、APから入力用のメタデータを含むトラフィックステアリング要求を受信したか否かを判断する(S901)。
トラフィックステアリング要求を受信した場合は、入力用のメタデータを基に学習済みモデルへ入力する(S902)。このとき、受信したメタデータが入力データの形式と異なる場合には、学習用データ生成部332を使って入力データの形式に変換する。
続いて、推定サーバ106は学習モデルからトラフィックステアリング推定結果を取得し(S903)、取得した推定結果をAP101へ送信する(S904)。
なお、図8の処理にて学習モデルを生成後、推定サーバから対象となるAP全てに学習モデルごと配布していてもよい。この場合、本図の処理はAP101の内部で実行されることになる。このとき、AP101はトラフィックステアリング推定結果を得た後、STA102の通信をトラフィックステアリングするべきか否かを判断し、STA102へ通知することになる。
以上のようにして、本発明で示すIEEE 802.11規格で用いるフレームを用いて、APは接続中のSTAのトラフィックステアリング可否を判断し、トラフィックステアリングが必要な場合はSTAへ通知することができる。
なお、トラフィックステアリングの移行先は他のAPに限定されるものではない。例えば、同じAPが提供する別の周波数帯のネットワークに移行させることもできる。本実施形態のトラフィックステアリングの移行処理には、APが複数の周波数帯(2.4GHz/5GHz/6GHz)をサポートしている場合にSTAが接続する周波数帯を切り替えるバンドステアリングなどの移行処理も含まれる。
(変形例)
尚、本実施形態では複数のAPを含む無線通信システムの一例としてメッシュネットワークによる無線通信システムを例示したがこれに限定されるものではない。例えば、複数のAPがアクセスポイントコントローラにより管理及び制御されるエンタープライズ向けの無線通信システムであってもよい。この場合、アクセスポイントコントローラで学習処理や推論処理を行うように構成してもよい。
尚、本実施形態では、IEEE802.11beの後継規格の一例として、IEEE802.11UHRといった規格名称を例示したが限定されるものではない。例えば、規格名称はHRL(High ReLiability)でもよい。また、規格名称はHRW(High Reliability Wireless)でもよい。また、VHT(Very High Reliability)でもよい。また、規格名称はEHR(Extremely High Reliability)でもよい。また、規格名称は単にHR(High Reliability)でもよい。また、LL(Low Latency)でもよい。また、規格名称はVLL(Very Low Latency)でもよい。また、規格名称はELL(Extremely Low Latency)でもよい。また、ULL(Ultra Low Latency)でもよい。また、規格名称はHRLL(High Reliable and Low Latency)でもよい。また、規格名称はURLL(Ultra-Reliable and Low Latency)でもよい。また、規格名称はURLLC(Ultra-Reliable and Low Latency Comminications)でもよい。また、その他の別の名称であってもよい。
(その他の実施形態)
なお、生成部322が生成した学習のためのデータセット(入力値と教師データの組み合わせ)の一部は学習だけでなく、学習済みのデータモデルの性能評価に活用することもできる。推論サーバ106は、生成部322が生成したデータセットの一部を学習には敢えて用いず、評価用のデータセットとして別に記憶しておく。この評価用のデータセットは学習済みモデルデータにとってみると、過去に学習に利用していない未知の入力値と教師データ(正解データ)の組み合わせとなる。
この場合、推論サーバ106は、学習部333で学習を行った学習済みモデルデータと評価用のデータセットの入力値とを用いて推論結果を計算する。続けて、推論結果と、教師データを比較して、学習済みモデルの性能を評価する。
そして、当該性能の評価を行った結果、正答率が所定の閾値(例えば90%)を超えた場合に、推論処理の運用を開始するようにすることができる。
なお、上述の実施形態では、推定サーバにおける学習モデルの生成及び更新処理は、図5で説明した通り、定期的に実施されるものとしたがこれに限定されるものではない。例えば、学習済みモデルデータと、評価用のデータセットを用いた性能の評価を定期的に実行し、その結果に基づき学習済みモデルの更新や作成処理を行うようにしてもよい。例えば、正答率が所定の閾値以下となった場合に、更新処理を実行する。また、正答率が更に低下し、第2の所定の閾値以下となった場合に、現在の学習済みモデルを放棄し、新たな学習済みモデルを構築するように構成してもよい。
更に、本実施形態では、モデルデータの生成に教師あり学習を用いる場合を例示したが、これに限定されるものではない。例えば、教師あり学習と、強化学習を組み合わせて学習モデルを生成するように構成することもできる。この場合、教師データと周辺状況を組み合わせたデータセットは事前学習のためのデータとして用いられる。この場合、推論サーバ106は、周辺環境の教師データと周辺状況を組み合わせたデータセットに基づきデモンストレーションデータを生成する。このデモンストレーションデータは、強化学習の学習初期の足がかりのデータとなる。デモンストレーションデータに基づいた価値関数や方策(ポリシー)の事前学習が完了すると、実際のデータに基づく強化学習、推論のフェーズに進む。言い換えると、教師あり学習相当の模倣学習を行って学習初期のモデルを生成する。続いての強化学習、推定のフェーズでは、推論サーバ106は、マルコフ決定過程に基づき決定されたトラフィックステアリングのための何らかのアクションを行うと決定する。AP101やその他フォロワーAPは当該アクションに基づきトラフィックステアリングを行う。STAや各APは当該ステアリング前後の通信状況を計測する。そして、推論サーバ106は、計測結果に基づきトラフィックステアリングの結果を評価する。
推論サーバ106は、トラフィックステアリングの評価の効果に基づきエージェントに即時報酬を与えるとともに、価値関数を更新する。これらの処理を繰り返すことで、追加学習を行うことができる。この強化学習では、マルコフ決定過程に基づいてアクションの選択を行うため、教師データでは試行されなかった新たなアクションが選択され実行されることがある。そして、推定サーバ106は、この新たなアクションを行った実際の結果にも基づいて、行動の評価を行いエージェントの方策(ポリシー)を調整する。従って追加学習が進むにつれ、エージェントの方策が実環境で評価される内容に調整される。また、時間の経過と観測された評価に基づき価値関数が更新されるため、短期的な行動だけでなく将来を見越した行動が選択されるようになる。このように強化学習を用いると、APと、別APでSTAを押し付けあうようにステアリングが繰り返される、いわゆるピンポンローミングを引き起こすようなアクションは、学習が進むにつれ評価され難くなり、方策として選択され難くなる。また、アクションの結果、一時的にはトラフィックが改善するが、時系列が経過すると他のフォロワーAPに悪影響を及ぼすようなアクションは、学習が進むについて評価され難くなり、方策として選択され難くなる。以上説明した通り、強化学習によるモデルの構築、モデルの更新、推定を行うように適宜変形することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1または複数のプロセッサまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサまたは回路のネットワークを含みうる。
プロセッサまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、またはニューラルプロセッシングユニット(NPU)を含みうる。
101 AP
102 STA
106 推定サーバ

Claims (4)

  1. 通信装置であって
    無線チャネル品質の情報、複数のアクセスポイントの負荷状況を示す情報、トラフィックの特性情報、単位時間における前述のいずれかの情報の時系列データのうち一部あるいはすべての情報を推定の入力データとして取得し、トラフィックステアリングするか否か、する場合にはどのようにステアリングするかを示す情報を計算する計算手段と、
    前記計算手段による計算結果において、自身が接続するSTAのトラフィックステアリングが必要な場合は、自身が接続するSTA又は自身が連携するアクセスポイントのうち一台以上に通信の切り替えに関する情報を通知する通知手段と
    を有することを特徴とする通信装置。
  2. 前記入力データに相当する情報に少なくとも基づき、機械学習を行うことで学習済みモデルデータを生成する生成手段をさらに有し、
    前記計算手段は、前記生成手段で生成された学習済みモデルデータと推論の入力データを用いて推論結果を得る処理が含まれており、少なくとも前記計算手段におけるトラフィックステアリングが必要か否かの計算には、前記推論結果が用いられることを特徴とする請求項1に記載の通信装置。
  3. トラフィックステアリングに関連する制御を行う制御方法であって、
    無線チャネル品質の情報、複数のアクセスポイントの負荷状況を示す情報、トラフィックの特性情報、単位時間における前述のいずれかの情報の時系列データのうち一部あるいはすべての情報を推定の入力データとして取得し、トラフィックステアリングするか否か、する場合にはどのようにステアリングするかを示す情報を計算する計算工程と、
    を有することを特徴とする制御方法。
  4. コンピュータに、
    無線チャネル品質の情報、複数のアクセスポイントの負荷状況を示す情報、トラフィックの特性情報、単位時間における前述のいずれかの情報の時系列データのうち一部あるいはすべての情報を推定の入力データとして取得し、トラフィックステアリングするか否か、する場合にはどのようにステアリングするかを示す情報を計算する計算工程を実行させるためのプログラム。
JP2022110740A 2022-07-08 2022-07-08 通信装置、制御方法、及び、プログラム Pending JP2024008685A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022110740A JP2024008685A (ja) 2022-07-08 2022-07-08 通信装置、制御方法、及び、プログラム
PCT/JP2023/023250 WO2024009800A1 (ja) 2022-07-08 2023-06-23 通信装置、制御方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022110740A JP2024008685A (ja) 2022-07-08 2022-07-08 通信装置、制御方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2024008685A true JP2024008685A (ja) 2024-01-19

Family

ID=89453289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022110740A Pending JP2024008685A (ja) 2022-07-08 2022-07-08 通信装置、制御方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JP2024008685A (ja)
WO (1) WO2024009800A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596864B (zh) * 2020-04-30 2023-08-22 华为技术有限公司 终端漫游引导方法、装置、设备以及计算机可读存储介质
US11503537B2 (en) * 2020-12-02 2022-11-15 Qualcomm Incorporated Trigger-client based client steering in mesh networks

Also Published As

Publication number Publication date
WO2024009800A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
US11109283B1 (en) Handover success rate prediction and management using machine learning for 5G networks
WO2023087442A1 (zh) 数字孪生网络低时延高可靠传输方法、装置、设备及介质
JP2021006988A (ja) Icnベースネットワークにおけるルーティング更新
CN111328065B (zh) 基于动态规划的5g云接入网移动性协作管理方法
Wang et al. Reinforcement learning based congestion control in satellite Internet of Things
Ashtari et al. Knowledge-defined networking: Applications, challenges and future work
Kim et al. Extended OLSR and AODV based on multi-criteria decision making method
CN113993168B (zh) 一种雾无线接入网中基于多智能体强化学习的协作缓存方法
WO2024009800A1 (ja) 通信装置、制御方法、及び、プログラム
Gures et al. A comparative study of machine learning-based load balancing in high-speed
US11930414B2 (en) Hierarchical policy learning for hybrid communication load balancing
WO2024009801A1 (ja) 通信装置、制御方法、及び、プログラム
CN116828534A (zh) 基于强化学习的密集网络大规模终端接入与资源分配方法
Dinh et al. Deep reinforcement learning-based offloading for latency minimization in 3-tier v2x networks
CN113507738B (zh) 一种移动自组网路由决策方法
Nouruzi et al. Toward a smart resource allocation policy via artificial intelligence in 6G networks: Centralized or decentralized?
WO2023011992A1 (en) Orchestrating acquisition of training data
CN115865761A (zh) 一种考虑阻塞反馈的网络实体任务活动代价评估方法
CN116155805A (zh) 分布式智能路由方法、系统、电子设备和存储介质
WO2024009799A1 (ja) 通信装置、制御方法、及び、プログラム
CN113473408B (zh) 一种车联网中实现视频传输的用户关联方法及系统
CN110933687A (zh) 一种基于解耦的用户上下行接入方法及系统
CN115426327B (zh) 算力调度方法、装置、电子设备和存储介质
WO2024009797A1 (ja) 通信装置、制御方法、及び、プログラム
Wang et al. Multi-Agent Deep Reinforcement Learning for Cooperative Edge Caching via Hybrid Communication

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213