JP7385869B2 - 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム - Google Patents
無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム Download PDFInfo
- Publication number
- JP7385869B2 JP7385869B2 JP2020122332A JP2020122332A JP7385869B2 JP 7385869 B2 JP7385869 B2 JP 7385869B2 JP 2020122332 A JP2020122332 A JP 2020122332A JP 2020122332 A JP2020122332 A JP 2020122332A JP 7385869 B2 JP7385869 B2 JP 7385869B2
- Authority
- JP
- Japan
- Prior art keywords
- wireless communication
- reward
- communication terminals
- utility
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 180
- 238000000034 method Methods 0.000 title claims description 43
- 238000005457 optimization Methods 0.000 title claims description 17
- 230000009471 action Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 description 32
- 238000011156 evaluation Methods 0.000 description 19
- 230000006399 behavior Effects 0.000 description 16
- 230000002787 reinforcement Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
Description
1.各無線通信システム内での通信容量を最大化する。
2.同じ周波数リソースを共有する無線通信システム同士で、全体としての最適化を実現する。即ち、各無線通信システムで定められた、スループット達成率などの評価項目について公平性を実現する。
[実施の形態1の構成]
本発明の実施形態1の無線通信システムは、図1に示す構成例により実現することができる。図1において、中段に示す無線通信端末1~Nは、夫々Access Point(AP)として機能する。これらは、図1の下段に示す無線通信端末N+1~N+Mと通信することができる。無線通信端末N+1~N+Mは、スマートフォン、IoT用のセンサ、スマートメータ等で構成されている。このように、図1に示す構成には、同じ周波数リソースを共用するが、規格や仕様が異なる複数の無線通信システムが含まれている。
1.エージェント12は、環境14から状態S(t)と報酬R(t)を受け取り、方策πに基づいて決定した行動A(t)を環境14に返す。
2.環境14は、エージェント12から受け取った行動A(t)と現在の状態S(t)とに基づいて次の状態S(t+1)に変化し、遷移後の状態S(t+1)と報酬R(t+1)をエージェント12に提供する。尚、報酬Rは、その直前の行動Aの良し悪しを示すスカラー量である。
図3は、本実施形態の無線通信システムにおいて実施される強化学習のモデルを示す。本実施形態では、条件の異なる複数の無線通信システムを対象として、個々の評価と各条件の評価とを実施して最適化を図る。複数の無線通信システムは、夫々の条件に基づいてグループ化することができる。図3に示すモデルでは、3つのグループが存在し、グループ毎にエージェントが存在している。
まず、環境として無線通信端末がn個、利用できる周波数チャネルの数がk個存在する状況を想定する。ある時間において各通信端末はk個のチャネルの中から1つを選択しそのチャネルの利用を試みるか、チャネルの利用をしないという(k+1)個の選択肢の中から1つの行動をとるものとする。その際、各端末は自身の取った行動に対して、他の端末と選択したチャネルが重ならず、チャネルの利用ができた場合にはACKを受け取り、他のいずれかの端末1つとでも同じチャネルを選択してしまった場合にはACKを受け取れない。このACKの受け取りの成否を各端末の報酬とみなす。各端末の行動とそれに対しての結果の報酬をある時間における状態としてみなすことにする。また別の報酬として、一定時間ごとの各端末の総接続数(ACKを受け取った無線通信端末の数)から計算した効用関数を定義する。
図4に示すアルゴリズムによれば、先ず、n人のユーザiの行動選択の手法が決定される(ステップ100)。
1.学習結果を利用することなく無作為の行動を決定する手法(ステップ102)
2.Main-netを用いた学習を利用する手法(ステップ104、106)
3.Fair-netを用いた学習を利用する手法(ステップ108、110)
ここで、一定確率でランダムにチャネルを選択する理由は、学習が局所解に陥ることを防止し、学習を効率的に進めるためである。
次に、図1と共に図5および図6を参照して、本発明の実施の形態2について説明する。本実施形態の無線通信システムは、実施の形態1の場合と同様に、図1に示す構成により実現することができる。本実施形態のシステムは、端末の行動を決定する手法、並びにQ関数を学習する手法が異なる点を除いて、実施の形態1の場合と同様である。
図5は、本実施形態の無線通信システムにおいて実施される強化学習のモデルを示す。図5に示すモデルでは、図3に示すモデルが実行する処理に加えて、3つのグループの全てを対象とする全体評価が実施される。この全体評価は、同じ環境14の下で作動する全ての無線通信端末について、公平性の最適化を図るために実行される。
12、12-1、12-2、12-3 エージェント
14 環境
S、s 状態
R、r 報酬
A、a 行動
Claims (8)
- 複数の無線通信端末を含む無線通信システムの最適化方法であって、
個々の無線通信端末について、環境から提供される状態に基づいて、最高の報酬が得られるように行動を決定するステップと、
前記行動が前記環境に返されることで、前記無線通信端末が得る個別の報酬を計算するステップと、
複数の無線通信端末の夫々に対する前記個別の報酬に基づいて、前記複数の無線通信端末の公平性を表す効用を計算するステップと、
個々の無線通信端末に対する報酬を、前記個別の報酬と前記効用とに基づいて計算する報酬計算ステップと、
を含み、
前記行動は、特定の周波数チャネルの使用または周波数チャネルの不使用であり、
前記個別の報酬は、前記特定の周波数チャネルの利用の成否を表す値を含む無線通信システムの最適化方法。 - 前記複数の無線通信端末は、通信規格および要求条件の少なくとも一方が同じであるグループに属する複数の無線通信端末を含み、
前記効用は、前記グループに対して計算され、
前記報酬計算ステップでは、前記個別の報酬と前記グループに対する効用とに基づいて、当該グループに属する無線通信端末の報酬が計算される
請求項1に記載の最適化方法。 - 前記複数の無線通信端末は、複数のグループに分類され、
複数のグループの夫々に対する前記効用に基づいて、前記複数の無線通信端末の全てを対象とした公平性を表す全体効用を計算するステップを含み、
前記報酬計算ステップでは、前記個別の報酬と前記グループに対する効用と前記全体効用とに基づいて、当該グループに属する無線通信端末の報酬が計算される
請求項2に記載の最適化方法。 - 前記効用は、前記複数の無線通信端末のうち通信の成功を意味するACKを受け取った端末の数に基づいて計算される請求項1乃至3の何れか1項に記載の最適化方法。
- 前記効用は、前記複数の無線通信端末を、スループットおよびトラヒック負荷から計算される公平性で評価した値である請求項1乃至3の何れか1項に記載の最適化方法。
- 前記効用は、前記複数の無線通信端末に対する要求条件から計算されるアウテージ端末数に基づいて計算され、
前記アウテージ端末は、要求された通信品質を満たさないアウテージの状態に陥っている無線通信端末である請求項1乃至3の何れか1項に記載の最適化方法。 - 複数の無線通信端末を含む無線通信システムであって、
前記複数の無線通信端末から無線環境情報を受け取ると共に、当該複数の無線通信端末に制御情報を提供する制御サーバを備え、
当該制御サーバは、
個々の無線通信端末について、環境から提供される状態に基づいて、最高の報酬が得られるように行動を決定する処理と、
前記行動が前記環境に返されることで、前記無線通信端末が得る個別の報酬を計算する処理と、
複数の無線通信端末の夫々に対する前記個別の報酬に基づいて、前記複数の無線通信端末の公平性を表す効用を計算する処理と、
個々の無線通信端末に対する報酬を、前記個別の報酬と前記効用とに基づいて計算する処理と、を実行し、
前記行動は、特定の周波数チャネルの使用または周波数チャネルの不使用であり、
前記個別の報酬は、前記特定の周波数チャネルの利用の成否を表す値を含む無線通信システム。 - 複数の無線通信端末から無線環境情報を受け取ると共に当該複数の無線通信端末に制御情報を提供する制御サーバに実装される無線通信システム用プログラムであって、
当該制御サーバに、
個々の無線通信端末について、環境から提供される状態に基づいて、最高の報酬が得られるように行動を決定する処理と、
前記行動が前記環境に返されることで、前記無線通信端末が得る個別の報酬を計算する処理と、
複数の無線通信端末の夫々に対する前記個別の報酬に基づいて、前記複数の無線通信端末の公平性を表す効用を計算する処理と、
個々の無線通信端末に対する報酬を、前記個別の報酬と前記効用とに基づいて計算する処理と、
を実行させるためのプログラムを含み、
前記行動は、特定の周波数チャネルの使用または周波数チャネルの不使用であり、
前記個別の報酬は、前記特定の周波数チャネルの利用の成否を表す値を含む無線通信システム用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122332A JP7385869B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122332A JP7385869B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022018901A JP2022018901A (ja) | 2022-01-27 |
JP7385869B2 true JP7385869B2 (ja) | 2023-11-24 |
Family
ID=80203459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020122332A Active JP7385869B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7385869B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024038556A1 (ja) * | 2022-08-18 | 2024-02-22 | 日本電気株式会社 | 情報処理装置、情報処理方法、情報処理システム、コンピュータ可読媒体、及び生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015534772A (ja) | 2012-09-29 | 2015-12-03 | アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド | 無線インターフェースを介して複数のブロードバンド接続を集約するための最適化コントロールシステム |
JP2016158305A (ja) | 2012-11-12 | 2016-09-01 | 日本電信電話株式会社 | 無線通信装置、無線通信システム及び無線通信方法 |
JP2019208188A (ja) | 2018-05-30 | 2019-12-05 | 日本電信電話株式会社 | 通信システム、トラヒック制御装置及びトラヒック制御方法 |
JP2020092368A (ja) | 2018-12-07 | 2020-06-11 | 株式会社国際電気通信基礎技術研究所 | 通信システム、アクセスポイント、通信方法、および、プログラム |
-
2020
- 2020-07-16 JP JP2020122332A patent/JP7385869B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015534772A (ja) | 2012-09-29 | 2015-12-03 | アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド | 無線インターフェースを介して複数のブロードバンド接続を集約するための最適化コントロールシステム |
JP2016158305A (ja) | 2012-11-12 | 2016-09-01 | 日本電信電話株式会社 | 無線通信装置、無線通信システム及び無線通信方法 |
JP2019208188A (ja) | 2018-05-30 | 2019-12-05 | 日本電信電話株式会社 | 通信システム、トラヒック制御装置及びトラヒック制御方法 |
JP2020092368A (ja) | 2018-12-07 | 2020-06-11 | 株式会社国際電気通信基礎技術研究所 | 通信システム、アクセスポイント、通信方法、および、プログラム |
Non-Patent Citations (2)
Title |
---|
山▲崎▼ 周 他1名,強化学習を用いた輻輳制御における公平性に関する一検討,電子情報通信学会技術研究報告 Vol.119 No.194,日本,一般社団法人電子情報通信学会,2019年08月29日,第119巻,第194号,13~18頁 |
相原 直紀 他4名,ニューラルネットワークに基づくQ学習を用いた無線リソース割り当て手法,電子情報通信学会技術研究報告 Vol.118 No.434,日本,一般社団法人電子情報通信学会,2019年01月24日,第118巻,第434号,109-114頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2022018901A (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109947545B (zh) | 一种基于用户移动性的任务卸载及迁移的决策方法 | |
EP2043398B1 (en) | Method for reducing inter-cell interference in wireless ofdma networks | |
CN111711666B (zh) | 一种基于强化学习的车联网云计算资源优化方法 | |
Roy et al. | Optimized secondary user selection for quality of service enhancement of two-tier multi-user cognitive radio network: a game theoretic approach | |
Balakrishnan et al. | Deep reinforcement learning based traffic-and channel-aware OFDMA resource allocation | |
JP7385869B2 (ja) | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム | |
Gao et al. | Com-DDPG: A multiagent reinforcement learning-based offloading strategy for mobile edge computing | |
CN111741450A (zh) | 网络流量预测方法、装置和电子设备 | |
CN115529604A (zh) | 一种基于服务器协作的联合资源分配与多元任务卸载方法 | |
Venkatraman et al. | Cooperative Q-learning for multiple secondary users in dynamic spectrum access | |
Shoaei et al. | Learning-based hybrid TDMA-CSMA MAC protocol for virtualized 802.11 WLANs | |
He et al. | Confect: Computation offloading for tasks with hard/soft deadlines in edge computing | |
Mir et al. | A continuous time Markov model for unlicensed spectrum access | |
JP7388634B2 (ja) | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム | |
Dongare et al. | Deep reinforcement learning for task allocation in energy harvesting mobile crowdsensing | |
Yao et al. | Cognitive radio spectrum decision based on channel usage prediction | |
Sirhan et al. | Cognitive Radio Resource Scheduling using Multi agent QLearning for LTE | |
Wen et al. | Application association and load balancing to enhance energy efficiency in heterogeneous wireless networks | |
JP6652762B2 (ja) | チャネル選択方法 | |
CN118075786B (zh) | 一种异品牌ac-ap协同优化方法 | |
Yen et al. | Link-preserving channel assignment game for wireless mesh networks | |
Chai et al. | Joint pricing and spectrum allocation for cognitive radio network | |
Fu et al. | Stochastic game formulation for cognitive radio networks | |
CN110233762A (zh) | 一种利用mab提升全双工csma网络吞吐量的方法 | |
Ren et al. | Learning-driven service caching in MEC networks with bursty data traffic and uncertain delays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7385869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |