JP7270914B2

JP7270914B2 - 無線通信制御方法、無線通信システム、無線端末、及び無線通信プログラム

Info

Publication number: JP7270914B2
Application number: JP2020034683A
Authority: JP
Inventors: 佳佑若尾; 憲一河村; 貴庸守山; ヒランタアベセカラ; 泰司鷹取; めぐみ金子; ディンティハーリー
Original assignee: Nippon Telegraph and Telephone Corp; Inter University Research Institute Corp Research Organization of Information and Systems
Current assignee: Nippon Telegraph and Telephone Corp; Inter University Research Institute Corp Research Organization of Information and Systems
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2023-05-11
Anticipated expiration: 2040-03-02
Also published as: JP2021141356A

Description

本発明は、無線通信制御方法、無線通信システム、無線端末、及び無線通信プログラムに関する。

現在、多様な無線通信システムが広く普及している。例えば、免許帯の無線通信システムであるセルラシステムは、現在第４世代の無線通信規格が商用化されており、径が大小のセルを組み合わせながら、移動無線端末を収容している。また、免許不要帯で普及している無線通信システムとしては、まず無線ＬＡＮシステムが挙げられ、国内では２．４／５／６０ＧＨｚ帯の無線周波数を利用して数～数十ｍの径に存在する無線端末に対して広帯域な無線通信が提供されている。また、別の免許不要帯の無線通信システムとして挙げられるＬＰＷＡ（Low Power Wide Area）は、数～数ｋｍの広大な径に存在する無線端末に対して低消費電力で無線通信を提供できることから、モノのインターネットサービスを収容することに適している。

このように、多様な無線通信システムの中から、無線サービスの要求に応じて適した無線通信システムを選択できる無線通信環境が普及している。また、無線通信システム群のうち、大容量を目的としたものは、エリア容量増大のために無線基地局の高密度化が進んでいる。例えば、無線端末の周りに十分無線通信を実施できるほどの強い受信電力で検出される無線基地局が１台以上存在するような無線環境が増えている。

結果として、無線端末が選択できる無線アクセスの自由度は、無線通信システムの種類及び無線基地局台数の両面で、大きくなっている。この自由度を活かして、複数の無線アクセスに同時接続してロードバランシングやフレーム冗長送信を行う無線通信プロトコルが開発されている（例えば非特許文献１参照）。例えば、セルラ回線と無線ＬＡＮ回線を同時に用いることにより、無線通信環境を安定化させることができる。

無線端末主導の自律分散制御によって無線仮想インターフェースの無線基地局帰属先制御を実施する構成は、制御演算処理の簡便さから有力な構成の１つである。しかしながら、この場合、従来技術では段階的に以下の３点の課題が生じる。

１点目の課題は、無線基地局での輻輳が生じやすいという点である。従来の技術では、無線通信伝送レート最大化の観点から、主に無線端末での受信電力が最大の無線基地局へ接続される。しかしながら、大容量を要する無線仮想インターフェースがある無線基地局の周りに集中している場合、該無線基地局の無線通信の最大伝送レートを超えて輻輳し、各無線仮想インターフェースの要求を満足できなくなる。

２点目の課題は、従来技術では、無線通信環境の安定性を考慮した無線通信制御アルゴリズムとはなっていないが、この場合に観測された無線通信環境を入力した時に、無線通信品質が劣化してしまう設定を出力してしまう可能性がある点である。例えば、１点目に挙げた課題を克服し、無線基地局の利用率の情報を収集する手段を具備して、無線端末がある時点についての適切な無線基地局を選択できるとする。しかしながら、観測された無線通信環境が瞬時的なものである場合、例えば、無線仮想インターフェースの出入りが激しい場合などに、該無線基地局は、一時的に当初の無線仮想インターフェースのトラヒックの収容には成功できるが、新たな無線仮想インターフェースが該無線基地局へ帰属してきた場合に、直ちに輻輳が生じる。

３点目の課題は、無線端末が収集する情報の状態数が膨大であり、統計的な手法で制御を実施する手法が適用できない点である。２点目の課題を克服するには、強化学習やパターンマッチングなどの統計的な制御手法により、情報収集によって取得された無線通信環境が安定なのか不安定なのか、各場合で各無線仮想インターフェースが帰属すべき無線基地局はいずれなのか、といった判断機能を経験的に取得するアプローチが有効となる。

しかしながら、上記制御手法では、いずれも無線通信環境を事前に離散化された状態として定義したうえで、現時点で取得された無線通信環境がどの状態に属するかを判定した後に、該状態における無線仮想インターフェースの適切な帰属先無線基地局を決定するという手順を踏む必要がある。一方で、信号の受信強度やトラヒックのデータレートなど、無線通信品質情報のほとんどは、連続値で定義される。よって、各数値の型でそのまま離散状態を定義してしまうと、あまりに膨大な状態数となり、状態の判定処理が収束しなくなるという課題がある。

特に、無線端末のインターフェース（ＩＦ）数、及び、接続先候補となる基地局台数が巨大な値となる場合、判定処理を収束させることが困難になる場合がある。

Atefeh Hajijamali Arani, 外４名, "Distributed Learning for Energy-Efficient Resource Management in Self-Organizing Heterogeneous Networks", IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, OCTOBER 2017, VOL. 66, NO. 10, p.9287-9303

本発明は、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を効率的に抑えることができる無線通信制御方法、無線通信システム、無線端末、及び無線通信プログラムを提供することを目的とする。

本発明の一態様にかかる無線通信制御方法は、複数の無線端末と複数の無線基地局とが行う無線通信を制御する無線通信制御方法において、前記無線基地局それぞれは、他の無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する通知工程を実行し、前記無線端末それぞれは、通知された品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出工程と、過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶工程と、記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新工程と、パラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出工程と、算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する帰属先記録工程とを実行することを特徴とする。

本発明の一態様にかかる無線通信システムは、複数の無線端末と複数の無線基地局とを備えた無線通信システムにおいて、前記無線基地局それぞれは、他の無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する情報通知部を有し、前記無線端末それぞれは、通知された品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出部と、過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶部と、前記記憶部が記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新部と、前記ＤＱＮ／ＤＤＱＮ更新部がパラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出部と、算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する帰属先記録部とを有することを特徴とする。

本発明の一態様にかかる無線端末は、複数の無線基地局と無線通信を可能にされた無線端末において、複数の前記無線基地局から通知された複数の前記無線基地局に帰属する複数の無線端末との間の無線通信品質に基づく品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出部と、過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶部と、前記記憶部が記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新部と、前記ＤＱＮ／ＤＤＱＮ更新部がパラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出部と、算出した帰属情報に基づいて当該無線端末の帰属先を更新するように帰属情報を記録する帰属先記録部とを有することを特徴とする。

本発明によれば、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を効率的に抑えることができる。

一実施形態にかかる無線通信システムの基本構成例を示す図である。状態と行動との組合せごとに得られるＱ値の概要を示す図である多数の無線基地局が配置され、無線端末が多くのインターフェースを備えている無線通信システムの構成例を示す図である。無線端末が備える記憶部が記憶する実績データを例示する図である。無線端末が行うＤＱＮのＱ値の予測関数を示す図である。無線端末が記憶していた上述の実績データを用いて予測関数を学習した場合の効果を模式的に示す図である。一実施形態にかかる無線通信システムの具体的な構成例を示す図である。無線通信システムにおける無線基地局が品質測定情報などの情報を互いに交換する情報交換経路を示す図である。一実施形態にかかる無線基地局の構成例を示す図である。一実施形態にかかる無線端末の構成例を示す図である。無線通信システムにおける動作を示すための変数を示す図である。（ａ）は、無線端末から無線基地局への接続要求を示す図である。（ｂ）は、無線端末が無線基地局との接続を決定した状態を示す図である。ＤＱＮの構成例を示す図である。ＤＤＱＮの構成例を示す図である。ＤＱＮ又はＤＤＱＮの更新処理を示す図である。完全に割当てられたＤＱＮ又はＤＤＱＮにおける無線基地局から無線端末へのフィードバックを示す図である。部分的に割当てられたＤＱＮ又はＤＤＱＮにおける無線基地局から無線端末へのフィードバックを示す図である。一実施形態にかかる無線端末のハードウェア構成例を示す図である。

以下に、図面を用いて無線通信システムの一実施形態を説明する。図１は、一実施形態にかかる無線通信システム１０の基本構成例を示す図である。図１に示すように、無線通信システム１０は、例えば２台の無線基地局２０及び無線端末３０を有する。なお、無線基地局２０及び無線端末３０の台数は限定されない。

無線端末３０は、第１の周波数帯で無線通信を行う第１インターフェース（ＩＦ）と、第２の周波数帯で無線通信を行う第２インターフェース（ＩＦ）とを備え、無線基地局２０との間で無線通信を可能にさている。なお、無線端末３０において、インターフェース（ＩＦ）の数は限定されない。

無線端末３０は、過去の状態、行動、報酬、行動後の遷移先状態の実績データを蓄積する記憶部を備え、当該記憶部が記憶するデータを用いてＤＱＮ（Deep Q-Network）又はＤＤＱＮ（Double DQN）によるＱ値の予測関数を学習する。

具体的には、無線端末３０は、（１）状態Ｓを検知し、（２）ＤＱＮ又はＤＤＱＮが出力するＱ値を参照して、（３）行動Ａを実施し、（４）報酬γを無線基地局２０から受信する一連の処理を複数回繰り返し実施する。

図２は、離散的な状態と行動との組合せごとに得られるＱ値の概要をテーブル形式で示した図である。なお、本発明では、ＤＱＮ又はＤＤＱＮの各出力が、状態と行動との各組合せに対応したＱ値となるため、従来のＱ学習で用いられるようなＱテーブルは不要である。

状態は、現在の品質測定情報を離散的に表している。行動は、第１インターフェース又は第２インターフェースによる基地局への帰属先の組合せを示している。

そして、無線端末３０は、（５）ＤＱＮ又はＤＤＱＮのパラメータを例えば確率的勾配降下法等で更新して、再び（１）の処理に戻る。

無線通信システム１０は、図３に示すように、多数の無線基地局２０が配置され、無線端末３０が多くのインターフェース（ＩＦ）を備えている場合には、無線端末３０が、上述した処理に基づく状態、行動、報酬、行動後の遷移先状態の実績データを記憶部へ蓄積する。

図４は、無線端末３０が備える記憶部が記憶する実績データを例示する図である。図４に示すように、無線端末３０は、状態Ｓ、行動ａ、報酬γ、行動ａ後の遷移先状態ｓ’の実績データを記憶部へ蓄積する。

そして、無線端末３０は、ＤＱＮ又はＤＤＱＮのパラメータの更新を行う。ＤＱＮ（又はＤＤＱＮ）は、状態情報を入力とし、各行動ごとに該当状態・行動に関するＱ値を出力する予測関数を備え、無線端末３０の記憶部が蓄積するデータに基づいて当該予測関数を学習する。

図５は、無線端末３０が行うＤＱＮのＱ値の予測関数を示す図である。無線端末３０は、記憶部が記憶した上述の実績データを用いて予測関数を学習する。

そして、無線端末３０は、再び（１）の処理に戻る。

図６は、無線端末３０が記憶していた上述の実績データを用いて予測関数を学習した場合の効果を模式的に示す図である。本発明ではＱテーブルを使用しないが、図６では、従来のＱ学習との違いをＱテーブルにより示している。無線端末３０は、ＤＱＮ又はＤＤＱＮによりＱテーブル１要素分（Ｓ，Ａ）の更新処理を他の要素の更新へ波及させることにより、状態の判定処理の収束を高速化させることができる。

次に、一実施形態にかかる無線通信システム１０のより具体的な構成について説明する。図７は、一実施形態にかかる無線通信システム１０の具体的な構成例を示す図である。

図７に示すように、無線通信システム１０は、複数の無線基地局２０がネットワーク１００に対してそれぞれスイッチ１０２を介して接続されている。ここで、無線基地局２０それぞれは、ネットワーク１００を介した有線通信経路によって互いに接続されている。また、無線基地局２０は、無線通信によって他の無線基地局２０との間で通信を行うことも可能にされている。

無線基地局２０の周囲には、無線基地局２０との間で無線通信を行う複数の無線端末３０が位置している。無線端末３０は、例えばＲＳＳＩ（Received Signal Strength Indicator）の強度などの物理的な信号によって無線基地局２０に対する帰属を決定する１つ以上の無線物理インターフェース、及び、受信信号を演算処理した結果に応じて無線基地局２０に対する帰属を決定する１つ以上の無線仮想インターフェースのいずれかによって無線基地局２０に接続される。無線仮想インターフェースは、例えば強化学習によって無線基地局２０に対する無線端末３０の帰属先を制御する。

ここで、無線端末３０は、無線基地局２０から通知される品質測定情報に基づいて、帰属する無線基地局２０を選択する自律分散制御を行う。品質測定情報は、無線基地局２０が帰属する無線端末３０との間の無線通信品質を測定した情報と、他の無線基地局２０における無線端末３０との間の無線通信品質を測定した情報とを含むものとする。なお、無線端末３０は、周辺の１つ以上の無線基地局２０に対して帰属可能であり、遠方の無線基地局２０に対しては帰属外となる。

図８は、無線通信システム１０における無線基地局２０が品質測定情報などの情報を互いに交換する情報交換経路を示す図である。図８において太矢印で示した情報交換経路は、有線区間（有線通信経路）と無線区間（無線通信経路）の２種類に分類される。有線区間では、スイッチ１０２及びネットワーク１００を介して情報が交換される。無線区間には、無線基地局２０が他の無線基地局２０との間で無線通信を直接行う区間と、無線基地局２０が無線端末３０を介して他の無線基地局２０と無線通信を行う区間とがある。つまり、無線端末３０は、無線基地局２０と他の無線基地局２０との間の通信を中継することも可能にされている。

例えば、無線端末３０が無線基地局２０の相互の通信を中継しない場合には、無線基地局２０は、自局が測定した品質測定情報を周囲の他の無線基地局２０へ送信することにより、それぞれの品質測定情報を交換する。

また、無線端末３０が無線基地局２０の相互の通信を中継する場合には、無線基地局２０は、自局が測定した品質測定情報を周囲の無線端末３０へ通知する。そして、無線端末３０は、通知された品質測定情報を周囲の他の無線基地局２０へ通知する。無線端末３０は、複数の無線通信アプリケーションを実行し、情報を中継する場合に無線通信規格（無線通信方式）を他の無線通信規格に変換し、他の無線通信規格で無線基地局に通知するように構成されてもよい。また、無線端末３０及び無線基地局２０は、互いに複数の無線通信規格によって無線通信を行う複数の無線通信アプリケーションを備え、品質測定情報が無線通信アプリケーションそれぞれにおける無線通信品質に基づくようにされてもよい。

図９は、一実施形態にかかる無線基地局２０の構成例を示す図である。図９に示すように、無線基地局２０は、アンテナ部２１、無線通信部２２、通信Ｉ／Ｆ部２３、品質測定部２４、情報通知部２５、要求情報評価部２６、要求応答通知部２７及び帰属情報記録部２８を有する。

無線基地局２０は、アンテナ部２１を介して所定の規格の電波を送受信し、無線通信部２２が行う処理により、無線端末３０及び他の無線基地局２０との間で無線通信を行う。無線通信部２２は、高周波（RF：Radio Frequency）の信号を処理するＲＦ部２２０と、無線通信メディアアクセス制御（ＭＡＣ）の機能を備えたＭＡＣ機能部２２２とを有する。通信Ｉ／Ｆ部２３は、ネットワーク１００（図７）などによって構成される有線区間を介して通信を行うインターフェースである。

品質測定部２４は、無線環境測定部２４０及びトラヒック測定部２４２を有し、当該無線基地局２０（自局）に帰属する無線端末３０との間の無線通信品質を測定し、自局の無線通信品質に基づく品質測定情報を品質測定情報算出処理によって算出して取得する。無線環境測定部２４０は、無線通信の環境の測定を行い無線環境情報を取得する。トラヒック測定部２４２は、無線通信のトラヒックの測定を行いトラヒック情報を取得する。品質測定情報は、例えば無線環境情報及びトラヒック情報に基づいて算出される。また、品質測定情報は、無線通信における受信電力、要求データレート及び無線基地局の帯域の使用率を含んでもよい。

無線基地局２０は、他の無線基地局２０（他局）おいて帰属する無線端末３０との間の無線通信品質を示す品質測定情報に関しては、通信Ｉ／Ｆ部２３を介して有線区間の情報を取得し、無線通信部２２を介して無線区間の情報を取得する。そして、品質測定部２４は、自局及び他局から取得した品質測定情報を集約させる。

情報通知部２５は、品質測定部２４が集約させた品質測定情報を無線通信部２２を介して無線端末３０へ通知する。例えば、情報通知部２５は、他の無線基地局２０と当該無線基地局２０に帰属する無線端末３０との間の無線通信品質、及び他の無線基地局２０における帰属する他の無線端末３０との間の無線通信品質に基づく品質測定情報を無線端末３０それぞれに通知する。

要求情報評価部２６は、無線通信部２２を介して無線端末３０から後述する帰属要求を受けると、無線端末３０の帰属の可否（帰属先の変更・更新の可否）を判断する。

要求応答通知部２７は、要求情報評価部２６が無線端末３０の帰属先の更新を許可した場合、その旨を要求応答として無線端末３０へ無線通信部２２を介して通知する。

帰属情報記録部２８は、要求情報評価部２６が無線端末３０の帰属先の更新を許可した場合、無線端末３０の帰属先を管理する管理情報を更新して記録する。

図１０は、無線端末３０の構成例を示す図である。図１０に示すように、無線端末３０は、アンテナ部３１、無線通信部３２、制御情報算出部３３、帰属先要求部３４、帰属先記録部３５、及び記憶部３６を有する。

無線端末３０は、アンテナ部３１を介して所定の規格の電波を送受信し、無線通信部３２が行う処理により、無線基地局２０との間で無線通信を行う。無線通信部３２は、高周波の信号を処理するＲＦ部３２０と、無線通信メディアアクセス制御（ＭＡＣ）の機能を備えたＭＡＣ機能部３２２とを有する。そして、無線端末３０は、無線通信部３２を介して無線基地局２０が送信する品質測定情報を取得する。

制御情報算出部３３は、状態算出部３３０、報酬算出部３３２、ＤＱＮ／ＤＤＱＮ更新部３３４及び帰属先算出部３３６を有し、例えば強化学習を用いた無線仮想インターフェースによって無線基地局２０への帰属先を制御する。

状態算出部３３０は、無線通信部３２を介して品質測定情報を取得し、品質測定情報を離散的に表す”状態”を算出し、算出した”状態”を記憶部３６に対して出力する。また、状態算出部３３０は、”行動”による”遷移先の状態”も算出し、算出した”遷移先の状態”を記憶部３６に対して出力する。

報酬算出部３３２は、品質測定情報に基づく”報酬”を算出し、算出した”報酬”を記憶部３６に対して出力する。例えば、報酬算出部３３２は、通知された品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局２０の無線インターフェースそれぞれに帰属する無線端末３０の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する。

ＤＱＮ／ＤＤＱＮ更新部３３４は、ＤＱＮ又はＤＤＱＮを備え、離散的な”状態”それぞれにおける”行動”が選択された場合のＤＱＮ又はＤＤＱＮのパラメータを保持・管理するとともに、ＤＱＮ又はＤＤＱＮによって得られたＱ値を帰属先算出部３３６に対して出力する。

そして、ＤＱＮ／ＤＤＱＮ更新部３３４は、記憶部３６が記憶した過去の”状態”、”行動”、”報酬”、及び行動後の”遷移先の状態”をランダムサンプリングして利用し、ＤＱＮ又はＤＤＱＮのパラメータを更新（利得を補正）する。例えば、ＤＱＮ／ＤＤＱＮ更新部３３４は、状態を入力とし、行動ごとにＱ値を出力する予測関数を学習する。

なお、利得は、無線基地局２０と無線端末３０の間の無線通信におけるデータレート、要求データレート、平均パケットサイズ、及び無線基地局２０の帯域使用率等に基づいて算出される。

帰属先算出部３３６は、ＤＱＮ／ＤＤＱＮ更新部３３４が出力したＱ値に基づいて帰属先算出処理を行い、無線通信品質を向上可能な無線基地局２０の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する。例えば、帰属先算出部３３６は、無線通信品質を高めるために最適な無線基地局２０の無線インターフェースを新たな帰属先として選択する帰属情報を算出する。

帰属先要求部３４は、帰属している無線基地局２０の無線インターフェース、又は帰属先算出部３３６が算出した帰属情報により選択される無線基地局２０の無線インターフェースなどに対し、帰属先を変更する許可を求める帰属要求を無線通信部３２を介して通知する。

帰属先記録部３５は、無線端末３０が帰属先の更新を許可する要求応答を無線基地局２０から受信した場合、帰属先算出部３３６が算出した帰属情報に基づいて帰属先を更新するように帰属情報を記録する。つまり、帰属先記録部３５は、帰属先を管理する管理情報を帰属情報によって更新する。

次に、無線通信システム１０が実行する無線通信制御アルゴリズム（無線通信制御方法）について説明する。

まず、無線端末３０がある行動によって無線仮想インターフェースを無線基地局２０に帰属させると、無線基地局２０は、帰属している無線端末３０及び周囲の無線端末３０の無線仮想インターフェース群の現在の無線通信品質を測定し、自局の無線通信品質に基づく品質測定情報を品質測定情報算出処理によって算出する。

無線基地局２０は、必要に応じて他の無線基地局２０（他局）おいて帰属する無線端末３０との間の無線通信品質を示す品質測定情報を取得するように情報交換を行い、自局及び他局から取得した品質測定情報を集約させる。

そして、無線基地局２０は、集約させた品質測定情報を無線端末３０へ通知する。

無線端末３０は、通知された品質測定情報に基づいて、現在の状態と他の無線端末３０へ与える報酬を算出する。報酬は、ＤＱＮ／ＤＤＱＮ更新部３３４が管理するＤＱＮ又はＤＤＱＮのパラメータを補正する値である。

次に、無線通信システム１０の動作について詳述する。なお、無線通信システム１０における動作を示すために、ここでは図１１に示された変数を用いる。

無線通信システム１０は、無線端末ｋ内のアプリケーションｆの要求帯域Ｒ_ｋｆを必要最低限にし、伝送レートを下式（１）に示すように最大化する。

このとき、各無線端末ｋ（ユーザｋ）の各アプリケーションにサービスを提供する無線基地局ｆの数は、下式（２）に示すように１である。

また、各無線端末ｋが必要とする各アプリケーションの最小レート要件は、下式（３）によって表される。

また、各無線端末ｋが必要とする各アプリケーションｆと無線基地局ｂとの間の最大許容遅延は、下式（４）によって表される。

また、無線基地局ｂの負荷φ_ｂは、下式（５）のように抑制される。

図１２は、無線通信システム１０の動作例を示す図である。図１２（ａ）は、無線端末ｋから無線基地局ｂへの接続要求を示す図である。図１２（ｂ）は、無線端末ｋが無線基地局ｂとの接続を決定した状態を示す図である。

図１２（ａ）において、状態ｓ_ｋ（ｔ）は、現在の無線端末ｋ（ユーザｋ）がアプリケーションの品質要件を満たして無線基地局ｂに時間ｔで接続していることを示しており、具体的には下式（６）によって表される。

なお、状態Ｓ_ｋの濃度は、下式（７）によって表され、（基地局台数×バンド数）^アプリケーション数となっている。ここでは、バンド数は、高周波及び低周波の２つである。

また、行動ａ_ｋ（ｔ）は、無線端末ｋが無線基地局ｂに対してアプリケーションを実行するために時間ｔにおいて現在の状態で次に選択して要求する接続であり、具体的には下式（８），（９）によって表される。

なお、行動Ａ_ｋの濃度は、下式（１０）によって表され、（基地局台数×バンド数）^アプリケーション数となっている。ここでは、バンド数は、高周波及び低周波の２つである。

上述したように、無線端末ｋは、例えばＤＱＮ又はＤＤＱＮを用いて強化学習を行う機能を備えており、アプリケーションごとに接続要求を無線基地局ｂに対して行う。

図１２（ｂ）に示すように、無線基地局ｂは、無線端末ｋからのアプリケーションごとの品質要件を満たす接続要求に対し、無線端末ｋの位置及び無線基地局ｂの電波利用効率に基づいて、接続を許可する無線端末ｋを選択する。また、無線基地局ｂは、過負荷である場合には、最も負荷の重い無線端末ｋをドロップさせる。

そして、無線基地局ｂは、ＦＢ情報を用いて無線端末ｋからのアプリケーションごとの接続要求に対する可否を無線端末ｋへ応答する。

その後、無線端末ｋは、ＦＢ情報に基づいて下式（１１），（１２）によって表される報酬を算出し、ＤＱＮ又はＤＤＱＮを更新させて強化学習を行い、新たな状態へ移行する。

図１３は、ＤＱＮの構成例を示す図である。ＤＱＮは、状態ｓ_ｋ（ｔ）を入力とし、行動ａ_ｋ（ｔ）ごとにＱ値（ｓ_ｋ，ａ_ｋ）を出力する予測関数を学習する。

具体的には、ＤＱＮは、要求アプリケーション数の入力層から、ソフトマックス関数を用いて各行動のＱ値を算出し、Ｑ値の最大値の集合を出力する。

図１４は、ＤＤＱＮの構成例を示す図である。ＤＤＱＮは、ＤＱＮ１と、ｍフレームの各間隔でウェイトをコピーしたＤＱＮ２とを備え、状態ｓ_ｋ（ｔ）を入力とし、行動ａ_ｋ（ｔ）ごとにＱ’値（ｓ_ｋ，ａ_ｋ）を出力する予測関数を学習する。

図１５は、ＤＱＮ又はＤＤＱＮの更新処理を示す図である。まず、ＤＱＮ又はＤＤＱＮは、状態ｓ_ｋ（ｔ）を入力とし、行動ａ_ｋ（ｔ）を出力する。そして、ＤＱＮ又はＤＤＱＮは、報酬Γ_ｋ（ｔ）を得て、記憶部３６（図１０）に状態ｓ_ｋ（ｔ）、行動ａ_ｋ（ｔ）、報酬Γ_ｋ（ｔ）、及び遷移先の状態ｓ_ｋ（ｔ＋１）を記憶させる。

そして、ＤＱＮは、下式（１３）によって表される損失関数を算出し、損失関数を最小化するようにウェイトｗ_ｉを更新する。

ＤＤＱＮの場合は、下式（１４）によって表される損失関数を算出し、損失関数を最小化するようにウェイトｗ_ｉを更新する。

なお、γは、割引率を示す。

次に、ＤＱＮ又はＤＤＱＮによる学習の実施例について説明する。

図１６は、完全に割当てられたＤＱＮ又はＤＤＱＮにおける無線基地局ｂから無線端末ｋへのフィードバック（ＦＢ）を示す図である。

ここでは、各無線端末ｋ（ユーザｋ）は、自局からの要求のみに対する接続決定のフィードバックを取得するので、下式（１５）によって示されるフィードバックΩ_ｂは最小となる。

このとき、アプリケーションの要求帯域Ｒ_ｋｆ未満の伝送レートに対するペナルティと、無線基地局ｂの過負荷に対するペナルティとを含む下式（１６）によって表される情報が無線基地局ｂから無線端末ｋへ通知される。

また、アプリケーションの許容遅延時間Ｔ_ｋｆを超える遅延時間に対するペナルティと、無線基地局ｂの過負荷に対するペナルティとを含む下式（１７）によって表される情報も無線基地局ｂから無線端末ｋへ通知される。

図１７は、部分的に割当てられたＤＱＮ又はＤＤＱＮにおける無線基地局ｂから無線端末ｋへのフィードバック（ＦＢ）を示す図である。

ここでは、各無線端末ｋ（ユーザｋ）は、他の各無線端末ｋとの無線基地局ｂに対する負荷割合に応じて、下式（１８）によって示されるフィードバックΩ_ｂはいくらか増加する。

なお、最小レート要件を規定されたアプリケーションに要求される負荷正規化係数Ｎ（ｔ）と、遅延時間要件を伴うアプリケーションに要求される負荷正規化係数Ｍ（ｔ）は、下式（１９），（２０）によって表される。

このとき、アプリケーションの要求帯域Ｒ_ｋｆ未満の伝送レートに対するペナルティと、無線基地局ｂの過負荷に対するペナルティとを含む下式（２１）によって表される情報が無線基地局ｂから無線端末ｋへ通知される。

また、アプリケーションの許容遅延時間Ｔ_ｋｆを超える遅延時間に対するペナルティと、無線基地局ｂの過負荷に対するペナルティとを含む下式（２２）によって表される情報も無線基地局ｂから無線端末ｋへ通知される。

なお、無線基地局２０及び無線端末３０それぞれが有する各機能は、それぞれ一部又は全部がハードウェアによって構成されてもよいし、ＣＰＵ等のプロセッサが実行するプログラムとして構成されてもよい。

すなわち、無線基地局２０及び無線端末３０は、それぞれコンピュータとプログラムを用いて実現することができ、プログラムを記憶媒体に記録することも、ネットワークを通して提供することも可能である。

図１８は、無線端末３０のハードウェア構成例を示す図である。図１８に示すように、無線端末３０は、例えば入力部７０、出力部７１、通信部７２、ＣＰＵ７３、メモリ７４及びＨＤＤ７５がバス７６を介して接続され、コンピュータとしての機能を備える。また、無線端末３０は、記憶媒体７７との間でデータを入出力することができるようにされている。

入力部７０は、例えばキーボード等である。出力部７１は、例えばディスプレイなどの表示装置である。通信部７２は、例えば無線のネットワークインターフェースである。

ＣＰＵ７３は、無線端末３０を構成する各部を制御し、上述した計算等を行う。メモリ７４及びＨＤＤ７５は、データ等を記憶する。記憶媒体７７は、無線端末３０が有する機能を実行させる無線通信プログラム等を記憶可能にされている。なお、無線端末３０を構成するアーキテクチャは図１８に示した例に限定されない。また、無線基地局２０も無線端末３０と同様のハードウェア構成を有する。

このように、実施形態にかかる無線通信システム１０は、ＤＱＮ又はＤＤＱＮによるＱ値の更新を行うので、無線基地局に対する無線端末の配置に偏りが生じても、通信品質の低下を効率的に抑えることができる。

また、無線通信システム１０は、ＤＱＮ又はＤＤＱＮにより従来のＱ学習におけるＱテーブル１要素分の更新処理を他の要素の更新へ波及させることを可能とするので、従来よりも状態の判定処理の収束を高速化させることができる。

１０・・・無線通信システム、２０・・・無線基地局、２２・・・無線通信部、２３・・・通信Ｉ／Ｆ部、２４・・・品質測定部、２５・・・情報通知部、２６・・・要求情報評価部、２７・・・要求応答通知部、２８・・・帰属情報記録部、３０・・・無線端末、３２・・・無線通信部、３３・・・制御情報算出部、３４・・・帰属先要求部、３５・・・帰属先記録部、３６・・・記憶部、７０・・・入力部、７１・・・出力部、７２・・・通信部、７３・・・ＣＰＵ、７４・・・メモリ、７５・・・ＨＤＤ、７６・・・バス、７７・・・記憶媒体、１００・・・ネットワーク、３３０・・・状態算出部、３３２・・・報酬算出部、３３４・・・ＤＱＮ／ＤＤＱＮ更新部、３３６・・・帰属先算出部

Claims

複数の無線端末と複数の無線基地局とが行う無線通信を制御する無線通信制御方法において、
前記無線基地局それぞれは、
他の無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する通知工程
を実行し、
前記無線端末それぞれは、
通知された品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出工程と、
過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶工程と、
記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新工程と、
パラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出工程と、
算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する帰属先記録工程と
を実行することを特徴とする無線通信制御方法。
前記ＤＱＮ／ＤＤＱＮ更新工程では、
状態を入力とし、行動ごとにＱ値を出力する予測関数を学習すること
を特徴とする請求項１に記載の無線通信制御方法。
複数の無線端末と複数の無線基地局とを備えた無線通信システムにおいて、
前記無線基地局それぞれは、
他の無線基地局と当該無線基地局に帰属する無線端末との間の無線通信品質、及び他の無線基地局における帰属する他の無線端末との間の無線通信品質に基づく品質測定情報を無線端末それぞれに通知する情報通知部
を有し、
前記無線端末それぞれは、
通知された品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出部と、
過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶部と、
前記記憶部が記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新部と、
前記ＤＱＮ／ＤＤＱＮ更新部がパラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出部と、
算出した帰属情報に基づいて無線端末の帰属先を更新するように帰属情報を記録する帰属先記録部と
を有することを特徴とする無線通信システム。
前記ＤＱＮ／ＤＤＱＮ更新部は、
状態を入力とし、行動ごとにＱ値を出力する予測関数を学習すること
を特徴とする請求項３に記載の無線通信システム。
複数の無線基地局と無線通信を可能にされた無線端末において、
複数の前記無線基地局から通知された複数の前記無線基地局に帰属する複数の無線端末との間の無線通信品質に基づく品質測定情報に基づいて、無線通信品質を離散的に表した状態と、無線基地局の無線インターフェースそれぞれに帰属する無線端末の組合せを表した行動との組合せごとに得られるＱ値に対して報酬を算出する報酬算出部と、
過去の状態、行動、報酬、及び行動後の遷移先状態を記憶する記憶部と、
前記記憶部が記憶した過去の状態、行動、報酬、及び行動後の遷移先状態に基づいて、前記Ｑ値を出力するＤＱＮ又はＤＤＱＮのパラメータの更新を行うＤＱＮ／ＤＤＱＮ更新部と、
前記ＤＱＮ／ＤＤＱＮ更新部がパラメータを更新したＤＱＮ又はＤＤＱＮが出力するＱ値に基づいて、無線通信品質を向上可能な無線基地局の無線インターフェースのいずれかを新たな帰属先として選択する帰属情報を算出する帰属先算出部と、
算出した帰属情報に基づいて当該無線端末の帰属先を更新するように帰属情報を記録する帰属先記録部と
を有することを特徴とする無線端末。
前記ＤＱＮ／ＤＤＱＮ更新部は、
状態を入力とし、行動ごとにＱ値を出力する予測関数を学習すること
を特徴とする請求項５に記載の無線端末。
請求項５又は６に記載の無線端末の各部としてコンピュータを機能させるための無線通信プログラム。