JP5772345B2

JP5772345B2 - パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法

Info

Publication number: JP5772345B2
Application number: JP2011162442A
Authority: JP
Inventors: 祐治小島
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2011-07-25
Filing date: 2011-07-25
Publication date: 2015-09-02
Anticipated expiration: 2031-07-25
Also published as: JP2013026980A; US20130031036A1; US9002757B2

Description

本明細書で論じられる実施態様は、無線通信網の制御パラメータの設定に関する。

無線通信網における各機器の制御パラメータの自動最適化のために、ＳＯＮ（Self-Organizing Network）の適用が検討されている。ＳＯＮの利用が検討されている無線通信網の規格の一例として、３ＧＰＰ(Third Generation Partnership Project)で標準化しているＬＴＥ(Long Term Evolution)がある。

また、最適化アルゴリズムとして、機械学習(Machine learning)の一種である強化学習(Reinforcement Learning)が知られている。強化学習は、エージェント(agent)が、環境(environment)の状態変数を参照することにより環境との相互作用から学習して、最終的に受け取る報酬(reward)の総量を最大化するように、方策(policy)を改善する。

なお、環境に基づいて学習し且つ学習の結果に基づいて環境に対して働きかけるエージェント学習装置が知られている。このエージェント学習装置は、観測関数を通した観測変数として環境の状態を観測し、観測変数に基づいて環境を連続状態から離散状態へと抽象化する環境抽象化手段と、環境抽象化手段により抽象化された後の離散状態の中から、現在時刻において最も環境をよく抽象化している一の状態を指定するインデックスを決定する状態決定手段と、状態決定手段により決定された一の離散状態において学習を行うことで取るべき一の行動を指定するインデックスを決定する行動決定手段と、下位報酬として連続関数である複数の下位報酬関数の中から、状態決定手段により決定されたインデックスと、行動決定手段により決定されたインデックスとを有する一の下位報酬関数を選択する下位報酬選択手段と、下位報酬選択手段により選択された下位報酬関数を最大にするように環境への制御出力を決定し、制御出力を用いて環境に対して働きかける制御出力決定手段とを備える。

また、各々が１つ以上のユニットを有する入力層、中間層および出力層から構成され、各層間の結合に重みを持つ階層型ニューラルネットワークを用いてアクセス数を予測するアクセス予測方法が知られている。この方法では、過去のアクセス数を用いて、現在のアクセス数を予測した時点のニューラルネットワークの各ユニット値を計算し、現在のアクセス数から複数周期先のアクセス予測を行うことができるようにニューラルネットワークの各結合重みを更新し、ユニット値および結合重みを有するニューラルネットワークによって現在のアクセス数から複数周期先のアクセス数を予測する。

また、ネットワーク構成データ処理装置の学習処理監視装置が知られている。データ処理装置は、前段層からの１つ又は複数の入力とこの入力に対して乗算されるべき結合の重みとを受取って積和を得るとともに、得られた積和値を閾値関数によって変換して最終出力を得る基本ユニットを基本単位とし、複数個の基本ユニットを入力層とし、かつ複数個の基本ユニットを中間層として１つ又は複数段の中間層を備え、かつ１つ又は複数個の基本ユニットを出力層とし、入力層と最前段の中間層との間、中間層相互間、及び最終段の中間層と出力層との間で内部結合を構成するとともに、内部結合に対応して重みが設定されることで階層ネットワークを構成する。データ処理装置は、入力層の基本ユニットに対して複数の所定の入力信号を供給することで、出力層の基本ユニットからこの入力信号に対応する出力信号を得る出力信号導出手段と、出力信号導出手段により得られた各層ユニットの出力信号と学習パターン保持部に保持されている所の出力信号がとるべき値を指示する教師信号とを使い、２つの信号の不一致の大きさを表す誤差値を算出する誤差値算出手段と、誤差値算出手段により算出された誤差値の総和に基づいて算出することになる重みの更新量に従って、結合の重みを初期値から順次更新していくことで、誤差値の総和が所定の許容範囲に入ることになる重みの値を求めるよう処理する重み学習手段を備える。

特開２００７−５２５８９号公報特開２０００−１２２９８５号公報特許第２７３２６０３号

無線通信網の制御パラメータの最適化に強化学習を使用する場合、エージェントにより参照される状態変数の数が増えると学習効率が低下する。開示の装置及び方法は、無線通信網の制御パラメータの最適化する強化学習の学習効率を向上することを目的とする。

装置の一観点によれば、無線通信網の状態変数に応じて無線通信網の制御パラメータを設定するパラメータ設定装置が与えられる。パラメータ設定装置は、制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習するプロセッサを備える。最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成する。プロセッサは、各グループ毎に割り当てられた第１エージェントプログラムによって、グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、第１エージェントプログラムによって、第１価値関数に従い無線通信網の状態に応じてグループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、第２エージェントプログラムによって、無線通信網の制御パラメータを最適化する最適化処理のうち、第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、第２エージェントプログラムによって、第２価値関数に従い無線通信網の状態に応じて第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、第２エージェントプログラムが最適化処理を起動するとき、第１エージェントプログラムによる最適化処理の起動を停止する処理を実行する。

コンピュータプログラムの一観点によれば、無線通信網の状態変数に応じて無線通信網の制御パラメータを設定するコンピュータプログラムが与えられる。コンピュータプログラムは、制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習する処理をコンピュータに実行させる。最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成する。コンピュータプログラムは、各グループ毎に割り当てられた第１エージェントプログラムによって、グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、第１エージェントプログラムによって、第１価値関数に従い無線通信網の状態に応じてグループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、第２エージェントプログラムによって、無線通信網の制御パラメータを最適化する最適化処理のうち、第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、第２エージェントプログラムによって、第２価値関数に従い無線通信網の状態に応じて第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、第２エージェントプログラムが最適化処理を起動するとき、第１エージェントプログラムによる最適化処理の起動を停止する処理と、をコンピュータに実行させる。

方法の一観点によれば、無線通信網の状態変数に応じて無線通信網の制御パラメータを設定するパラメータ設定方法が与えられる。パラメータ設定方法は、制御パラメータを最適化する複数の最適化処理を、複数の最適化処理のいずれを実行するかを学習する強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループにグループ化する。パラメータ設定方法は、コンピュータに、各グループ毎に割り当てられた第１エージェントプログラムによって、グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、第１エージェントプログラムによって、第１価値関数に従い無線通信網の状態に応じてグループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、第２エージェントプログラムによって、無線通信網の制御パラメータを最適化する最適化処理のうち、第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、第２エージェントプログラムによって、第２価値関数に従い無線通信網の状態に応じて第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、第２エージェントプログラムが最適化処理を起動するとき、第１エージェントプログラムによる最適化処理の起動を停止する処理を実行させる。

本件開示の装置又は方法によれば、無線通信網の制御パラメータの最適化する強化学習の学習効率が向上する。

通信システムの全体構成例を示す図である。パラメータ設定装置のハードウエア構成の一例を示す図である。強化学習のモデルの説明図である。価値関数の一例の説明図である。状態変数及び最適化処理の実施形態の第１例の説明図である。各エージェントの処理のシーケンス図である。下位層エージェントの処理の一例の説明図である。上位層エージェントの処理の一例の説明図である。状態変数及び最適化処理の実施形態の第２例の説明図である。状態変数及び最適化処理の実施形態の第３例の説明図である。状態変数及び最適化処理の実施形態の第４例の説明図である。

＜１．ハードウエア構成＞
以下、添付する図面を参照して本発明の実施例について説明する。図１は、通信システムの全体構成例を示す図である。通信システム１は、パラメータ設定装置２及び無線通信網３を備える。無線通信網３は、基地局装置４ａ〜４ｃ及び移動局装置５ａ〜５ｃによって形成される。参照符号６ａ〜６ｃは、それぞれ基地局４ａ〜４ｃによってカバーされるセルを示している。なお、以下の説明において、基地局装置及び移動局装置をそれぞれ基地局及び移動局と表記することがある。また、以下の説明において、基地局４ａ〜４ｃ、移動局５ａ〜５ｃ及びセル６ａ〜６ｃを総称して、それぞれ「基地局４」、「移動局５」及び「セル６」と表記することがある。

パラメータ設定装置２は、基地局４及び移動局５から無線通信網３の状態を収集し、無線通信網３の状態に応じて基地局４及び移動局５を制御する制御パラメータを最適化する。無線通信網３の状態の収集と制御パラメータの送信のため、パラメータ設定装置２は基地局４と有線ネットワークによって接続されていてよい。パラメータ設定装置２は、制御パラメータを自動的に最適化するため制御手段として、複数のＳＯＮアプリケーション（ＳＯＮＡｐｐｌｉｃａｔｉｏｎ）を備える。また、パラメータ設定装置２は、無線通信網３の状態に応じて適切なＳＯＮアプリケーションを選択して動作させるＳＯＮコントローラを備える。

続いて、パラメータ設定装置２の構成について説明する。図２は、パラメータ設定装置２のハードウエア構成の一例を示す図である。パラメータ設定装置２は、ＣＰＵ１０と、記憶装置１１と、有線インタフェース１２を備えるコンピュータである。なお、図２に示すハードウエア構成は、あくまでパラメータ設定装置２を実現する構成例の１つである。本明細書において後述する処理を実行するものであれば、他のどのようなハードウエア構成が採用されてもよい。

記憶装置１１には、パラメータ設定プログラム１４及びデータ１５が記憶される。記憶部１１は、ランダムアクセスメモリ（RAM: Random Access Memory）や、読み出し専用メモリ（ROM: Read Only Memory）や不揮発性メモリやハードディスクなどを記憶素子として含んでいてよい。ＣＰＵ１０は、記憶装置１１に記憶されるパラメータ設定プログラム１４を実行することにより、制御パラメータを設定するための後述の処理を実行する。有線インタフェース１２は、基地局４との通信処理を行う。ＣＰＵ１０と、記憶装置１１と、有線インタフェース１２は、バス１３で接続されている。

パラメータ設定装置２は、コンピュータに読み取り可能な可搬型記録媒体に記憶されたデータを読み取るための図示しないリムーバブルメディア読取部を備えていてもよい。リムーバブルメディア読み取り部は、例えばＣＤ−ＲＯＭドライブ装置やＤＶＤ−ＲＯＭドライブ装置、フレキシブルディスクドライブ装置、ＣＤ−Ｒドライブ装置や、ＤＶＤ−Ｒドライブ装置、ＭＯドライブ装置、フラッシュメモリ装置へのアクセス装置であってよい。ある実施例では、パラメータ設定プログラム１４はコンピュータ読み取り可能な可搬型記録媒体に格納されて頒布され、リムーバブルメディア読み取り部から記憶装置１１にインストールされてよい。

他の実施例でパラメータ設定装置２は、ローカルエリアネットワーク（ＬＡＮ）やインターネット等などのネットワークとの間でプログラムや各種データを入出力するネットワークインタフェースを備えていてもよい。パラメータ設定プログラム１４は、ネットワークインタフェースを経由して記憶装置１１にインストールされてもよい。

パラメータ設定プログラム１４は、第１下位層エージェントプログラム２１、第２下位層エージェントプログラム２２、及び上位層エージェントプログラム２３と、ＳＯＮアプリケーションプログラム３１〜３６を備える。下位層エージェントプログラム２１及び２２は、第１エージェントプログラムの一例であり、上位層エージェントプログラム２３は、第２エージェントプログラムの一例である。なお、以下の説明及び添付する図面においてエージェントプログラムを「エージェント」と表記することがある。

ＳＯＮアプリケーションプログラム３１〜３６は、ＣＰＵ１０により実行されることにより、制御パラメータを自動的に最適化するＳＯＮアプリケーションとしてパラメータ設定装置２を動作させるコンピュータプログラムである。以下の説明及び添付する図面において、特に説明がない限り「ＳＯＮアプリケーションプログラム」を「ＳＯＮアプリケーション」と表記する。

ＳＯＮアプリケーション３１は、ＩＣＩＣ（セル間干渉調整: Inter Cell Interference Coordination）最適化を実施する。ＳＯＮアプリケーション３１は、干渉情報の収集周期の調整、及びエッジ／センタ間における無線リソース配分を最適化する。ＩＣＩＣ最適化は、セル６間の干渉に関する最適化処理である。

ＳＯＮアプリケーション３２は、各セルにおけるハンドオーバパラメータを最適化するＭＬＢ（モビリティロードバランス: Mobility Load Balance）を実施する。ＳＯＮアプリケーション３３は、呼受付閾値を最適化するＡＣ（アドミッション制御: Admission Control）最適化を実施する。ＳＯＮアプリケーション３４は、接続中の呼の強制切断の要否の基準となる輻輳状態の判定閾値を最適化するＣＣ（輻輳制御: Congestion Control）最適化を実施する。ＭＬＢ、ＡＣ最適化及びＣＣ最適化は、セル６間の負荷分散に関する最適化処理である。

ＳＯＮアプリケーション３５は、基地局４のアンテナのチルト及びアジマスの設定、並びに送信電力を最適化するＣＣＯ（カバレッジ及び容量の最適化: Coverage & Capacity Optimization）を実施する。ＳＯＮアプリケーション３６は、セル６の電波送信器の電源投入及び電源切断を最適化するＥＳ（エナジーセービング: Energy Saving）を実施する。ＣＣＯ及びＥＳは、セル６間の干渉及び負荷分散に影響する最適化処理である。

なお、上記列挙したＳＯＮアプリケーション３１〜３６の処理は、無線通信網３の制御パラメータを最適化する最適化処理の例示である。パラメータ設定装置２は、他の最適化処理を行うＳＯＮアプリケーションを備えてもよい。例えばパラメータ設定装置２は、ＭＲＯ（モビリティロバストネス最適化:Mobility Robustness Optimization）、ＬＬＲ（リンクレベル再送スキーム: Link level retransmission scheme）を行うＳＯＮアプリケーションを備えてもよい。また、例えばパラメータ設定装置２は、ＴＡＯ（呼び出しエリア最適化: Tracking Areas Optimization）を行うＳＯＮアプリケーションを備えてもよい。

エージェント２１〜２３は、パラメータ設定装置２をＳＯＮコントローラとして動作させる。ＳＯＮコントローラは、無線通信網３の状態に応じてＳＯＮアプリケーション３１〜３６の動作／不動作を制御し、ＳＯＮアプリケーションを動作させる場合には、ＳＯＮアプリケーション３１〜３６のうちいずれかを選択して動作させる。

エージェント２１〜２３は、無線通信網３の状態に応じて、ＳＯＮアプリケーションの起動の要否及び起動させるＳＯＮアップリケーションを、強化学習によって学習する。強化学習に使用される価値関数４１〜価値関数４３が、データ１５として記憶装置１１に格納される。実施例のより良い理解のため、以下に、強化学習について説明する。

＜２．強化学習の説明＞
図３は、強化学習のモデルの説明図である。上述のとおり、強化学習は、エージェント１００が、環境１０１との相互作用から学習して最終的に受け取る報酬ｒｔの総量を最大化するように方策を改善する行程である。このような強化学習の例としては、例えばＱ−Ｌｅａｒｎｉｎｇが挙げられる。エージェント１００は、以下の手順（１）及び（２）で学習する。

（１）エ−ジェント１００は、時刻ｔにおいて採るべき行動ａｔを環境１０１の状態ｓｔに応じて選択する。

このとき、エ−ジェント１００は、価値関数Ｑ（ｓ，ａ）に基づいて、状態ｓｔにおいて最大な報酬を得られる行動ａｔをある確率で優先的に選択する。価値関数Ｑ（ｓ，ａ）の例を、図４に示す。価値関数Ｑ（ｓ，ａ）は、状態ｓで行動ａをした場合の行動価値を示す。例えば、図４の例では、状態ｓｔの個々の構成要素である状態構成要素１の値が「１ａ」であり、状態構成要素２の値が「２ａ」であり、状態構成要素３の値が「３ａ」である場合に、行動「ａｃ２」を実行する行動価値は「０．５」となる。

状態ｓの状態構成要素１〜３がそれぞれ「１ａ」、「２ａ」及び「３ａ」ならば、最も行動価値が高い行動は「ａｃ１」である。例えば、εグリーディ方策が採用される場合には、最も行動価値が高い行動ａｃ１を選択する確率は「１−ε＋ε／｜Ａ（ｓ）｜」により定められ、それ以外の行動ａｃ２を選択する確率は「ε／｜Ａ（ｓ）｜」により定められる。ここで、値「ε」は、０≦ε≦１の設定値であり、値「｜Ａ（ｓ）｜」は、状態ｓにおいてエージェント１００が選択可能な行動の数である。例えば図４の例では、選択可能な行動の例はａｃ１及びａｃ２の２個である。

（２）エ−ジェント１００の行動ａｔにより、環境はｓｔ＋１へ状態遷移し、その遷移に応じた報酬ｒｔがエ−ジェント１００に与えられる。エ−ジェント１００は、報酬ｒｔに応じて、価値関数Ｑ（ｓ，ａ）を更新する。これにより価値関数から導出する方策が改善される。例えば、エ−ジェント１００は、以下のような数式に従いＱ（ｓ，ａ）を更新してよい。設定値「α」及び「γ」はそれぞれ学習率及び割引率である。

なお、価値関数として、図４に示すテーブル形式の価値関数以外の関数も使用可能である。例えば、他の実施例は、価値関数Ｑ（ｓ，ａ）として、状態ｓ及び行動ａと、係数α１、α２、…を有する数式によって価値を算出する関数を使用してもよい。この場合にエージェント１００は、報酬ｒｔに応じて係数α１、α２、…を更新する。また、他の実施例では、εグリーディ方策に替えて他の方策を採用してもよい。他の実施例は、例えば、ソフトマックス法を採用してもよい。

＜３．第１実施例＞
次に、制御パラメータの設定に強化学習を適用した場合の実施態様について説明する。図５は、制御パラメータの設定に強化学習を適用した場合の実施態様の第１例の説明図の説明図である。

ＳＯＮコントローラに強化学習を適用する場合には、エージェント２１〜２３は、無線通信網３の状態を「環境」の「状態」として入力し、複数のＳＯＮアプリケーションがそれぞれ実施する最適化処理のいずれかを「行動」として選択して出力する。エージェント２１〜２３に入力される無線通信網３の状態は、複数の異なる観点の無線通信網３の状態をそれぞれ示す複数の状態変数の値を組み合わせた値であってよい。無線通信網３の状態変数が、強化学習における無線通信網３の状態を形成するために使用される場合、状態変数を「状態構成要素」と表記することがある。ある実施例では、無線通信網３の状態は、複数の状態構成要素を離散化した値を組み合わせた値によって形成される。

また、エージェント２１〜２３は、無線通信網３の状態変数によって「報酬」を決定する。ある実施例では、無線通信網３の状態変数の値を重みづけスカラー化して算出する。状態変数が、強化学習における報酬を形成するために使用される場合には、状態変数を「報酬構成要素」と表記することがある。

本実施例では、第１下位層エージェント２１は、時刻ｔにおいて無線通信網３の状態ｓ１ｔを入力し、価値関数４１に従い状態ｓ１ｔに応じて行動ａ１ｔを出力する。また、行動ａ１ｔにより無線通信網３の状態が状態ｓ１ｔ＋１へ状態遷移した場合に、状態遷移に応じた報酬ｒ１ｔ及び状態ｓ１ｔ＋１に基づいて価値関数４１を更新する。

行動ａ１ｔとして選択される最適化処理は、セル間干渉に関係する最適化処理であるＩＣＩＣ最適化である。第１下位層エージェント２１は、行動ａ１ｔとしてＩＣＩＣ最適化を実行するか否かを判断する。ＩＣＩＣは、セル間の干渉情報を収集し、セルエッジに割り当てられている無線リソース及びセル中心に割り当てられている無線リソースのどちらに呼を割り当てるべきか判断し、判断結果に応じて無線リソースに呼を割り当てる。ＩＣＩＣ最適化により最適化される制御パラメータは、セル間の干渉情報の収集周期や、セルエッジ／セル中心間の無線リソース配分の設定である。

状態ｓ１ｔを形成する状態構成要素は、（１）セルエッジ・スループット、（２）セルエッジ・パケット転送効率、及び（３）セルエッジ・干渉レベルである。また、報酬ｒ１ｔの報酬構成要素はセル・スループットである。なお、前述の状態構成要素に付した括弧書きの数字は、図５の状態ｓ１ｔに付して表記されているブロック内の数字に対応している。他の状態ｓ２ｔ及びｓ３ｔ、並びに他の実施例についても同様に表記する。

第１下位層エージェント２１の強化学習により期待される期待学習効果の一例は、次の通りである。例えば、セルエッジ・スループット、セルエッジ・パケット転送効率が悪く、セルエッジ・干渉レベルが高い場合には、第１下位層エージェント２１は、干渉情報の収集周期が遅すぎると推定してＩＣＩＣ最適化を起動する。その結果、干渉情報の収集周期が短く調整され、干渉が低減することにより、報酬としてより高いセル・スループットが得られる。この期待学習効果の一例から分かるように、（１）セルエッジ・スループット、（２）セルエッジ・パケット転送効率、（３）セルエッジ・干渉レベルは、ＩＣＩＣ最適化を起動すべきか選択するために必要な状態構成要素である。

なお、上述の期待学習効果は一例であり、状態ｓ１ｔと、選択される行動ａ１ｔ及びその結果得られる報酬ｒ１ｔとの間に存在する因果関係はこれに限られるものではない。第１下位層エージェント２１は、予想されていない因果関係によって学習効果が生じる場合も含め、強化学習の処理によりある状態の下でより高い価値が得られるように最適化処理を学習することが可能である。他のエージェント２２及び２３における強化学習について以下に例示する期待学習効果においても同様である。

第２下位層エージェント２２は、時刻ｔにおいて無線通信網３の状態ｓ２ｔを入力し、価値関数４２に従い状態ｓ２ｔに応じて行動ａ２ｔを出力する。また、行動ａ２ｔにより無線通信網３の状態が状態ｓ２ｔ＋１へ状態遷移した場合に、状態遷移に応じた報酬ｒ２ｔ及び状態ｓ２ｔ＋１に基づいて価値関数４２を更新する。

行動ａ２ｔとして選択される最適化処理は、セル６間の負荷分散に関係する最適化処理である、ＭＬＢ、ＡＣ最適化及びＣＣ最適化である。第２下位層エージェント２２は、行動ａ２ｔとして、ＭＬＢ、ＡＣ最適化及びＣＣ最適化のいずれかを実行するか否かを決定し、いずれかを実行する場合には実行する処理を選択する。

ＭＬＢは、制御パラメータであるハンドオーバパラメータを最適化することによってセル間の負荷分散を実現する。ＭＬＢは、ハンドオーバパラメータを調整することで、あるセルへ移動局がハンドオーバしやすくしたり、しにくくしたりする。ＭＬＢにより最適化される制御パラメータは、ハンドオーバパラメータである。

ＡＣは、セルの負荷が呼受付閾値まで上昇すると新規の呼を受け付けず、新規の呼に無線リソースを割り当てることを禁止する処理である。ＡＣ最適化は、ＡＣに対する制御パラメータである呼受付閾値を最適化する。ＡＣ最適化により最適化される制御パラメータは、呼受付閾値である。

ＣＣは、セルの負荷が輻輳状態まで上昇すると、優先度が低い順に接続中の既存の呼を強制的に切断する。ＣＣ最適化は、ＣＣに対する制御パラメータである輻輳状態の判定閾値を最適化する。ＣＣ最適化の制御パラメータは、接続中の呼の強制切断を行うか否かを判断する基準となる輻輳状態の判定閾値である。このように、ＭＬＢ、ＡＣ最適化及びＣＣ最適化は、最適化される制御パラメータが相互に競合しない。

状態ｓ２ｔを形成する状態構成要素は、（４）呼接続成功率、（５）呼損率、（６）無線リソース使用率、及び（７）隣接セル・無線リソース使用率であり。報酬ｒ２ｔの算出に使用される報酬構成要素は、呼接続成功率、呼損率及び無線リソース使用率である。第２下位層エージェント２２は、これら報酬構成要素を重みづけスカラー化することによって報酬ｒ２ｔを算出する。ここで、重みづけスカラー化とは、例えば以下のようにして、複数の報酬構成要素を重み付け係数Ｗ１〜Ｗ３により重み付けした後にスカラー値に変換することである。

報酬ｒ２ｔ＝Ｗ１×（呼接続成功率）＋Ｗ２×（１−呼損率）
＋Ｗ３×（１−無線リソース使用率）

第２下位層エージェント２２の強化学習により期待される期待学習効果の一例は、次の通りである。例えば、無線リソース使用率が高く、隣接セル・無線リソース使用率が低い場合には、第２下位層エージェント２２はＭＬＢを起動して、セル間の負荷分散及び負荷低減を図る。結果として無線リソース使用率が下がり、より高い報酬が得られる。

また例えば、呼接続成功率が悪く、呼損率が過剰に良く、無線リソース使用率が高くない場合、第２下位層エージェント２２は、セル６が新規呼を過剰に受付けないでいると推定してＡＣ最適化を起動する。その結果、呼受付閾値が調整され、セル６が新規呼を受付けやすくなることにより、呼接続成功率が良くなってより高い報酬が得られる。

また例えば、呼接続成功率が悪く、呼損率が悪く、無線リソース使用率が高くない場合、第２下位層エージェント２２は、セル６の負荷があまり高くない段階で輻輳状態と判断していると推定しＣＣ最適化を起動する。その結果、輻輳状態の判定閾値が調整され、呼接続成功率及び呼損率が良くなって、より高い報酬が得られる。

この期待学習効果の一例から分かるように、（４）呼接続成功率、（５）呼損率、（６）無線リソース使用率、及び（７）隣接セル・無線リソース使用率は、ＭＬＢ、ＡＣ最適化、ＣＣ最適化のどれを起動すべきか選択するため必要な状態構成要素である。

ここで、第１下位層エージェント２１により起動される最適化処理と、第２下位層エージェント２２により起動される最適化処理との関係について説明する。第１下位層エージェント２１により起動されるＩＣＩＣ最適化の制御パラメータは、セル間の干渉情報の収集周期及びセルエッジ／セル中心間の無線リソース配分である。第２下位層エージェント２２によって起動されるＭＬＢ、ＡＣ最適化、ＣＣ最適化の制御パラメータは、ハンドオーバパラメータ、呼受付閾値及び輻輳状態の判定閾値である。したがって、ＩＣＩＣ最適化と、ＭＬＢ、ＡＣ最適化及びＣＣ最適化との間では、制御パラメータは競合しない。

また、ＩＣＩＣ最適化を行動として選択する強化学習では、セル間干渉に関する指標であるセル・スループットが報酬構成要素として使用される。また、ＭＬＢ、ＡＣ最適化及びＣＣ最適化を行動として選択する強化学習では、セル６の負荷に関する指標である呼接続成功率、呼損率及び無線リソース使用率が報酬構成要素として使用される。このように、ＩＣＩＣ最適化を行動として選択する強化学習と、ＭＬＢ、ＡＣ最適化及びＣＣ最適化を行動として選択する強化学習との間では、一方の強化学習で選択される最適化処理の実施の結果が、他方の強化学習に使用する報酬構成要素に影響しない。したがって、第１下位層エージェント２１は、第２下位層エージェント２２による最適化処理の実行とは無関係にＩＣＩＣ最適化を実行することができる。

一方で、第２下位層エージェント２２によって起動されるＭＬＢ、ＡＣ最適化、ＣＣ最適化の制御パラメータは、ハンドオーバパラメータ、呼受付閾値及び輻輳状態の判定閾値であるが、これらは互いに競合しない。

しかし、ＭＬＢ、ＡＣ最適化及びＣＣ最適化を選択する強化学習で使用される個々の報酬構成要素はセル６の負荷に関する指標であり、これらはいずれも、ＭＬＢ、ＡＣ最適化及びＣＣ最適化のどの結果にも影響を受ける。したがって、ＭＬＢ、ＡＣ最適化及びＣＣ最適化の選択に使用される価値関数は、セル６の負荷の変化に応じて変動する報酬に基づいて学習されるという共通の性質を有する。このため、これら最適化処理の１つの結果は、他の最適化処理の選択に使用される価値関数の学習にも影響する。

したがって、これらＭＬＢ、ＡＣ最適化及びＣＣ最適化の中の複数の最適化処理を並行して同時に実行すると、一方の最適化処理の結果が他方の最適化処理の選択に使用される価値関数に影響を及ぼして行動価値の学習に誤りを生じる。したがって、本実施例は、ＭＬＢ、ＡＣ最適化及びＣＣ最適化を同一グループにグループ化する。そして、第２下位層エージェント２２は、これらの最適化処理のいずれか１つを強化学習の行動として択一的に選択して実行する。

次に、上位層エージェント２３が起動する最適化処理について説明する。上位層エージェント２３は、時刻ｔにおいて、無線通信網３の状態ｓ３ｔを入力し、価値関数４３に従い状態ｓ３ｔに応じて行動ａ３ｔを出力する。また、行動ａ３ｔにより無線通信網３の状態が状態ｓ３ｔ＋１へ状態遷移した場合に、状態遷移に応じた報酬ｒ３ｔ及び状態ｓ３ｔ＋１に基づいて価値関数４３を更新する。

行動ａ３ｔとして選択される最適化処理は、セル６間の干渉及び負荷分散に関係する最適化処理であるＣＣＯ及びＥＳである。下位層エージェント３１は、行動ａ３ｔとして、ＣＣＯ及びＥＳのいずれかを実行するか否かを決定し及びいずれかを実行する場合には実行する処理を選択する。

ＣＣＯは、チルトやアジマス等のアンテナ設定及び送信電力を最適化することによって、最適化目的であるセルのカバレッジを最適化することにより、セル間の干渉の最小化とセル間の負荷分散を図る。ＣＣＯの制御パラメータは、チルトやアジマス等のアンテナ設定及び送信電力である。

ＥＳは、セルの負荷が比較的低い場合にセルの電波送信器の電源を切断し、セルの負荷が比較的高い場合にセルの電波送信器の電源を投入することで、システムの省電力化を図る。ＥＳの制御パラメータは、セルの電波送信器の電源の投入及び切断である。

状態ｓ３ｔを構成する状態構成要素は、（８）セル・スループット、（９）セル平均パケット転送効率、（１０）セル平均干渉レベル、（１１）移動局分布、（１２）エナジーセービングモード、（４）呼接続成功率、（５）呼損率、（６）無線リソース使用率、（７）隣接セル・無線リソース使用率である。また、報酬ｒ３ｔの算出に使用される報酬構成要素は、セル・スループット、呼接続成功率、呼損率及び無線リソース使用率である。

上位層エージェント２３の強化学習により期待される期待学習効果の一例は、次の通りである。例えば、エナジーセービングモードがオフ、つまり省電力のため、あるセル６の送信器の電源をオフしない状態で、呼接続成功率と呼損率が悪く、無線リソース使用率が高く、隣接セル・無線リソース使用率が低く、移動局がセル全体に一様に分布する場合を想定する。このとき上位層エージェント２３はＣＣＯを起動して、アンテナ設定及び送信電力の調整し、セルのカバレッジを変更することで、セル間の負荷分散及び負荷低減を図る。結果として、呼接続成功率及び呼損率が良くなり，無線リソース使用率が低くなることで、より高い報酬が得られる。

例えば、エナジーセービングモードがオンで、呼接続成功率、呼損率が悪く、無線リソース使用率が高かった場合は、上位層エージェント２３はＥＳを起動して、オフになっている電波送信器の電源をオンにする。結果として、呼接続成功率及び呼損率が良くなり，無線リソース使用率が低くなることで、より高い報酬が得られる。

また例えば、セルエッジに限らずセル全体のセル・スループット、セル・パケット転送効率が悪く、セル・干渉レベルが高い場合を想定する。この場合は、ＩＣＩＣ最適化は干渉を低減化できないが、ＣＣＯによる複数のセルのカバレッジの変更は干渉を低減できる。干渉が低減すれば、報酬としてより高いセル・スループットが得られる。したがって、セルエッジに限らずセル全体のセル・スループット、セル・パケット転送効率が悪く、セル・干渉レベルが高い場合には、上位層エージェント２３はＣＣＯを起動する。その結果、アンテナ設定及び送信電力が調整されてセルのカバレッジが変わることで、セル間の干渉が低減する。結果、セル・スループットが高くなり、より高い報酬が得られる。

この期待学習効果の一例から分かるように、（８）セル・スループット、（９）セル平均パケット転送効率、（１０）セル平均干渉レベル、（１１）移動局分布、（１２）エナジーセービングモード、（４）呼接続成功率、（５）呼損率、（６）無線リソース使用率、（７）隣接セル・無線リソース使用率は、ＣＣＯ及びＥＳのどちらを起動すべきか選択するために必要な状態構成要素である。

ここで、下位層エージェント２１及び２２により起動される最適化処理と、上位層エージェント２３により起動される最適化処理との関係について説明する。ＣＣＯやＥＳは、移動網の状態にとって最も基本的なセルのカバレッジを変更する最適化処理である。カバレッジが変わると、セル間の干渉、及び、セルの負荷の状態も変更される。

ここで、第１下位層エージェント２１が使用する価値関数４１の学習では、セル・スループットが報酬として使用され、第２下位層エージェント２２が使用する価値関数４２の学習では、負荷の低減に応じて変化する報酬が使用される。したがって、上位層エージェント２３と、下位層エージェント２１及び２２を同時に動作させると、上位層エージェントによる最適化処理が、価値関数４１及び４２の行動価値へ影響し、価値関数４１及び４２の学習に誤りを生じる。そこで、ここで開示する実施形態では、上位層エージェント２３が最適化処理を起動するとき、上位層エージェント２３は、下位層エージェント２１及び２２の動作を停止するように制御する。

続いて、各エージェント２１〜２３の処理を説明する。図６は、各エージェント２１〜２３の処理のシーケンス図である。なお、他の実施態様においては、下記のオペレーションを「ステップ」と読み替えてもよい。オペレーションＡＡにおいて第２下位層エージェント２２は、ＭＬＢ、ＡＣ最適化及びＣＣ最適化のいずれかの最適化処理を起動する。最適化処理にかかる時間である最適化処理時間は、各最適化処理で異なる場合がある。

オペレーションＡＢにおいて第１下位層エージェント２１は、ＩＣＩＣ最適化を起動する。オペレーションＡＣにおいて第２下位層エージェント２２は、オペレーションＡＡで起動した最適化処理が終了したので、次の最適化処理を起動する。オペレーションＡＤにおいて第１下位層エージェント２１は、次の最適化処理を起動する。

オペレーションＡＥにおいて上位層エージェント２３は、ＣＣＯ及びＥＳのいずれかの最適化処理を起動するために、最適化処理の起動停止指示を下位層エージェント２１及び２２へ送信する。下位層エージェント２１及び２２は、起動停止指示を受信しても、最適化処理の実行中にはすぐに動作を停止することはできない。

オペレーションＡＦにおいて第２下位層エージェント２２は、最適化処理が終了した場合に、起動停止指示に対して、最適化処理が終了した旨を通知する応答を上位層エージェント２３へ送信する。オペレーションＡＧで、第１下位層エージェント２１は、最適化処理が終了した場合に、起動停止指示に対して、最適化処理が終了した旨を通知する応答を上位層エージェント２３へ送信する。下位層エージェント２１及び２２からの応答をすべて受信した場合には、オペレーションＡＨにおいて上位層エージェント２３は、ＣＣＯ及びＥＳのいずれかの最適化処理を起動する。

ある実施例では、下位層エージェント２１及び２２が起動停止指示に対して応答しなくてもよい。この場合、上位層エージェント２３は、最も長い時間かかる最適化処理が下位層エージェントで実行中であったと想定し、その時間分待ってから最適化処理を起動する。下位層エージェント２１及び２２が起動停止指示に対して応答する実施例では、上位層エージェント２３が下位層エージェントの最適化処理の終了を待つ時間を短縮化することで、最適化処理をより早く起動できるようにすることができる。

オペレーションＡＩにおいて上位層エージェント２３は、起動停止の指示の解除を下位層エージェント２１及び２２へ送信する。下位層エージェント２１及び２２は、これを契機に、最適化処理の起動を再開する。

図７は、第１下位層エージェント２１の処理の一例の説明図である。以下では、第１下位層エージェント２１の処理について説明するが、第２下位層エージェント２２の処理も同様である。

オペレーションＢＡにおいて第１下位層エージェント２１は、無線通信網３の状態ｓ１ｔを参照する。オペレーションＢＢにおいて第１下位層エージェント２１は、オペレーションＢＡで参照した状態ｓ１ｔに基づき、価値関数４１を参照することにより行動ａ１ｔを選択する。

行動ａ１ｔとしてＩＣＩＣ最適化を実行することを選択した場合に第１下位層エージェント２１は、オペレーションＢＣにおいてＩＣＩＣ最適化を起動する。オペレーションＢＤにおいて第１下位層エージェント２１は、最適化処理を実行した後の無線通信網３の状態ｓ１ｔ＋１を参照する。オペレーションＢＥにおいて第１下位層エージェント２１は報酬ｒ１ｔを決定する。

オペレーションＢＦにおいて第１下位層エージェント２１は、報酬ｒ１ｔ及び現在の価値関数４１の価値に基づき、価値関数４１を更新する。オペレーションＢＧにおいて第１下位層エージェント２１は、オペレーションＢＤで参照した状態ｓ１ｔ＋１に基づき、価値関数４１を参照し行動ａ１ｔ＋１を選択する。

オペレーションＢＨにおいて第１下位層エージェント２１は、再び最適化処理を起動する前に、オペレーションＢＡ〜ＢＧまでの間に上位層エージェント２３から起動停止の指示が送信されたか否かを判断する。指示が送信されている場合（オペレーションＢＨ：Ｙ）には、処理はオペレーションＢＫに進む。指示が送信されていない場合（オペレーションＢＨ：Ｎ）には、処理はオペレーションＢＩに進む。

行動ａ１ｔ＋１としてＩＣＩＣ最適化の実行が選択されている場合には、オペレーションＢＩにおいて第１下位層エージェント２１は、ＩＣＩＣ最適化を起動する。オペレーションＢＪにおいて第１下位層エージェント２１は、ＩＣＩＣ最適化中に上位層エージェント２３から起動停止の指示が送信されたか否かを判断する。送信されている場合（オペレーションＢＪ：Ｙ）には、処理はオペレーションＢＮへ進む。送信されていない場合（オペレーションＢＪ：Ｎ）には、処理はオペレーションＢＤへ戻る。

オペレーションＢＮにおいて第１下位層エージェント２１は、上位層エージェント２３から起動停止の指示が送信されており、かつ最適化処理の実行中ではないので、最適化処理が終了した旨を通知する応答を上位層エージェント２３へ応答する。その後、処理はオペレーションＢＤへ戻る。

オペレーションＢＮの後、上位層エージェント２３から起動停止の指示の解除を受信しなければ、オペレーションＢＨの判断において第１下位層エージェント２１は、起動停止の指示中である（オペレーションＢＨ：Ｙ）と判断する。その結果、処理はオペレーションＢＫへ進む。オペレーションＢＫにおいて第１下位層エージェント２１は、既に、最適化処理の終了している旨の応答が通知されているかどうかチェックする。

最適化処理が終了している旨の応答が通知されている場合（オペレーションＢＫ：Ｙ）には、処理はオペレーションＢＭへ進む。応答が通知されていない場合（オペレーションＢＫ：Ｎ）には、処理はオペレーションＢＬへ進む。オペレーションＢＬにおいて第１下位層エージェント２１は、最適化処理が実行されていないので最適化処理が終了している旨の応答を送信する。その後処理はオペレーションＢＭへ進む。オペレーションＢＭにおいて第１下位層エージェント２１は、起動停止の指示の解除が送信されるまで待つ。第１下位層エージェント２１が解除をすると、処理はオペレーションＢＡに戻る。

図８は、上位層エージェント２３の処理の一例の説明図である。オペレーションＣＡにおいて上位層エージェント２３は、状態ｓ３ｔを参照する。オペレーションＣＢにおいて上位層エージェント２３は、オペレーションＣＡで参照した状態ｓ３ｔに基づき、価値関数４３を参照することにより行動ａ３ｔを選択する。なお、状態ｓ３ｔを参照しても、最適化処理を起動するほど状態が悪くない場合には、行動ａ３ｔとして最適化処理を起動しないこともあり得る。従って、状態ｓ３ｔを参照した場合に、常に上位層エージェント２３は、最適化処理を起動するために下位層エージェント２１及び２２へ起動停止を指示するわけではない。

上位層エージェント２３が最適化処理を起動する場合（オペレーションＣＢ：Ｙ）には、処理はオペレーションＣＣへ進む。上位層エージェント２３が最適化処理を起動しない場合（オペレーションＣＢ：Ｎ）には、処理はオペレーションＣＡへ戻る。オペレーションＣＣにおいて上位層エージェント２３は、行動ａ３ｔとして選択した最適化処理を起動するために、起動停止の指示を下位層エージェント２１及び２２へ送信する。

オペレーションＣＤにおいて上位層エージェント２３は、下位層エージェント２１及び２２からの動作停止の指示に対する応答をすべて受信するまで待つ。上位層エージェント２３が応答をすべて受信すると、オペレーションＣＥにおいて上位層エージェント２３は、最適化処理を起動する。最低化処理が終了すると、処理はオペレーションＣＦへ進む。

オペレーションＣＦにおいて上位層エージェント２３は、状態ｓ３ｔ＋１を参照する。オペレーションＣＧにおいて上位層エージェント２３は、オペレーションＣＦで参照した報酬ｒ３ｔを決定する。オペレーションＣＨにおいて上位層エージェント２３は、起動停止の指示の解除を下位層エージェント２１及び２２へ送信する。オペレーションＣＩにおいて上位層エージェント２３は、報酬ｒ３ｔ及び現在の価値関数４３の価値に基づき、価値関数４３を更新する。

オペレーションＣJにおいて上位層エージェント２３は、オペレーションＣＦで参照した状態ｓ３ｔ＋１に基づき、価値関数４３を参照することにより行動ａ３ｔ＋１を選択する。行動ａ３ｔ＋１として最適化処理を起動しないことを選択した場合（オペレーションＣＪ：Ｎ）には、処理はオペレーションＣＡへ戻る。行動ａ３ｔ＋１としていずれかの最適化処理を起動する場合（オペレーションＣＪ：Ｙ）には、処理はオペレーションＣＫへ進む。オペレーションＣＫ〜ＣＭの処理は、それぞれオペレーションＣＣ〜ＣＥの処理と同様である。その後に処理は、オペレーションＣＦへ戻る。

本実施例では、複数の最適化処理から複数のグループを形成して、グループ毎に下位層エージェント２１及び２２が割り当てられる。各下位層エージェント２１及び２２は、割り当てられたグループの中から実行すべき最適化処理を強化学習により選択する。このため、各下位層エージェント２１及び２２は、無線通信網３の状態構成要素のうち、割り当てられたグループ内の最適化処理の選択の判断に必要な状態構成要素だけを参照すれば済むため価値関数の学習効率が向上する。

すなわち、図４に示す価値関数Ｑ（ｓ，ａ）から分かるように、状態構成要素が多いほどテーブルのエントリが多くなる。強化学習においてエージェントは、最大の価値の行動を常に選択するわけでなく、それ以外の行動についても比較的低い確率で試行する。この行為は探索と呼ばれるが、参照する状態構成要素の数が多いと、探索する選択枝が増加するため学習効率が悪くなる。本実施例は、最適化処理の選択の際に参照する状態構成要素を低減することにより、価値関数の学習効率を向上する。

また本実施例では、制御パラメータが重複する最適化処理毎に、又は強化学習の価値関数を定めるために使用される同じ報酬構成要素に影響する最適化処理毎に、最適化処理のグループが形成される。このようにグループを形成することにより、異なるグループに属する最適化処理同士は、制御パラメータが競合せず、かつ一方の最適化処理の結果が、他方の最適化処理を選択に使用する価値関数の学習に影響しない。このため、これらグループ内の最適化処理をそれぞれ選択する複数の下位層エージェント２１及び２２が独立して動作することができる。その結果、複数の最適化処理を並列に実行できるのでより早く制御パラメータを最適化できるようになる。

また本実施例では、複数の下位層エージェント２１及び２２にて行われる価値関数の学習の両方に影響する最適化処理を上位層エージェント２３が起動する。そして、下位層エージェント２１及び２２が起動する最適化処理が実施されている間は、上位層エージェント２３は最適化処理が起動しない。反対に、上位層エージェント２３が起動する最適化処理が実施されている間は、下位層エージェント２１及び２２は最適化処理が起動しない。

したがって、複数の下位層エージェント２１及び２２による価値関数の学習に影響する最適化処理が存在する場合でも、この最適化処理によって下位層エージェント２１及び２２が誤って学習する不都合を回避することができる。また、この最適化処理を実施しない間における複数の下位層エージェント２１及び２２による最適化処理の並行起動を可能にすることにより、制御パラメータの最適化の迅速化に資する。

なお、本実施例のパラメータ設定装置２は、下位層エージェント２１及び２２、並びに上位層エージェント２３を含む２階層構造を有する。しかしながら、より上位のエージェントにより起動される最適化処理が、より下位のエージェントが学習する価値関数に影響するという関係性を有する構造であれば、エージェントの階層は３階層以上であってもよい。

また本実施例では、下位層エージェント２１及び２２は、実行中の最適化処理が終了すると、上位層エージェント２３からの起動停止の指示に対して、最適化処理が終了した旨の応答を通知する。これに対して、下位層エージェント２１及び２２が応答を送信しない実施例では、上位層エージェント２３は、下位層エージェント２１及び２２が最も長い時間かかる最適化処理が下位層エージェントで実行中であったと仮定し、その時間分待ってから最適化処理を起動する。したがって、下位層エージェント２１及び２２が応答を通知することにより、上位層エージェント２３が下位層エージェントの最適化処理の終了を待つ時間を短縮化することで、最適化処理をより早く起動できるようにすることができる。

＜４．第２実施例＞
続いて、他の実施例について説明する。図９は、エージェント２１〜２３により選択される最適化処理の態様の第２例の説明図である。本実施例にて第２下位層エージェント２２により行動ａ２ｔとして選択される最適化処理は、ＭＬＢ及びＭＲＯである。第２下位層エージェント２２は、行動ａ２ｔとして、ＭＬＢ及びＭＲＯのいずれかを実行するか否かを決定し及びいずれかを実行する場合には実行する処理を選択する。なお、第１下位層エージェント２１及び上位層エージェント２３の構成は第１実施例と同様である。

ＭＲＯは、制御パラメータであるハンドオーバパラメータを最適化することによって、セル間のハンドオーバの成功率を上げる。ハンドオーバが失敗する例としては、ハンドオーバが早すぎる場合とハンドオーバが遅すぎる場合がある。ハンドオーバパラメータを調整することで、あるセルへ移動局がハンドオーバしやすくしたり、しにくくしたりすることができる。ＭＬＢの内容は上述の通りである。

状態ｓ２ｔを形成する状態構成要素は、（６）無線リソース使用率、（７）隣接セル・無線リソース使用率及び（１３）ハンドオーバ成功率である、また、報酬ｒ２ｔの算出に使用される報酬構成要素は、無線リソース使用率、ハンドオーバ成功率である。

第２下位層エージェント２２の強化学習により期待される期待学習効果の一例は、次の通りである。例えば、無線リソース使用率が高く、隣接セル・無線リソース使用率が低く、ハンドオーバ成功率が高い場合には、第２下位層エージェント２２はＭＬＢを起動して、セル間の負荷分散及び負荷低減を図る。その結果、無線リソース使用率が下がり、より高い報酬が得られる。

また例えば、ハンドオーバ成功率が低い場合には、下位層エージェント２はＭＲＯを起動して、ハンドオーバ成功率の向上を図る。ハンドオーバが失敗した移動局の呼は、一時的に切断されてしまうので、ハンドオーバの失敗は、その移動局の通信品質に大きく影響する、例えば、通話中に話が途切れてしまう可能性が生じる。したがって、ハンドオーバ成功率が低い場合には、ハンドオーバ成功率を向上させることを優先してハンドオーバパラメータの最適化を行う。また、そのような最適化が学習されるように、報酬構成要素のハンドオーバ成功率の重み付け係数を、無線リソース使用率の重み付け係数よりも大きな値とする。そのようにすれば、無線リソース使用率を下げてもハンドオーバ成功率を上げれば、報酬はより高くなる。

この期待学習効果の一例から分かるように、（６）無線リソース使用率、（７）隣接セル・無線リソース使用率及び（１３）ハンドオーバ成功率は、ＭＬＢ及びＭＲＯのいずれを起動すべきか選択するため必要な状態構成要素である。

これらＭＬＢ及びＭＲＯは、共にハンドオーバパラメータを制御パラメータとする最適化処理であるため、同時に実行しようとすると制御対象が競合する。一方で、第１下位層エージェント２１により起動されるＩＣＩＣ最適化の制御パラメータは、セル間の干渉情報の収集周期及びセルエッジ／セル中心間の無線リソース配分であり、ＭＬＢ及びＭＲＯの制御パラメータと競合しない。

したがって、本実施例は、ＭＬＢ及びＭＲＯを同一グループにグループ化する。第２下位層エージェント２２は、これらの最適化処理のいずれか１つを強化学習の行動として択一的に選択して実行する。また本実施例は、ＩＣＩＣ最適化により形成されるグループを、ＭＬＢ及びＭＲＯが属するグループと異なるグループとしてグループ化する。第１下位層エージェント２１は、これらのＩＣＩＣ最適化を実施するか否かを強化学習の行動として選択する。

本実施例によれば、ＭＬＢ及びＭＲＯを行う強化学習においても、これらの最適化処理を他の最適化処理から独立して実施し、強化学習に必要な状態構成要素の数を低減することができる。

＜５．第３実施例＞
続いて、他の実施例について説明する。図１０は、エージェント２１〜２３により選択される最適化処理の態様の第３例の説明図である。本実施例にて第２下位層エージェント２２により行動ａ２ｔとして選択される最適化処理はＬＬＲである。第２下位層エージェント２２は、行動ａ２ｔとしてＬＬＲを実行するか否かを判断する。なお、第１下位層エージェント２１及び上位層エージェント２３の構成は第１実施例と同様である。

第２下位層エージェント２２が実行するＬＬＲは、第１下位層エージェント２１が実行するＩＣＩＣ最適化と制御パラメータが競合しない。また、ＩＣＩＣ最適化を行動として選択する強化学習と、ＬＬＲを行動として選択する強化学習との間では、一方の強化学習で選択される最適化処理の実施の結果が、他方の強化学習に使用する報酬構成要素に影響しない。したがって本実施例では、ＬＬＲは、ＩＣＩＣ最適化により形成されるグループと別グループを形成する。

ＬＬＲは、無線フレームの最大再送回数を最適化することで、データ転送遅延を抑えつつ、データ転送成功率の向上を図る。無線フレームを多く再送すれば、データ転送成功率は向上するが、その分、データ転送遅延は長くなる傾向となる。ＬＬＲは、データ転送遅延、平均再送回数、データ転送成功率の状態に応じて、データ転送遅延、データ転送成功率を最大化するように最大再送回数を最適化する。ＬＬＲの制御パラメータは、最大再送回数である。

状態ｓ２ｔを形成する状態構成要素は、（１４）データ転送遅延、（１５）平均再送回数、（１６）データ転送成功率である。また、報酬ｒ２ｔの算出に使用される報酬構成要素は、データ転送遅延及びデータ転送成功率である。

一方で、上位層エージェント２３によって実施されるＣＣＯやＥＳは、移動網の状態にとって最も基本的なセルのカバレッジを変更する。カバレッジが変わると、データ転送遅延及びデータ転送成功率の状態も変更されるため、ＣＣＯやＥＳは、再送制御にも影響する。

第２下位層エージェント２２の強化学習により期待される期待学習効果の一例は、次の通りである。データ転送遅延、平均再送回数が小さく、データ転送成功率が低い場合は、第２下位層エージェント２２はＬＬＲを起動する。ＬＬＲにより最大再送回数が増加することで、データ転送遅延及びデータ転送成功率が向上し、その結果、より高い報酬が得られる。また、データ転送成功率が高く、平均再送回数が大きく、データ転送遅延が大きい場合は、第２下位層エージェント２２はＬＬＲを起動する。ＬＬＲにより最大再送回数が減ることで、データ転送遅延及びデータ転送成功率が向上する。その結果、より高い報酬が得られる。

この期待学習効果の一例から分かるように、（１４）データ転送遅延、（１５）平均再送回数、（１６）データ転送成功率は、ＬＬＲを起動すべき否かを判断するため必要な状態構成要素である。

本実施例によれば、ＬＬＲを行う強化学習においても、ＬＬＲを他の最適化処理から独立して実施し、強化学習に必要な状態構成要素の数を低減することができる。

＜６．第４実施例＞
続いて、他の実施例について説明する。図１１は、エージェント２１〜２３により選択される最適化処理の態様の第４例の説明図である。本実施例にて第２下位層エージェント２２により行動ａ２ｔとして選択される最適化処理はＴＡＯである。第２下位層エージェント２２は、行動ａ２ｔとして、ＴＡＯを実行するか否かを判断する。なお、第１下位層エージェント２１及び上位層エージェント２３の構成は第１実施例と同様である。

第２下位層エージェント２２が実行するＴＡＯは、第１下位層エージェント２１が実行するＩＣＩＣ最適化と制御パラメータが競合しない。また、ＩＣＩＣ最適化を行動として選択する強化学習と、ＴＡＯを行動として選択する強化学習との間では、一方の強化学習で選択される最適化処理の実施の結果が、他方の強化学習に使用する報酬構成要素に影響しない。したがって本実施例では、ＬＬＲは、ＩＣＩＣ最適化により形成されるグループと別グループを形成する。

ＴＡＯは、呼び出しエリアの構成を最適化する。呼び出しエリアは、複数のセルによって構成され、省電力モード中の移動局は、呼び出しエリアをまたがって移動する場合に位置登録メッセージを基地局へ送信する。省電力モード中の移動局は、呼び出しエリアより、より細かい範囲であるセルをまたがる場合には位置登録メッセージを送信しないことによって電力消費を低減する。一方、基地局は、呼び出しエリアの単位で省電力モード中の移動局の位置を把握している。その移動局に、通話相手から通話の呼び出しがあった場合、移動局が位置する呼び出しエリアに属する全ての基地局が、その移動局に対し呼び出しメッセージを送信し、移動局は、呼び出しメッセージの受信を契機に通話のための呼を確立する。ＴＡＯは、呼び出しエリアの構成を最適化することで、位置登録メッセージ及びページングメッセージによるセル毎の負荷を分散し、無線リソース使用率を低下させる。ＴＡＯの制御パラメータは、呼び出しエリアの構成である。

状態ｓ２ｔを形成する状態構成要素は、（１７）位置登録メッセージの頻度及び（１８）ページングメッセージの頻度である。また、報酬ｒ２ｔの算出に使用される報酬構成要素は、無線リソース使用率である。

一方で、上位層エージェント２３によって実施されるＣＣＯやＥＳは、移動網の状態にとって最も基本的なセルのカバレッジを変更する。カバレッジが変わると、セルの大きさが代わり呼び出しエリアの大きさも変更されるため、ＣＣＯやＥＳは、呼び出しエリアの形成にも影響する。

第２下位層エージェント２２の強化学習により期待される期待学習効果の一例は、次の通りである。例えば、ある呼び出しエリアの位置登録メッセージ頻度が高い場合、第２下位層エージェント２２はＴＡＯを起動し、呼び出しエリアの境界を変更する。この結果、位置登録メッセージの頻度が低下し無線リソース使用率が低下することにより、より高い報酬が得られる。

また、例えばある呼び出しエリアのページングメッセージの頻度が高い場合、第２下位層エージェント２２はＴＡＯを起動し、呼び出しエリアを分割する。この結果、位置登録メッセージの頻度が低下し無線リソース使用率が低下することにより、より高い報酬が得られる。

この期待学習効果の一例から分かるように、（１７）位置登録メッセージの頻度及び（１８）ページングメッセージの頻度は、ＴＡＯを起動すべき否かを判断するため必要な状態構成要素である。

本実施例によれば、ＴＡＯを行う強化学習においても、ＴＡＯを他の最適化処理から独立して実施し、強化学習に必要な状態構成要素の数を低減することができる。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するパラメータ設定装置であって、
前記制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習するプロセッサを備え、
前記最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成し、
前記プロセッサは、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
を実行することを特徴とするパラメータ設定装置。
（付記２）
前記プロセッサは、
第２エージェントプログラムによって、第１エージェントによる最適化処理の起動を停止する起動停止指示を第１エージェントプログラムへ送信する処理と、
前記起動停止指示が受信された場合に、前記第１エージェントによって起動された最適化処理の終了を知らせる終了通知を、第１エージェントプログラムによって第２エージェントプログラムへ送信する処理と、
前記第２エージェントプログラムによって、前記終了通知が受信された後に最適化処理を起動する処理と、を実行することを特徴とする付記１に記載のパラメータ設定装置。
（付記３）
前記第１エージェントプログラムが起動する最適化処理は、セル間干渉に関する最適化処理であることを特徴とする付記１又は２に記載のパラメータ設定装置。
（付記４）
前記第１エージェントプログラムが起動する最適化処理は、基地局負荷に関する最適化処理であることを特徴とする付記１又は２に記載のパラメータ設定装置。
（付記５）
前記第１エージェントプログラムが起動する最適化処理は、ハンドオーバパラメータを変更する最適化処理であることを特徴とする付記１又は２に記載のパラメータ設定装置。
（付記６）
前記第１エージェントプログラムが起動する最適化処理は、再送制御に関する最適化処理であることを特徴とする付記１又は２に記載のパラメータ設定装置。
（付記７）
前記第１エージェントプログラムが起動する最適化処理は、呼び出しエリアの形成に関する最適化処理であることを特徴とする付記１又は２に記載のパラメータ設定装置。
（付記８）
前記第２エージェントプログラムが起動する最適化処理は、セル間干渉、基地局負荷、再送制御及び呼び出しエリアの形成の１以上に関係する最適化処理であることを特徴とする付記１〜７のいずれか一項に記載のパラメータ設定装置。
（付記９）
前記最適化処理のグループは、強化学習のための報酬を定める前記無線通信網の状態変数のうち共通の状態変数に影響を及ぼす最適化処理をグループ化することによって形成される付記１〜８のいずれか一項に記載のパラメータ設定装置。
（付記１０）
前記第１エージェントプログラムは、前記無線通信網の状態変数のうち、該第１エージェントプログラムにより実行される最適化処理を実行するかを決定するのに必要な状態変数のみを参照して、前記第１価値関数の学習又は実行する最適化処理の選択を行い、
前記第２エージェントプログラムは、前記無線通信網の状態変数のうち、該第２エージェントプログラムにより実行される最適化処理を実行するかを決定するのに必要な状態変数のみを参照して、前記第２価値関数の学習又は最適化処理の実行要否の判断を行う、ことを特徴とする付記１〜９のいずれか一項に記載のパラメータ設定装置。
（付記１１）
無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するコンピュータプログラムであって、
前記制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習する処理をコンピュータに実行させ、
前記最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成し、
前記コンピュータプログラムは、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
（付記１２）
無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するパラメータ設定方法であって、
前記制御パラメータを最適化する複数の最適化処理を、該複数の最適化処理のいずれを実行するかを学習する強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループにグループ化し、
コンピュータに、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
を実行させることを特徴とするパラメータ設定方法。

１通信システム
２パラメータ設定装置
３無線通信網
４基地局装置
５移動局装置
６セル
１０ＣＰＵ
１１記憶装置
１４パラメータ設定プログラム
２１、２２下位層エージェント
２３上位層エージェント

Claims

無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するパラメータ設定装置であって、
前記制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習するプロセッサを備え、
前記最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成し、
前記プロセッサは、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
を実行することを特徴とするパラメータ設定装置。
前記プロセッサは、
第２エージェントプログラムによって、第１エージェントによる最適化処理の起動を停止する起動停止指示を第１エージェントプログラムへ送信する処理と、
前記起動停止指示が受信された場合に、前記第１エージェントによって起動された最適化処理の終了を知らせる終了通知を、第１エージェントプログラムによって第２エージェントプログラムへ送信する処理と、
前記第２エージェントプログラムによって、前記終了通知が受信された後に最適化処理を起動する処理と、を実行することを特徴とする請求項１に記載のパラメータ設定装置。
前記第１エージェントプログラムが起動する最適化処理は、セル間干渉に関する最適化処理であることを特徴とする請求項１又は２に記載のパラメータ設定装置。
前記第１エージェントプログラムが起動する最適化処理は、基地局負荷に関する最適化処理であることを特徴とする請求項１又は２に記載のパラメータ設定装置。
前記第１エージェントプログラムが起動する最適化処理は、ハンドオーバパラメータを変更する最適化処理であることを特徴とする請求項１又は２に記載のパラメータ設定装置。
前記第１エージェントプログラムが起動する最適化処理は、再送制御に関する最適化処理であることを特徴とする請求項１又は２に記載のパラメータ設定装置。
前記第１エージェントプログラムが起動する最適化処理は、呼び出しエリアの形成に関する最適化処理であることを特徴とする請求項１又は２に記載のパラメータ設定装置。
前記第２エージェントプログラムが起動する最適化処理は、セル間干渉、基地局負荷、再送制御及び呼び出しエリアの形成の１以上に関係する最適化処理であることを特徴とする請求項１〜７のいずれか一項に記載のパラメータ設定装置。
前記第１エージェントプログラムは、前記無線通信網の状態変数のうち、該第１エージェントプログラムにより実行される最適化処理を実行するかを決定するのに必要な状態変数のみを参照して、前記第１価値関数の学習又は実行する最適化処理の選択を行い、
前記第２エージェントプログラムは、前記無線通信網の状態変数のうち、該第２エージェントプログラムにより実行される最適化処理を実行するかを決定するのに必要な状態変数のみを参照して、前記第２価値関数の学習又は最適化処理の実行要否の判断を行う、ことを特徴とする請求項１〜８のいずれか一項に記載のパラメータ設定装置。
無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するコンピュータプログラムであって、
前記制御パラメータを最適化する複数の最適化処理のうちいずれを実行するかを強化学習によって学習する処理をコンピュータに実行させ、
前記最適化処理は、強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループを形成し、
前記コンピュータプログラムは、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
無線通信網の状態変数に応じて該無線通信網の制御パラメータを設定するパラメータ設定方法であって、
前記制御パラメータを最適化する複数の最適化処理を、該複数の最適化処理のいずれを実行するかを学習する強化学習の価値関数を定めるために使用される同じ状態変数に影響する最適化処理のグループ、又は制御パラメータが重複する最適化処理のグループにグループ化し、
コンピュータに、
各前記グループ毎に割り当てられた第１エージェントプログラムによって、前記グループ内の最適化処理のいずれを実行するかを決定するための第１価値関数を強化学習により学習する処理と、
前記第１エージェントプログラムによって、前記第１価値関数に従い前記無線通信網の状態に応じて前記グループ内の最適化処理のいずれを実行するかを決定し、決定された最適化処理を起動する処理と、
第２エージェントプログラムによって、前記無線通信網の制御パラメータを最適化する最適化処理のうち、前記第１価値関数に影響する最適化処理を実行するか否かを決定するための第２価値関数を強化学習により学習する処理と、
前記第２エージェントプログラムによって、前記第２価値関数に従い前記無線通信網の状態に応じて前記第１価値関数に影響する最適化処理を実行するか否かを判断し、判断結果に従って最適化処理を起動する処理と、
前記第２エージェントプログラムが最適化処理を起動するとき、前記第１エージェントプログラムによる最適化処理の起動を停止する処理と、
を実行させることを特徴とするパラメータ設定方法。