JP7341430B2 - 端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

この発明は、端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

無線ＬＡＮ（Local Area Network）などに代表されるＣＳＭＡ／ＣＡ（Carrier Sense Multiple Access/ Collision Avoidance）方式では、同時送信などによるパケットの衝突・損失が起きた場合、バックオフ時間（他局からの送信電波が止まったことを検知した後、直ちに送信せず、自局が送信するまでの意図的な待ち時間）を長くすることにより、パケットの衝突確率を低減させる（特許文献１）。

特開２００６－０１３８９４号公報

しかし、近年では、端末数の増加により、無闇にバックオフ時間を増加させることは、パケット衝突の解決にはつながらず、端末自身の通信遅延の原因となる．
そこで、この発明の実施の形態によれば、パケット損失を抑制して周波数を有効利用する端末装置を提供する。

また、この発明の実施の形態によれば、パケット損失を抑制して周波数の有効利用をコンピュータに実行させるためのプログラムを提供する。

更に、この発明の実施の形態によれば、パケット損失を抑制して周波数の有効利用をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

（構成１）
この発明の実施の形態によれば、端末装置は、予測手段と、学習器と、選択手段と、送信手段とを備える。予測手段は、チャネルが空いている時間であるチャネル空き時間とチャネルが使用されている時間であるチャネル使用時間とを複数のチャネルの全てについて予測する。学習器は、パケットを基地局へ送信する通信の通信結果と、当該端末装置と競合する競合端末装置の情報である競合端末情報と、１つのパケットを送信してから次のパケットを送信するまでのチャネルの待機時間であるチャネル待機時間とからなる入力情報、またはパケットを前記基地局へ送信できないことを示す送信不可情報からなる入力情報に基づいて、パケットの送信時間の長さを状態とし、チャネルを選択することを行動とし、通信に成功したときのスループットまたはチャネル待機時間の逆数を報酬とするＱ学習を実行してＱ値の更新をＱ学習の終了条件が満たされるまで繰り返し実行し、Ｑ学習の終了条件が満たされたときの各状態と、各状態における最大のＱ値と、各状態において最大のＱ値が得られるときの行動とを相互に対応付けた構成からなる出力情報を出力する学習処理を実行する。選択手段は、送信したいパケットの送信時間の長さに対応するＱ学習の状態に対応する最大のＱ値が得られるときの行動を出力情報から検出し、その検出した行動によって選択されたチャネルを送信用チャネルとして選択する。送信手段は、送信用チャネルにおいて予測手段によって予測されたチャネル空き時間が、送信したいパケットの送信時間の長さよりも長いことからなる第１の条件が満たされたとき、バックオフを実行せずに、送信したいパケットを送信用チャネルで基地局へ送信する。

（構成２）
構成１において、学習器は、競合端末情報が競合端末装置の個数からなり、かつ、通信結果が通信の成功を示すとき、競合端末装置の個数が少なくなれば大きくなり、競合端末装置の個数が多くなれば小さくなるように報酬を算出する第１の演算処理を実行するとともに、チャネル待機時間が短くなれば大きくなり、チャネル待機時間が長くなれば小さくなるように報酬を算出する第２の演算処理を実行して学習処理を実行する。

（構成３）
構成２において、学習器は、競合端末装置の個数が第１の個数であるとき第１の値からなる第１の重み係数をスループットに乗算し、競合端末装置の個数が第１の個数よりも多い第２の個数であるとき第１の値よりも小さい第２の値からなる第１の重み係数をスループットに乗算して第１の演算処理を実行する。

（構成４）
構成３において、学習器は、競合端末装置の個数の逆数を第１の重み係数としてスループットに乗算して第１の演算処理を実行する。

（構成５）
構成２から構成４のいずれかにおいて、学習器は、チャネル待機時間が第１の時間長からなるとき、第３の値からなる第２の重み係数をスループットに乗算し、チャネル待機時間が第１の時間長よりも長い第２の時間長からなるとき、第３の値よりも小さい第４の値からなる第２の重み係数をスループットに乗算して第２の演算処理を実行する。

（構成６）
構成２から構成５のいずれかにおいて、学習器は、チャネル待機時間の逆数を第２の重み係数としてスループットに乗算して第２の演算処理を実行する。

（構成７）
構成１において、学習器は、学習処理において、入力情報が送信不可情報からなるとき、報酬を零としてＱ値を更新する。

（構成８）
構成１から構成７のいずれかにおいて、端末装置は、受信手段を更に備える。受信手段は、競合端末情報を制御チャネルで基地局から受信する。

（構成９）
構成１から構成８のいずれかにおいて、通信結果は、送信手段が送信したいパケットを基地局へ送信した後、パケットを受信したことを示すＡＣＫパケットを基地局から受信したとき、第１の指標からなり、送信手段が送信したいパケットを基地局へ送信した後、ＡＣＫパケットを基地局から受信しないとき、第２の指標からなる。

（構成１０）
構成１から構成９のいずれかにおいて、送信手段は、第１の条件に加え、送信用チャネルにおけるキャリアセンスの結果、他の端末装置が送信用チャネルで通信していないことからなる第２の条件が満たされたとき、バックオフを実行せずに、送信したいパケットを送信用チャネルで基地局へ送信する。

（構成１１）
また、この発明の実施の形態によれば、プログラムは、
予測手段が、チャネルが空いている時間であるチャネル空き時間とチャネルが使用されている時間であるチャネル使用時間とを複数のチャネルの全てについて予測する第１のステップと、
学習器が、パケットを基地局へ送信する通信の通信結果と、当該端末装置と競合する競合端末装置の情報である競合端末情報と、１つのパケットを送信してから次のパケットを送信するまでのチャネルの待機時間であるチャネル待機時間とからなる入力情報、またはパケットを基地局へ送信できないことを示す送信不可情報からなる入力情報に基づいて、パケットの送信時間の長さを状態とし、チャネルを選択することを行動とし、通信に成功したときのスループットまたはチャネル待機時間の逆数を報酬とするＱ学習を実行してＱ値の更新をＱ学習の終了条件が満たされるまで繰り返し実行し、Ｑ学習の終了条件が満たされたときの各状態と、各状態における最大のＱ値と、各状態において最大のＱ値が得られるときの行動とを相互に対応付けた構成からなる出力情報を出力する学習処理を実行する第２のステップと、
選択手段が、送信したいパケットの送信時間の長さに対応するＱ学習の状態に対応する最大のＱ値が得られるときの行動を出力情報から検出し、その検出した行動によって選択されたチャネルを送信用チャネルとして選択する第３のステップと、
送信手段が、送信用チャネルにおいて予測手段によって予測されたチャネル空き時間が、送信したいパケットの送信時間の長さよりも長いことからなる第１の条件が満たされたとき、バックオフを実行せずに、送信したいパケットを前記送信用チャネルで前記基地局へ送信する第４のステップとをコンピュータに実行させるためのプログラムである。

（構成１２）
構成１１において、学習器は、第２のステップにおいて、競合端末情報が競合端末装置の個数からなり、かつ、通信結果が通信の成功を示すとき、競合端末装置の個数が少なくなれば大きくなり、競合端末装置の個数が多くなれば小さくなるように報酬を算出する第１の演算処理を実行するとともに、チャネル待機時間が短くなれば大きくなり、チャネル待機時間が長くなれば小さくなるように報酬を算出する第２の演算処理を実行して学習処理を実行する。

（構成１３）
構成１２において、学習器は、第２のステップにおいて、競合端末装置の個数が第１の個数であるとき第１の値からなる第１の重み係数をスループットに乗算し、競合端末装置の個数が第１の個数よりも多い第２の個数であるとき第１の値よりも小さい第２の値からなる第１の重み係数をスループットに乗算して第１の演算処理を実行する。

（構成１４）
構成１３において、学習器は、第２のステップにおいて、競合端末装置の個数の逆数を第１の重み係数として前記スループットに乗算して第１の演算処理を実行する。

（構成１５）
構成１２から構成１４のいずれかにおいて、学習器は、第２のステップにおいて、チャネル待機時間が第１の時間長からなるとき、第３の値からなる第２の重み係数をスループットに乗算し、チャネル待機時間が第１の時間長よりも長い第２の時間長からなるとき、第３の値よりも小さい第４の値からなる第２の重み係数をスループットに乗算して第２の演算処理を実行する。

（構成１６）
構成１２から構成１５のいずれかにおいて、学習器は、第２のステップにおいて、チャネル待機時間の逆数を第２の重み係数としてスループットに乗算して第２の演算処理を実行する。

（構成１７）
構成１１において、学習器は、第２のステップの学習処理において、入力情報が送信不可情報からなるとき、報酬を零としてＱ値を更新する。

（構成１８）
構成１１から構成１７のいずれかにおいて、プログラムは、受信手段が、競合端末情報を制御チャネルで基地局から受信する第５のステップを更にコンピュータに実行させる。

（構成１９）
構成１１から構成１８のいずれかにおいて、通信結果は、送信手段が送信したいパケットを基地局へ送信した後、パケットを受信したことを示すＡＣＫパケットを基地局から受信したとき、第１の指標からなり、送信手段が送信したいパケットを基地局へ送信した後、ＡＣＫパケットを基地局から受信しないとき、第２の指標からなる。

（構成２０）
構成１１から構成１９のいずれかにおいて、送信手段は、第１の条件に加え、送信用チャネルにおけるキャリアセンスの結果、他の端末装置が送信用チャネルで通信していないことからなる第２の条件が満たされたとき、バックオフを実行せずに送信したいパケットを送信用チャネルで基地局へ送信する。

（構成２１）
更に、この発明の実施の形態によれば、記録媒体は、構成１１から構成２０のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

パケット損失を抑制して周波数を有効利用できる。

この発明の実施の形態における通信システムの概略図である。 図１に示す端末装置の概略図である。 図２に示す予測手段の概略図である。 受信電力スペクトルの概念図である。 ビジー継続時間サブセットおよびアイドル継続時間サブセットを時系列に配列した例を示す概念図である。 図３に示す予測器の概略図である。 変遷パターンと係数ｂ_１，ｂ_２，・・・，ｂ_ｐとの対応表を示す図である。 チャネル待機時間の概念図である。 Ｑテーブルの概念図である。 Ｑテーブルの更新方法を説明するための第１の概略図である。 Ｑテーブルの更新方法を説明するための第２の概略図である。 Ｑテーブルの更新方法を説明するための第３の概略図である。 送信用パケットが送信可能か否かを判定する方法を説明するための図である。 図２に示す端末装置の動作を説明するためのフローチャートである。 図１４のステップＳ５の詳細な動作を説明するためのフローチャートである。 図１４のステップＳ１２の詳細な動作を説明するためのフローチャートである。 出力情報の概念図である。

本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

図１は、この発明の実施の形態における通信システムの概略図である。図１を参照して、通信システム１００は、基地局ＢＳと、複数の端末装置ＴＭとを備える。基地局ＢＳおよび複数の端末装置ＴＭは、無線通信空間に配置される。

基地局ＢＳは、通信範囲ＲＥＧ１を有する。複数の端末装置ＴＭは、通信範囲ＲＥＧ１内に配置される。

基地局ＢＳは、パケットを複数の端末装置ＴＭのいずれかへ送信するとともに複数の端末装置ＴＭのいずれかからパケットを受信する。

そして、基地局ＢＳは、パケットを受信したとき、パケットを受信したことを示すＡＣＫ（Acknowledgement）パケットをパケットの送信元の端末装置（複数の端末装置ＴＭのいずれか）へ送信する。

また、基地局ＢＳは、送信元の端末装置以外の端末装置に関する情報である競合端末情報を制御チャネルで送信元の端末装置へ送信する。

複数の端末装置ＴＭの各々は、パケットを基地局ＢＳへ送信する場合、後述する方法によって、送信用チャネルＣＨ＿Ｔを選択し、その選択した送信用チャネルＣＨ＿Ｔにおいてキャリアセンスを実行した後、パケットの送信が可能であると判断すると、バックオフを実行せずにパケットを送信用チャネルで基地局ＢＳへ送信する。

また、複数の端末装置ＴＭの各々は、基地局ＢＳからパケットを受信する。そして、複数の端末装置ＴＭの各々は、パケットを受信すると、ＡＣＫパケットを基地局ＢＳへ送信する。

更に、複数の端末装置ＴＭの各々は、制御チャネルで競合端末情報を基地局ＢＳから受信する。

以下においては、複数の端末装置ＴＭの各々を「端末装置１０」と表記する。

図２は、図１に示す端末装置の概略図である。図２を参照して、端末装置１０は、アンテナ１と、受信手段２と、予測手段３と、制御手段４と、学習器５と、アプリケーション６と、送信手段７とを備える。

受信手段２は、制御手段４からの制御に従って、通信システム１００において無線通信に用いられる周波数帯域内の相互に異なる複数の周波数からなる複数のチャネルでアンテナ１を介してキャリアセンスを行い、受信電力の時間依存性を示す受信電力スペクトルを取得する。そして、受信手段２は、受信電力スペクトルを予測手段３へ出力する。

また、受信手段２は、アンテナ１を介して、制御チャネルで競合端末情報を基地局ＢＳから受信し、その受信した競合端末情報を制御手段４へ出力する。

更に、受信手段２は、制御手段４からの制御に従って、送信用チャネルＣＨ＿Ｔでアンテナ１を介してキャリアセンスを行い、そのキャリアセンスの結果を制御手段４へ出力する。

更に、受信手段２は、アンテナ１を介して、送信用チャネルＣＨ＿Ｔで基地局ＢＳからＡＣＫパケットを受信し、その受信したＡＣＫパケットを制御手段４へ出力する。

予測手段３は、受信電力スペクトルを受信手段２から受ける。そして、予測手段３は、制御手段４からの制御に応じて、後述する方法によって、受信電力スペクトルに基づいて、チャネルが空いている時間の長さであるチャネル空き時間と、チャネルが使用されている時間の長さであるチャネル使用時間とを検出し、その検出したチャネル空き時間およびチャネル使用時間に基づいて、パケットを送信した後のチャネル空き時間およびチャネル使用時間を予測する。そして、予測手段３は、その予測した予測チャネル空き時間および予測チャネル使用時間を制御手段４へ出力する。

制御手段４は、複数のチャネルでキャリアセンスを実行するように受信手段２を制御する。

また、制御手段４は、チャネル空き時間およびチャネル使用時間を予測するように予測手段３を制御する。

更に、制御手段４は、受信手段２から競合端末情報およびＡＣＫパケットを受け、予測チャネル空き時間および予測チャネル使用時間を予測手段３から受け、送信したいパケットである送信用パケットをアプリケーション６から受ける。

そして、制御手段４は、送信用パケットを送信するときの送信時間の長さが予測チャネル空き時間よりも長いとき、送信用パケットの送信が不可能であると判定し、送信不可情報を生成する。

また、制御手段４は、送信用パケットを送信手段７へ出力した後、ＡＣＫパケットを受信手段２から受けると、パケットを基地局ＢＳへ送信する通信が成功したことを示す第１の指標を生成し、送信用パケットを送信手段７へ出力した後、ＡＣＫパケットを受信手段２から受けないとき、パケットを基地局ＢＳへ送信する通信が失敗したことを示す第２の指標を生成する。そして、制御手段４は、第１の指標および第２の指標からなる通信結果を生成する。第１の指標は、例えば、“１”からなり、第２の指標は、例えば、“０”からなる。

更に、制御手段４は、予測チャネル空き時間および予測チャネル使用時間に基づいて、送信用パケットを送信してから次の送信用パケットを送信するまでのチャネルの待機時間の長さであるチャネル待機時間を算出する。

制御手段４は、送信用パケットを送信するときの送信時間の長さが予測チャネル空き時間よりも短いとき、競合端末情報、通信結果およびチャネル待機時間からなる入力情報ＩＦ＿ＩＮＰＵＴ１を生成する。そして、制御手段４は、その生成した入力情報ＩＦ＿ＩＮＰＵＴ１を学習器５へ出力し、パケットの送信時間の長さを状態とし、チャネルを選択することを行動とし、通信のスループットを報酬としたＱ学習を実行するように学習器５を制御する。

制御手段４は、送信不可情報を生成したとき、送信不可情報からなる入力情報ＩＦ＿ＩＮＰＵＴ２を生成し、その生成した入力情報ＩＦ＿ＩＮＰＵＴ２を学習器５へ出力して報酬を零としてＱ値を更新するように学習器５を制御する。

制御手段４は、入力情報ＩＦ＿ＩＮＰＵＴ１または入力情報ＩＦ＿ＩＮＰＵＴ２を学習器５へ出力した後、出力情報ＩＦ＿ＯＵＴを学習器５から受ける。そして、制御手段４は、送信用パケットのデータ量を送信レートで除算して送信用パケットの送信時間を算出する。

そうすると、制御手段４は、出力情報ＩＦ＿ＯＵＴを参照して、送信用パケットの送信時間の長さに対応する状態における複数のＱ値のうち、最大のＱ値と、最大のＱ値に対応する行動とを検出する。そして、制御手段４は、その検出した行動において選択されたチャネルを送信用チャネルＣＨ＿Ｔとして選択する。

その後、制御手段４は、送信用チャネルＣＨ＿Ｔにおいて、キャリアセンスを実行するように受信手段２を制御する。制御手段４は、受信手段２からキャリアセンスの結果を受けると、その受けたキャリアセンスの結果に基づいて送信用パケットの送信が可能であるか否かを判定する。

制御手段４は、送信用パケットの送信が可能であると判定したとき、送信用パケットおよび送信用チャネルＣＨ＿Ｔを送信手段７へ出力し、送信用パケットを送信用チャネルＣＨ＿Ｔで送信するように送信手段７を制御する。

一方、制御手段４は、送信用パケットの送信が不可能であると判定したとき、送信不可情報を生成する。その後、制御手段４は、新たな送信用パケットをアプリケーション６から受ける。

アプリケーション６は、送信用パケットを生成し、その生成した送信用パケットを制御手段４へ出力する。

送信手段７は、送信用パケットおよび送信用チャネルＣＨ＿Ｔを制御手段４から受けると、アンテナ１を介して、送信用チャネルＣＨ＿Ｔで送信用パケットを基地局ＢＳへ送信する。

図３は、図２に示す予測手段３の概略図である。図３を参照して、予測手段３は、判定部３１と、計測部３２と、分類部３３と、予測部３４と、予測器３５とを含む。

判定部３１は、受信手段２から受信電力スペクトルを受け、その受けた受信電力スペクトルに基づいて、ビジー状態（Ｂｕｓｙ）であるかアイドル状態（Ｉｄｌｅ）であるかを判定する。そして、判定部３１は、ビジー状態（Ｂｕｓｙ）となる開始時刻と終了時刻とを検出するとともにアイドル状態（Ｉｄｌｅ）となる開始時刻と終了時刻とを検出する。そうすると、判定部３１は、ビジー状態（Ｂｕｓｙ）となる開始時刻および終了時刻と、アイドル状態（Ｉｄｌｅ）となる開始時刻および終了時刻とを計測部３２へ出力する。

計測部３２は、ビジー状態（Ｂｕｓｙ）となる開始時刻および終了時刻と、アイドル状態（Ｉｄｌｅ）となる開始時刻および終了時刻とを判定部３１から受ける。そして、計測部３２は、ビジー状態（Ｂｕｓｙ）となる開始時刻および終了時刻に基づいてビジー継続時間を計測し、アイドル状態（Ｉｄｌｅ）となる開始時刻および終了時刻に基づいてアイドル継続時間を計測する。そうすると、計測部３２は、ビジー継続時間およびアイドル継続時間を分類部３３へ出力する。

分類部３３は、ビジー継続時間およびアイドル継続時間を計測部３２から受ける。そして、分類部３３は、後述する方法によって、ビジー継続時間およびアイドル継続時間をサブセットに分類する。そうすると、分類部３３は、その分類したビジー継続時間およびアイドル継続時間のサブセットを予測部３４へ出力する。

予測部３４は、ビジー継続時間およびアイドル継続時間のサブセットを分類部３３から受ける。そして、予測部３４は、ビジー継続時間およびアイドル継続時間のサブセットを予測器３５へ出力する。その後、予測部３４は、将来のビジー継続時間およびアイドル継続時間を予測した結果である予測ビジー継続時間および予測アイドル継続時間を予測器３５から受け、その受けた予測ビジー継続時間および予測アイドル継続時間をそれぞれ予測チャネル使用時間および予測チャネル空き時間として制御手段４へ出力する。

図４は、受信電力スペクトルの概念図である。図４において、縦軸は、受信電力を表し、横軸は、時間を表す。

図４を参照して、受信電力スペクトルＳＰ＿ＲＳＳＩは、受信電力が時間の経過とともに変化する。

判定部３１は、受信電力スペクトルＳＰ＿ＲＳＳＩを受信手段２から受けると、しきい値ＲＳＳＩ＿ｔｈを設定する。しきい値ＲＳＳＩ＿ｔｈは、例えば、－８０［ｄＢｍ］である。

そして、判定部３１は、受信電力スペクトルＳＰ＿ＲＳＳＩの受信電力がしきい値ＲＳＳＩ＿ｔｈに一致する時刻ｔ１～ｔ８を検出する。その後、判定部３１は、時刻ｔ１～ｔ８に基づいて、時刻ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８の区間をビジー状態と判定し、時刻ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７の区間をアイドル状態と判定する。

そうすると、判定部３１は、ビジー状態と時刻ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８の区間とを対応付けた［ビジー状態：ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８］を生成するとともに、アイドル状態と時刻ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７の区間とを対応付けた［アイドル状態：ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７］を生成する。そして、判定部３１は、［ビジー状態：ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８］および［アイドル状態：ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７］を計測部３２へ出力する。

計測部３２は、［ビジー状態：ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８］および［アイドル状態：ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７］を判定部３１から受ける。そして、計測部３２は、時刻ｔ１から時刻ｔ２までの時間長Ｔ_ｌｅｇ１、時刻ｔ３から時刻ｔ４までの時間長Ｔ_ｌｅｇ２、時刻ｔ５から時刻ｔ６までの時間長Ｔ_ｌｅｇ３、および時刻ｔ７から時刻ｔ８までの時間長Ｔ_ｌｅｇ４を計測し、それぞれ、ビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}を生成する。

また、計測部３２は、時刻ｔ２から時刻ｔ３までの時間長Ｔ_ｌｅｇ５、時刻ｔ４から時刻ｔ５までの時間長Ｔ_ｌｅｇ６、および時刻ｔ６から時刻ｔ７までの時間長Ｔ_ｌｅｇ７を計測して、それぞれ、アイドル継続時間Ｔ_Ｉｄｌ１～_{ＴＩｄｅ３}を生成する。

そして、計測部３２は、ビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}と時刻ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８の区間とを対応付けた［ｔ１～ｔ２：Ｔ_{Ｂｕｓｙ１}／ｔ３～ｔ４：Ｔ_{Ｂｕｓｙ２}／ｔ５～ｔ６：Ｔ_{Ｂｕｓｙ３}／ｔ７～ｔ８：Ｔ_{Ｂｕｓｙ４}］を生成する。

また、計測部３２は、アイドル継続時間Ｔ_Ｉｄｌ１～_{ＴＩｄｅ３}と、時刻ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７の区間とを対応付けた［ｔ２～ｔ３：Ｔ_Ｉｄｌ１／ｔ４～ｔ５：Ｔ_Ｉｄｌ２／ｔ６～ｔ７：Ｔ_Ｉｄｌ３］を生成する。

そうすると、計測部３２は、［ｔ１～ｔ２：Ｔ_{Ｂｕｓｙ１}／ｔ３～ｔ４：Ｔ_{Ｂｕｓｙ２}／ｔ５～ｔ６：Ｔ_{Ｂｕｓｙ３}／ｔ７～ｔ８：Ｔ_{Ｂｕｓｙ４}］および［ｔ２～ｔ３：Ｔ_Ｉｄｌ１／ｔ４～ｔ５：Ｔ_Ｉｄｌ２／ｔ６～ｔ７：Ｔ_Ｉｄｌ３］を分類部３３へ出力する。

分類部３３は、［ｔ１～ｔ２：Ｔ_{Ｂｕｓｙ１}／ｔ３～ｔ４：Ｔ_{Ｂｕｓｙ２}／ｔ５～ｔ６：Ｔ_{Ｂｕｓｙ３}／ｔ７～ｔ８：Ｔ_{Ｂｕｓｙ４}］および［ｔ２～ｔ３：Ｔ_Ｉｄｌ１／ｔ４～ｔ５：Ｔ_Ｉｄｌ２／ｔ６～ｔ７：Ｔ_Ｉｄｌ３］を計測部３２から受ける。

また、分類部３３は、ビジー継続時間およびアイドル継続時間をサブセットに分類するための時間範囲を予め保持している。

ビジー継続時間およびアイドル継続時間をサブセットに分類するための時間範囲は、例えば、次の通りである。
（１）ビジー継続時間サブセット：１ｍｓ未満→ｓｔｅｐ１、１ｍｓ以上→ｓｔｅｐ２
（２）アイドル継続時間サブセット：０．５ｍｓ未満→ｓｔｅｐ１、０．５ｍｓ以上→ｓｔｅｐ２
分類部３３は、ビジー継続時間サブセットの時間範囲（１）に基づいて、ビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}の各々をサブセットｓｔｅｐ１，ｓｔｅｐ２のいずれかに分類し、アイドル継続時間サブセットの時間範囲（２）に基づいて、アイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３の各々をサブセットｓｔｅｐ１，ｓｔｅｐ２のいずれかに分類する。

図５は、ビジー継続時間サブセットおよびアイドル継続時間サブセットを時系列に配列した例を示す概念図である。

図５を参照して、分類部３３は、時刻ｔ１～ｔ２，ｔ３～ｔ４，ｔ５～ｔ６，ｔ７～ｔ８の区間、時刻ｔ２～ｔ３，ｔ４～ｔ５，ｔ６～ｔ７の区間、サブセットに分類したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}、およびサブセットに分類したアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３に基づいて、例えば、ビジー継続時間Ｔ_{Ｂｕｓｙ１}（ｓｔｅｐ２）／アイドル継続時間Ｔ_Ｉｄｌ１（ｓｔｅｐ１）／ビジー継続時間Ｔ_{Ｂｕｓｙ２}（ｓｔｅｐ１）／アイドル継続時間Ｔ_Ｉｄｌ２（ｓｔｅｐ２）／ビジー継続時間Ｔ_{Ｂｕｓｙ３}（ｓｔｅｐ１）／アイドル継続時間Ｔ_Ｉｄｌ３（ｓｔｅｐ１）／ビジー継続時間Ｔ_{Ｂｕｓｙ４}（ｓｔｅｐ１）のようにビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３を時系列に配列する。

なお、図５に示す時系列に配列したビジー継続時間およびアイドル継続時間は、複数生成される。

そして、分類部３３は、時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３を予測部３４へ出力する。

予測部３４は、時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３を分類部３３から受けると、その受けた時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３を予測器３５へ出力する。

予測器３５は、時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３を予測部３４から受けると、時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３に基づいて、将来のビジー継続時間およびアイドル継続時間を予測し、その予測した予測ビジー継続時間よび予測アイドル継続時間を予測部３４へ出力する。

予測器３５における将来のビジー継続時間およびアイドル継続時間の予測方法について説明する。

図６は、図３に示す予測器３５の概略図である。図６を参照して、予測器３５は、１層、２層、・・・、Ｋ層を有する。なお、Ｋは、２以上の整数である。

１層、２層、・・・、Ｋ層の各々は、サブセット数Ｓ_ｉ（ｉは、２以上の整数）に一致する個数の解析部（図６の○）を有する。図６においては、サブセット数Ｓ_ｉが２個である場合の予測器３５の概略図を示す。

サブセット数がＳ_ｉである場合、総データストリームは、Ｓ_１×Ｓ_２×・・・×Ｓ_Ｋになる。図６に示す場合、サブセット数Ｓ_１～Ｓ_Ｋの各々は、“２”であるので、総データストリームは、２×２×・・・×２＝２^Ｋになる。

１層、２層、・・・、Ｋ層の各々は、ビジー／アイドルの相関性を解析する。そして、１層は、ビジー／アイドルデータを予測部３４から受け、その受けたビジー／アイドルデータに基づいてビジー／アイドルの相関性を解析し、ビジー／アイドルの相関性の解析結果を２層へ出力する。

ビジー／アイドルデータは、図５に示す時系列に配列したビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ４}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３からなる。１層は、ビジー／アイドルデータに基づいて、ビジー継続時間Ｔ_{Ｂｕｓｙ１}～Ｔ_{Ｂｕｓｙ３}およびアイドル継続時間Ｔ_Ｉｄｌ１～Ｔ_Ｉｄｌ３が、ビジー継続時間Ｔ_{Ｂｕｓｙ１}（ｓｔｅｐ２）→アイドル継続時間Ｔ_Ｉｄｌ１（ｓｔｅｐ１）→ビジー継続時間Ｔ_{Ｂｕｓｙ２}（ｓｔｅｐ１）→アイドル継続時間Ｔ_Ｉｄｌ２（ｓｔｅｐ２）→ビジー継続時間Ｔ_{Ｂｕｓｙ３}（ｓｔｅｐ１）→アイドル継続時間Ｔ_Ｉｄｌ３（ｓｔｅｐ１）→ビジー継続時間Ｔ_{Ｂｕｓｙ４}（ｓｔｅｐ１）のように変遷している変遷パターンを検出し、その検出した変遷パターンに基づいてビジー継続時間とアイドル継続時間との相関性を解析する。

より具体的には、１層は、ビジー継続時間Ｔ_{Ｂｕｓｙ１}（ｓｔｅｐ２）→アイドル継続時間Ｔ_Ｉｄｌ１（ｓｔｅｐ１）への変遷、アイドル継続時間Ｔ_Ｉｄｌ１（ｓｔｅｐ１）→ビジー継続時間Ｔ_{Ｂｕｓｙ２}（ｓｔｅｐ１）への変遷、ビジー継続時間Ｔ_{Ｂｕｓｙ２}（ｓｔｅｐ１）→アイドル継続時間Ｔ_Ｉｄｌ２（ｓｔｅｐ２）への変遷、アイドル継続時間Ｔ_Ｉｄｌ２（ｓｔｅｐ２）→ビジー継続時間Ｔ_{Ｂｕｓｙ３}（ｓｔｅｐ１）への変遷、ビジー継続時間Ｔ_{Ｂｕｓｙ３}（ｓｔｅｐ１）→アイドル継続時間Ｔ_Ｉｄｌ３（ｓｔｅｐ１）への変遷、およびアイドル継続時間Ｔ_Ｉｄｌ３（ｓｔｅｐ１）→ビジー継続時間Ｔ_{Ｂｕｓｙ４}（ｓｔｅｐ１）への変遷に基づいて、サブセットｓｔｅｐ２のビジー継続時間Ｔ_{Ｂｕｓｙ１}の後にサブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌ１が到来し、サブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌ１の後にサブセットｓｔｅｐ１のビジー継続時間Ｔ_{Ｂｕｓｙ２}が到来し、サブセットｓｔｅｐ１のビジー継続時間Ｔ_{Ｂｕｓｙ２}の後にサブセットｓｔｅｐ２のアイドル継続時間Ｔ_Ｉｄｌ２が到来し、サブセットｓｔｅｐ２のアイドル継続時間Ｔ_Ｉｄｌ２の後にサブセットｓｔｅｐ１のビジー継続時間Ｔ_{Ｂｕｓｙ３}が到来し、サブセットｓｔｅｐ１のビジー継続時間Ｔ_{Ｂｕｓｙ３}の後にサブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌ３が到来し、サブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌ３の後にサブセットｓｔｅｐ１のビジー継続時間Ｔ_{Ｂｕｓｙ４}が到来することを検出することによって、隣接するビジー継続時間／アイドル継続時間の相関性および隣接するアイドル継続時間／ビジー継続時間の相関性、即ち、隣接するビジー継続時間／アイドル継続時間におけるビジー継続時間のサブセットとアイドル継続時間のサブセットとの繋がり度合と、隣接するアイドル継続時間／ビジー継続時間におけるアイドル継続時間のサブセットとビジー継続時間のサブセットとの繋がり度合とを解析する。

つまり、１層は、サブセットｓｔｅｐ１のビジー継続時間Ｔ_Ｂｕｓｙの次に到来するアイドル継続時間Ｔ_Ｉｄｌｅのサブセットがサブセットｓｔｅｐ１であるかを示す度合Ｄｇ１と、サブセットｓｔｅｐ１のビジー継続時間Ｔ_Ｂｕｓｙの次に到来するアイドル継続時間Ｔ_Ｉｄｌｅのサブセットがサブセットｓｔｅｐ２であるかを示す度合Ｄｇ２と、サブセットｓｔｅｐ２のビジー継続時間Ｔ_Ｂｕｓｙの次に到来するアイドル継続時間Ｔ_Ｉｄｌｅのサブセットがサブセットｓｔｅｐ１であるかを示す度合Ｄｇ３と、、サブセットｓｔｅｐ２のビジー継続時間Ｔ_Ｂｕｓｙの次に到来するアイドル継続時間Ｔ_Ｉｄｌｅのサブセットがサブセットｓｔｅｐ２であるかを示す度合Ｄｇ４と、サブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌｅの次に到来するビジー継続時間Ｔ_Ｂｕｓｙのサブセットがサブセットｓｔｅｐ１であるかを示す度合Ｄｇ５と、サブセットｓｔｅｐ１のアイドル継続時間Ｔ_Ｉｄｌｅの次に到来するビジー継続時間Ｔ_Ｂｕｓｙのサブセットがサブセットｓｔｅｐ２であるかを示す度合Ｄｇ６と、サブセットｓｔｅｐ２のアイドル継続時間Ｔ_Ｉｄｌｅの次に到来するビジー継続時間Ｔ_Ｂｕｓｙのサブセットがサブセットｓｔｅｐ１であるかを示す度合Ｄｇ７と、サブセットｓｔｅｐ２のアイドル継続時間Ｔ_Ｉｄｌｅの次に到来するビジー継続時間Ｔ_Ｂｕｓｙのサブセットがサブセットｓｔｅｐ２であるかを示す度合Ｄｇ８とを解析結果として解析する。

そうすると、１層は、１層のデータがビジーデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）の次に到来するアイドル継続時間Ｔ_ＩｄｌｅのサブセットＳ＿ＰＤＣ＿１＿１（ｓｔｅｐ１，２のいずれか）を予測し、その予測したアイドル継続時間Ｔ_Ｉｄｌｅの予測サブセットＳ＿ＰＤＣ＿１＿１（ｓｔｅｐ１，２のいずれか）を２層へ出力する。

また、１層は、１層のデータがアイドルデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）の次に到来するビジー継続時間Ｔ_ＢｕｓｙのサブセットＳ＿ＰＤＣ＿１＿２（ｓｔｅｐ１，２のいずれか）を予測し、その予測したアイドル継続時間Ｔ_Ｉｄｌｅの予測サブセットＳ＿ＰＤＣ＿１＿２（ｓｔｅｐ１，２のいずれか）を２層へ出力する。

２層は、１層から予測サブセットＳ＿ＰＤＣ＿１＿１（ｓｔｅｐ１，２のいずれか）とビジー／アイドルデータ、または予測サブセットＳ＿ＰＤＣ＿１＿２（ｓｔｅｐ１，２のいずれか）とビジー／アイドルデータとを受ける。

そして、２層は、１層と同様にして、ビジー／アイドルデータに基づいて、上述した度合Ｄｇ１～Ｄｇ８を解析する。

その後、２層は、２層のデータがアイドルデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、アイドル継続時間Ｔ_Ｉｄｌｅの予測サブセットＳ＿ＰＤＣ＿１＿２の次に到来するビジー継続時間Ｔ_Ｂｕｓｙの予測サブセットＳ＿ＰＤＣ＿２＿１を生成する。

また、２層は、２層のデータがビジーデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、予測サブセットＳ＿ＰＤＣ＿１＿１の次に到来するアイドル継続時間Ｔ_Ｉｄｌｅの予測サブセットＳ＿ＰＤＣ＿２＿２を生成する。

そして、２層は、予測サブセットＳ＿ＰＤＣ＿２＿１、または予測サブセットＳ＿ＰＤＣ＿２＿２を３層へ出力する。

以下、同様にして、Ｋ層は、Ｋ－１層から予測サブセットＳ＿ＰＤＣ＿Ｋ－１＿１とビジー／アイドルデータ、または予測サブセットＳ＿ＰＤＣ＿Ｋ－１＿２とビジー／アイドルデータとを受ける。

そして、Ｋ層は、１層と同様にして、ビジー／アイドルデータに基づいて、上述した度合Ｄｇ１～Ｄｇ８を解析する。

その後、Ｋ層は、Ｋ層のデータがアイドルデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、予測サブセットＳ＿ＰＤＣ＿Ｋ－１＿１の次に到来するビジー継続時間Ｔ_Ｂｕｓｙの予測サブセットＳ＿ＰＤＣ＿Ｋ＿１を生成する。そして、Ｋ層は、予測サブセットＳ＿ＰＤＣ＿Ｋ＿１をビジーデータ（ビジー継続時間Ｔ_Ｂｕｓｙ）の予測値として出力する。

また、Ｋ層は、Ｋ層のデータがビジーデータである場合、解析結果（度合Ｄｇ１～Ｄｇ８）に基づいて、予測サブセットＳ＿ＰＤＣ＿Ｋ－１＿２の次に到来するアイドル継続時間Ｔ_Ｉｄｌｅの予測サブセットＳ＿ＰＤＣ＿Ｋ＿２を生成する。そして、Ｋ層は、予測サブセットＳ＿ＰＤＣ＿Ｋ＿１をアイドルデータ（アイドル継続時間Ｔ_Ｉｄｌｅ）の予測値として出力する。

予測部３４は、予測器３５のＫ層が５層である場合、ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）（１層）／アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）（２層）／ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）（３層）／アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）（４層）／ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）（５層）からなるアイドル／ビジーデータＤａｔａ１と、アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）（１層）／ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）（２層）／アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）（３層）／ビジー継続時間Ｔ_Ｂｕｓｙのサブセット（ｓｔｅｐ１，２のいずれか）（４層）／アイドル継続時間Ｔ_Ｉｄｌｅのサブセット（ｓｔｅｐ１，２のいずれか）（５層）からなるアイドル／ビジーデータＤａｔａ２とを交互に予測器３５へ出力する。

予測器３５は、アイドル／ビジーデータＤａｔａ１を予測部３４から受けたとき、１層、３層および５層は、ビジーデータになり。２層および４層は、アイドルデータになる。その結果、予測器４５は、予測アイドル継続時間を出力する。

また、予測器３５は、アイドル／ビジーデータＤａｔａ２を予測部３４から受けたとき、１層、３層および５層は、アイドルデータになり、２層および４層は、ビジーデータになる。その結果、予測器４５は、予測ビジー継続時間を出力する。

このように、予測器３５は、予測アイドル継続時間と予測ビジー継続時間とを交互に予測部３４へ出力する。

そして、予測部３４は、予測器３５から受けた予測アイドル継続時間および予測ビジー継続時間を交互に制御手段４へ出力する。

予測アイドル継続時間および予測ビジー継続時間は、サブセットｓｔｅｐ１，２のいずれかを含むので、制御手段４は、予測アイドル継続時間および予測ビジー継続時間のサブセット（サブセットｓｔｅｐ１，２のいずれか）に基づいて、予測アイドル継続時間の長さおよび予測ビジー継続時間の長さを知ることができる。

予測器３５は、一般的には、次式によって、予測アイドル継続時間または予測ビジー継続時間を予測する。

式（１）において、Ｘ_ｉ，Ｘ_ｉ－１，・・・，Ｘ_{ｉ―ｐ－１}は、直近ｐ（ｐは、２以上の整数である。）個のビジー／アイドル計測時間であり、既知の値である。また、Ｘ_ｉ＋１は、予測値である。更に、ｂ_１，ｂ_２，・・・，ｂ_ｐは、係数である。

式（１）によって、Ｘ_ｉ＋１を予測する場合、係数ｂ_１，ｂ_２，・・・，ｂ_ｐを決定する必要がある。

この場合、予測器３５は、トレーニング区間において、係数ｂ_１，ｂ_２，・・・，ｂ_ｐを学習する。

トレーニング区間における係数ｂ_１，ｂ_２，・・・，ｂ_ｐの学習について説明する。係数ｂ_１，ｂ_２，・・・，ｂ_ｐを算出するためのトレーニングデータを、例えば、２００サンプルとし、予測式（１）の次数を、例えば、２次（ｐ＝２）として係数ｂ_１，ｂ_２を学習する。

予測器３５は、２００サンプルのトレーニングデータに基づいて、上述した方法によって、ビジー継続時間およびアイドル継続時間の予測値を算出し、係数ｂ_１，ｂ_２を算出する。この場合、予測器３５は、Ｌｅｖｉｎｓｏｎ－Ｄｕｒｂｉｎ帰納法を用いて最小二乗式から生じる正規方程式を解くことによって係数ｂ_１，ｂ_２を算出する。

なお、予測器３５は、トレーニング区間において、ビジー継続時間Ｔ_Ｂｕｓｙ／アイドル継続時間Ｔ_Ｉｄｌｅの変遷パターンの全てについて係数ｂ_１，ｂ_２を算出する。

例えば、サブセット数Ｓ_ｉが２個であり、Ｋ＝５である場合、ビジー継続時間Ｔ_Ｂｕｓｙ／アイドル継続時間Ｔ_Ｉｄｌｅの変遷パターンは、３２個である。

従って、予測器３５は、３２個の変遷パターンの全てについて、係数ｂ_１，ｂ_２を算出し、その算出した係数ｂ_１，ｂ_２を３２個の変遷パターンのそれぞれに対応付けて予測部３４へ出力する。

予測部３４は、３２個の変遷パターンと、３２組の係数ｂ_１，ｂ_２との対応関係を予測器３５から受け、その受けた３２個の変遷パターンと、３２組の係数ｂ_１，ｂ_２との対応関係を保持する。

予測器３５は、ｐが２以外である場合も、同様にして、３２個の変遷パターンの全てについて、係数ｂ_１，ｂ_２，・・・，ｂ_ｐを算出し、その算出した係数ｂ_１，ｂ_２，・・・，ｂ_ｐを３２個の変遷パターンのそれぞれに対応付けて予測部３４へ出力する。

予測部３４は、３２個の変遷パターンと、３２組の係数ｂ_１，ｂ_２，・・・，ｂ_ｐとの対応関係を予測器３５から受け、その受けた３２個の変遷パターンと、３２組の係数ｂ_１，ｂ_２，・・・，ｂ_ｐとの対応関係を保持する。

図７は、変遷パターンと係数ｂ_１，ｂ_２，・・・，ｂ_ｐとの対応表を示す図である。図７を参照して、対応表ＴＢＬ１は、変遷パターンと係数の組とを含む。変遷パターンおよび係数の組は、相互に対応付けられる。

変遷パターン１、変遷パターン２、変遷パターン３、・・・、変遷パターンｍ（ｍは、サブセット数とＫ層の個数とに基づいて決定される変遷パターンの総数）は、それぞれ、係数の組ｂ_１１，ｂ_１２，ｂ_１３，・・・，ｂ_１ｐ、係数の組ｂ_２１，ｂ_２２，ｂ_２３，・・・，ｂ_２ｐ、係数の組ｂ_３１，ｂ_３２，ｂ_３３，・・・，ｂ_３ｐ、・・・、係数の組ｂ_ｍ１，ｂ_ｍ２，ｂ_ｍ３，・・・，ｂ_ｍｐに対応付けられる。

予測部３４は、対応表ＴＢＬ１を保持している。そして、予測部３４は、時系列に配列されたビジー継続時間／アイドル継続時間（図５参照）を分類部３３から受けると、対応表ＴＢＬ１を参照して、その受けた時系列に配列されたビジー継続時間／アイドル継続時間（図５参照）の変遷パターンが、対応表ＴＢＬ１に格納された変遷パターン１～変遷パターンｍのうちのいずれに一致するかを判定し、ビジー継続時間／アイドル継続時間（図５参照）の変遷パターンに一致すると判定した変遷パターン（変遷パターン１～変遷パターンｍのいずれか）に対応する係数の組（ｂ_１１，ｂ_１２，ｂ_１３，・・・，ｂ_１ｐ；ｂ_２１，ｂ_２２，ｂ_２３，・・・，ｂ_２ｐ；・・・；ｂ_ｍ１，ｂ_ｍ２，ｂ_ｍ３，・・・，ｂ_ｍｐのいずれか）を検出する。そして、予測部３４は、その検出した係数の組と、時系列に配列されたビジー継続時間／アイドル継続時間（図５参照）とを予測器３５へ出力する。

その後、予測部３４は、予測ビジー継続時間／予測アイドル継続時間を予測器３５から受ける。

学習器５におけるＱ学習について説明する。図８は、チャネル待機時間の概念図である。

図８を参照して、時刻ｔ_ＣＰＴは、チャネル＃１～チャネル＃４のいずれかでパケットを送信する通信が完了した時刻であり、現在とする。そして、現在の時刻ｔ_ＣＰＴから、次のチャネル使用時間（ビジー継続時間Ｔ_Ｂｕｓｙ）までの待ち時間の長さをチャネル待機時間ＷＴとする。

この場合、チャネル＃１においては、現在の時刻ｔ_ＣＰＴから、次のチャネル使用時間（ビジー継続時間Ｔ_{Ｂｕｓｙ１}）までの待ち時間の長さは、チャネル待機時間ＷＴ１であり、チャネル＃２においては、現在の時刻ｔ_ＣＰＴから、次のチャネル使用時間（ビジー継続時間Ｔ_{Ｂｕｓｙ２}）までの待ち時間の長さは、チャネル待機時間ＷＴ２であり、チャネル＃３においては、現在の時刻ｔ_ＣＰＴから、次のチャネル使用時間（ビジー継続時間Ｔ_{Ｂｕｓｙ３}）までの待ち時間の長さは、チャネル待機時間ＷＴ３であり、チャネル＃４においては、現在の時刻ｔ_ＣＰＴから、次のチャネル使用時間（ビジー継続時間Ｔ_{Ｂｕｓｙ４}）までの待ち時間の長さは、チャネル待機時間ＷＴ４である。

制御手段４は、予測手段３から受けた予測チャネル空き時間および予測チャネル使用時間に基づいて、各チャネル＃１～チャネル＃４におけるチャネル待機時間ＷＴ１～ＷＴ４を検出する。

図９は、Ｑテーブルの概念図である。パケットの送信時間の長さは、例えば、「長」、「中」および「短」の３つの状態ｓ_ｔを取り得るので、「短」を“１”で表し、「中」を“２”で表し、「長」を“３”で表す。

「長」は、例えば、パケットの送信時間の長さが２ｍｓであり、「中」は、例えば、パケットの送信時間の長さが１ｍｓであり、「短」は、例えば、パケットの送信時間の長さが０．５ｍｓである。

通信に用いるチャネルを選択する行動ａ_ｔは、例えば、チャネル＃１を選択する、チャネル＃２を選択する、チャネル＃３を選択する、およびチャネル＃４を選択する、の４つの行動ａ_ｔを取り得るので、チャネル＃１を選択することを“１”で表し、チャネル＃２を選択することを“２”で表し、チャネル＃３を選択することを“３”で表し、チャネル＃４を選択することを“４”で表す。

従って、Ｑテーブルは、３行×４列の行列によって表され、１２個のＱ値（＝Ｑ_１，１～Ｑ_３，４）を含む。

１２個のＱ値（＝Ｑ_１，１～Ｑ_３，４）の初期値は、全て、“０”である。そして、端末装置１０のパケットの送信時間の長さが状態ｓ_ｔ（＝１～３のいずれか）にあり、チャネル＃１～チャネル＃４のいずれかを選択する行動ａ_ｔを取ったとき、パケットの送信が可能である場合、通信結果（通信の成功／失敗）、競合端末情報およびチャネル待機時間ＷＴに基づいて、次の通信における報酬ｒ_ｔ＋１が算出される。

そして、図８に示すチャネル待機時間ＷＴが短い方がチャネル利用効率を高くできるので、チャネル待機時間ＷＴが短い方が、通信のスループットが大きくなり、チャネル待機時間ＷＴが長い方が、通信のスループットが小さくなるようにチャネル待機時間ＷＴに基づいて重み付けを行う。

また、競合端末装置の個数が少ない方が、競合が減少して通信のスループットが大きくなり、競合端末装置の個数が多い方が競合して通信のスループットが小さくなるので、競合端末装置の個数が少ない方が通信のスループットが大きくなり、競合端末装置の個数が多い方が通信のスループットが小さくなるように競合端末装置の個数に基づいて重み付けを行う。

その結果、ＱテーブルのＱ値は、次式によって更新される。

式（２）において、ｒ_ｔ＋１は、報酬であり、αは、学習率であり、γは、割引率である。

この発明の実施の形態においては、αは、例えば、０．５であり、γは、例えば、０である。

式（２）の報酬ｒ_ｔ＋１は、次式によって算出される。

式（３Ａ）のＦは、通信のスループットである。式（３Ａ）のｗ_１は、式（３Ｂ）によって算出される重み係数であり、式（３Ｂ）のＮ_ＣＦＬは、競合端末装置の個数である。その結果、重み係数ｗ_１は、競合端末装置の個数Ｎ_ＣＦＬが多くなれば小さくなり、競合端末装置の個数Ｎ_ＣＦＬが少なくなれば大きくなる。

また、式（３Ａ）のｗ_２は、式（３Ｃ）によって算出される重み係数であり、式（３Ｃ）のＷＴは、各チャネルにおけるチャネル待機時間である。その結果、重み係数ｗ_２は、チャネル待機時間ＷＴが短くなれば大きくなり、チャネル待機時間ＷＴが長くなれば小さくなる。

更に、式（３Ａ）のｖは、通信が成功したとき、“１”からなり、通信が失敗したとき、“０”からなる（式（３Ｄ）参照）。従って、通信が失敗したとき、報酬ｒ_ｔ＋１は、“０”になる。

式（３）に示すように、学習器５は、競合端末装置の個数Ｎ_ＣＦＬが少なくなれば大きくなり、競合端末装置の個数Ｎ_ＣＦＬが多くなれば小さくなるように報酬ｒ_ｔ＋１を算出する。そして、学習器５は、競合端末装置の個数Ｎ_ＣＦＬが第１の個数であるとき第１の値からなる重み係数ｗ_１をスループットＦに乗算し、競合端末装置の個数Ｎ_ＣＦＬが第１の個数よりも多い第２の個数であるとき第１の値よりも小さい第２の値からなる重み係数ｗ_１をスループットＦに乗算する。

また、学習器５は、チャネル待機時間ＷＴが短くなれば大きくなり、チャネル待機時間ＷＴが長くなれば小さくなるように報酬ｒ_ｔ＋１を算出する。そして、学習器５は、チャネル待機時間ＷＴが第１の時間長からなるとき、第３の値からなる重み係数ｗ_２をスループットＦに乗算し、チャネル待機時間ＷＴが第１の時間長よりも長い第２の時間長からなるとき、第３の値よりも小さい第４の値からなる重み係数ｗ_２をスループットに乗算する。

なお、パケットの送信が“不可”であるとき、報酬ｒ_ｔ＋１は、“０”になる。パケットの送信が“不可”であるとき、スループットＦを算出できないからである。

学習器５は、状態ｓ_ｔと行動ａ_ｔとに対応するＱ値（＝Ｑ_ｓ，ａ）と、報酬ｒ_ｔ＋１と、学習率αと、割引率γとを式（２）に代入してＱ値（＝Ｑ_ｓ，ａ）を更新する。

そして、端末装置１０の行動ａ_ｔを決定する場合、ε－ｇｒｅｅｄｙ法が用いられる。このε－ｇｒｅｅｄｙ法は、ある一定の小さい数ε（例えば、０．３）を決定しておき、発生した乱数がε以下であるとき、行動ａ_ｔをランダムに決定し、発生した乱数がε以下でないとき、行動ａ_ｔをＱ値が最大である行動に決定する方法である。

なお、制御手段４は、通信結果、競合端末情報（＝競合端末装置の個数Ｎ_ＣＦＬ）およびチャネル待機時間ＷＴを学習器５へ出力してＱ学習を実行するように学習器５を制御する場合、図８に示すチャネル待機時間ＷＴ１～ＷＴ４をそれぞれチャネル＃１～＃４に対応付けて学習器５へ出力する。これによって、学習器５は、Ｑ学習において状態ｓ_ｔおよび行動ａ_ｔを決定した後に報酬ｒ_ｔ＋１を算出するとき、決定した行動ａ_ｔによって選択されたチャネル（＝チャネル＃１～＃４のいずれか）に対応するチャネル待機時間ＷＴ（＝チャネル待機時間ＷＴ１～ＷＴ４のいずれか）を用いて重み係数ｗ_２を式（３Ｃ）によって算出できる。

図１０から図１２は、それぞれ、Ｑテーブルの更新方法を説明するための第１から第３の概略図である。

図１０を参照して、Ｑ学習の初期状態においては、Ｑテーブルの全てのＱ値（Ｑ_１，１～Ｑ_３，４）は、“０”である（図１０の（ａ）参照）。

この発明の実施の形態においては、パケットの送信時間の長さが「短」であるとき、状態ｓ_ｔを“１”とし、パケットの送信時間の長さが「中」であるとき、状態ｓ_ｔを“２”とし、パケットの送信時間の長さが「長」であるとき、状態ｓ_ｔを“３”とする。

学習器５は、パケットの送信時間の長さとして、「長」、「中」および「短」の複数の長さが存在するので、“１”，“２”，“３”の複数の状態ｓ_ｔを選択し得る。そこで。学習器５は、複数の状態ｓ_ｔからランダムに１つの状態ｓ_ｔを決定する。例えば、学習器５は、“２”の状態ｓ_ｔを決定したものとする。

また、学習器５は、ε－ｇｒｅｅｄｙ法に従って行動ａ_ｔを決定する。この場合、Ｑテーブルの全てのＱ値（Ｑ_１，１～Ｑ_３，４）が“０”であるので（即ち、最大のＱ値が１つに決定されないので）、学習器５は、乱数がε以下であるか否かに拘わらず、ランダムに端末装置１０の行動ａ_ｔを決定する。そして、学習器５は、例えば、“２”の行動ａ_ｔを決定したものとする。

そうすると、学習器５は、端末装置１０がパケットを送信可能である場合、通信結果（通信の成功／失敗）、競合端末情報およびチャネル待機時間に基づいて、上述した方法によって、パケットの（ｔ＋１）回目の送信における報酬ｒ_ｔ＋１を算出する。

その後、学習器５は、算出した報酬ｒ_ｔ＋１と、学習率αと、割引率γと、パケットのｔ回目の送信におけるＱ値（状態ｓ_ｔ（＝“２”）と行動ａ_ｔ（＝“２”）とに対応する初期状態のＱ値）とを式（２）に代入してＱ値をＱ値（ｑ_２，２）に更新する（図１０の（ｂ）参照）。

ここで、パケットの送信時間の長さによって決定される状態ｓ_ｔ、およびチャネルを選択することである行動ａ_ｔは、過去の通信の失敗および通信の成功に依存しないものである。また、報酬ｒ_ｔ＋１は、過去の通信の失敗／成功に依存せず、現在の通信の失敗／成功に依存して算出されるものである。従って、累積報酬についてのパラメータである割引率γは、“０”に設定されるべきである。

その結果、パケットのｔ回目の送信におけるＱ値は、“０”であり（図１０の（ａ）参照）、γ＝０であるので、更新されたＱ値（＝ｑ_２，２）は、実質的に、αｒ_ｔ＋１に等しい。

引き続いて、学習器５は、パケットの送信時間の長さとしての「長」、「中」および「短」に基づいて、例えば、ランダムに状態ｓ_ｔを“１”に決定し、ε－ｇｒｅｅｄｙ法によって行動ａ_ｔを“４”に決定するものとする。

そうすると、学習器５は、パケットを送信可能である場合、通信結果（通信の成功／失敗）、競合端末情報およびチャネル待機時間に基づいて、上述した方法によって、（ｔ＋１）回目の送信における報酬ｒ_ｔ＋１を算出する。

その後、学習器５は、算出した報酬ｒ_ｔ＋１と、学習率αと、割引率γ（＝０）と、パケットのｔ回目の送信におけるＱ値（状態ｓ_ｔ（＝“１”）と行動ａ_ｔ（＝“４”）とに対応する初期状態のＱ値）とを式（２）に代入してＱ値をＱ値（＝ｑ_１，４）に更新する（図１１の（ａ）参照）。

一方、学習器５は、発生した乱数がε以下でないとき、端末装置１０の行動ａ_ｔをＱ値が最大である行動に決定する。この時点では、Ｑテーブルは、図１０の（ｂ）に示す状態になっているので、最大のＱ値は、ｑ_２，２になる。従って、学習器５は、端末装置１０の行動ａ_ｔを“２”（チャネル＃２を選択する行動）に決定する。

そして、学習器５は、端末装置１０が行動“２”（チャネル＃２を選択する行動）を実行したときの報酬ｒ_ｔ＋１を上述した方法によって算出し、その算出した報酬ｒ_ｔ＋１を用いて式（２）によってＱ値（＝ｑ_２，２）をＱ値（＝ｑ’_２，２）に更新する（図１１の（ｂ）参照）。

なお、パケットのｔ回目の送信における通信が失敗であるとき、式（３Ａ）のｖは、“０”に設定されるので（式（３Ｄ）参照）、報酬ｒ_ｔ＋１は、“０”になる。従って、学習器５は、パケットのｔ回目の送信における通信が失敗であるとき、パケットの（ｔ＋１）回目の送信における報酬ｒ_ｔ＋１を“０”と算出してＱ値を更新する。

以後、学習器５は、終了条件が満たされるまで、上述した動作を繰り返し実行してＱテーブルのＱ値を更新する。なお、終了条件は、例えば、上述したＱ値の更新が所定回数実行されたときである。そして、所定回数は、例えば、１０回である。

学習器５は、終了条件が満たされると、終了条件が満たされたときのＱテーブル（図１２参照）を参照して、“１”の状態ｓ_ｔに対応するｑ値（＝ｑ_１，１、ｑ_１，３、ｑ_１，４）のうちの最大のＱ値（＝ｑ_{１＿ｍａｘ}）と、最大のＱ値（＝ｑ_{１＿ｍａｘ}）に対応する行動ａ_{ｔ＿ｍａｘ１}とを検出し、“２”の状態ｓ_ｔに対応するｑ値（＝ｑ_２，２、ｑ_２，３）のうちの最大のＱ値（＝ｑ_{２＿ｍａｘ}）と、最大のＱ値（＝ｑ_{２＿ｍａｘ}）に対応する行動ａ_{ｔ＿ｍａｘ２}とを検出し、“３”の状態ｓ_ｔに対応するｑ値（＝ｑ_３，２、ｑ_３，４）のうちの最大のＱ値（＝ｑ_{３＿ｍａｘ}）と、最大のＱ値（＝ｑ_{３＿ｍａｘ}）に対応する行動ａ_{ｔ＿ｍａｘ３}とを検出する。そして、学習器５は、“１”の状態ｓ_ｔに最大のＱ値（＝ｑ_{１＿ｍａｘ}）と行動ａ_{ｔ＿ｍａｘ１}とを対応付けた［“１”の状態ｓ_ｔ／ｑ_{１＿ｍａｘ}／ａ_{ｔ＿ｍａｘ１}］を生成し、“２”の状態ｓ_ｔに最大のＱ値（＝ｑ_{２＿ｍａｘ}）と行動ａ_{ｔ＿ｍａｘ２}とを対応付けた［“２”の状態ｓ_ｔ／ｑ_{２＿ｍａｘ}／ａ_{ｔ＿ｍａｘ２}］を生成し、“３”の状態ｓ_ｔに最大のＱ値（＝ｑ_{３＿ｍａｘ}）と行動ａ_{ｔ＿ｍａｘ３}とを対応付けた［“３”の状態ｓ_ｔ／ｑ_{３＿ｍａｘ}／ａ_{ｔ＿ｍａｘ３}］を生成する。

そうすると、学習器５は、［“１”の状態ｓ_ｔ／ｑ_{１＿ｍａｘ}／ａ_{ｔ＿ｍａｘ１}］、［“２”の状態ｓ_ｔ／ｑ_{２＿ｍａｘ}／ａ_{ｔ＿ｍａｘ２}］および［“３”の状態ｓ_ｔ／ｑ_{３＿ｍａｘ}／ａ_{ｔ＿ｍａｘ３}］からなる出力情報ＩＦ＿ＯＵＴを制御手段４へ出力する。

制御手段４は、出力情報ＩＦ＿ＯＵＴ（＝［“１”の状態ｓ_ｔ／ｑ_{１＿ｍａｘ}／ａ_{ｔ＿ｍａｘ１}］、［“２”の状態ｓ_ｔ／ｑ_{２＿ｍａｘ}／ａ_{ｔ＿ｍａｘ２}］および［“３”の状態ｓ_ｔ／ｑ_{３＿ｍａｘ}／ａ_{ｔ＿ｍａｘ３}］）を学習器５から受ける。

そして、制御手段４は、送信用パケットの送信時間の長さに対応する状態ｓ_ｔが“１”の状態ｓ_ｔであるとき、出力情報ＩＦ＿ＯＵＴから［“１”の状態ｓ_ｔ／ｑ_{１＿ｍａｘ}／ａ_{ｔ＿ｍａｘ１}］を検出し、その検出した［“１”の状態ｓ_ｔ／ｑ_{１＿ｍａｘ}／ａ_{ｔ＿ｍａｘ１}］から行動ａ_{ｔ＿ｍａｘ１}を検出する。そうすると、制御手段４は、行動ａ_{ｔ＿ｍａｘ１}によって選択されたチャネル（チャネル＃１、チャネル＃３、およびチャネル＃４のいずれか）を送信用チャネルＣＨ＿Ｔとして選択する。

また、制御手段４は、送信用パケットの送信時間の長さに対応する状態ｓ_ｔが“２”の状態ｓ_ｔであるとき、出力情報ＩＦ＿ＯＵＴから［“２”の状態ｓ_ｔ／ｑ_{２＿ｍａｘ}／ａ_{ｔ＿ｍａｘ２}］を検出し、その検出した［“２”の状態ｓ_ｔ／ｑ_{２＿ｍａｘ}／ａ_{ｔ＿ｍａｘ２}］から行動ａ_{ｔ＿ｍａｘ２}を検出する。そうすると、制御手段４は、行動ａ_{ｔ＿ｍａｘ２}によって選択されたチャネル（チャネル＃２、およびチャネル＃３のいずれか）を送信用チャネルＣＨ＿Ｔとして選択する。

更に、制御手段４は、送信用パケットの送信時間の長さに対応する状態ｓ_ｔが“３”の状態ｓ_ｔであるとき、出力情報ＩＦ＿ＯＵＴから［“３”の状態ｓ_ｔ／ｑ_{３＿ｍａｘ}／ａ_{ｔ＿ｍａｘ３}］を検出し、その検出した［“３”の状態ｓ_ｔ／ｑ_{３＿ｍａｘ}／ａ_{ｔ＿ｍａｘ３}］から行動ａ_{ｔ＿ｍａｘ３}を検出する。そうすると、制御手段４は、行動ａ_{ｔ＿ｍａｘ３}によって選択されたチャネル（チャネル＃２、およびチャネル＃４のいずれか）を送信用チャネルＣＨ＿Ｔとして選択する。

図１３は、送信用パケットが送信可能か否かを判定する方法を説明するための図である。

図１３を参照して、現在の時刻Ｔ_ＣＰＴよりも将来の時刻においては、チャネル＃１において、チャネル空き時間Ｔ_{Ｉｄｌｅ１}が存在し、チャネル＃２において、チャネル空き時間Ｔ_{Ｉｄｌｅ２}が存在し、チャネル＃３において、チャネル空き時間Ｔ_{Ｉｄｌｅ３}が存在し、チャネル＃４において、チャネル空き時間Ｔ_{Ｉｄｌｅ４}が存在する。

チャネル空き時間Ｔ_{Ｉｄｌｅ１}は、送信用パケットの送信時間の長さよりも短い。チャネル空き時間Ｔ_{Ｉｄｌｅ２}，Ｔ_{Ｉｄｌｅ３}，Ｔ_{Ｉｄｌｅ４}は、送信用パケットの送信時間の長さよりも長い。そして、チャネル空き時間Ｔ_{Ｉｄｌｅ２}は、チャネル空き時間Ｔ_{Ｉｄｌｅ２}，Ｔ_{Ｉｄｌｅ３}，Ｔ_{Ｉｄｌｅ４}のうちで最も短い。

制御手段４は、例えば、送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）を選択すると、その選択した送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）においてキャリアセンスを実行するように受信手段２を制御し、その後、受信手段２からキャリアセンスの結果を受けると、キャリアセンスの結果に基づいて他の端末装置が送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）で通信を行っているか否かを判定する。

制御手段４は、他の端末装置が送信用チャネルＣＨ＿Ｔで通信を行っていないと判定したとき、送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）における予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いか否かを判定する。

そして、制御手段４は、送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）における予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いと判定したとき、送信用チャネルＣＨ＿Ｔおよび送信用パケットを送信手段７へ出力し、送信用チャネルＣＨ＿Ｔで送信用パケットを基地局ＢＳへ送信するように送信手段７を制御する。

一方、制御手段４は、送信用チャネルＣＨ＿Ｔ（チャネル＃１～チャネル＃４のいずれか）における予測チャネル空き時間が送信用パケットの送信時間の長さ以下であると判定したとき、またはキャリアセンスの結果に基づいて他の端末装置が送信用チャネルＣＨ＿Ｔで通信を行っていると判定したとき、送信用パケットの送信が不可であると判定し、通信不可情報を生成する。

図１３に示す場合、チャネル＃２におけるチャネル空き状態Ｔ_{Ｉｄｌｅ２}（＝予測チャネル空き時間）は、送信用パケットの送信時間の長さよりも長い。

従って、制御手段４は、チャネル空き時間Ｔ_{Ｉｄｌｅ２}（＝予測チャネル空き時間）が送信用パケットの送信時間の長さよりも長いと判定する。

そして、制御手段４は、送信用チャネルＣＨ＿Ｔ（＝チャネル＃２）および送信用パケットを送信手段７へ出力し、送信用チャネルＣＨ＿Ｔ（＝チャネル＃２）で送信用パケットを基地局ＢＳへ送信するように送信手段７を制御する。

上述したように、送信用パケットが送信可能であるか否かの判定は、次の２つからなる。
（判定１）送信用チャネルＣＨ＿Ｔにおけるキャリアセンスの結果に基づいて他の端末装置が送信用チャネルＣＨ＿Ｔで通信を行っているか否かを判定する。
（判定２）送信用チャネルＣＨ＿Ｔにおける予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いか否かを判定する。

そして、判定１，２の２つの判定結果が肯定的判定結果であるとき、送信用パケットの送信が可能であると判定し、判定１，２のうちの少なくとも１つの判定において、判定結果が否定的判定結果であるとき、送信用パケットの送信が不可能であると判定する。

なお、この発明の実施の形態においては、判定２のみによって送信用チャネルＣＨ＿Ｔにおける予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いと判定したとき、バックオフを実行せずに送信用パケットを送信用チャネルＣＨ＿Ｔで基地局ＢＳへ送信するようにしてもよい。

図１４は、図２に示す端末装置１０の動作を説明するためのフローチャートである。図１４を参照して、端末装置１０の動作が開始されると、制御手段４は、アプリケーション６から送信用パケットを受けたか否かを判定することによって送信用パケットがあるか否かを判定する（ステップＳ１）。この場合、制御手段４は、アプリケーション６から送信用パケットを受けたとき、送信用パケットがあると判定し、アプリケーション６から送信用パケットを受けなかったとき、送信用パケットがないと判定する。

ステップＳ１において、送信用パケットがあると判定されると、制御手段４は、学習器５から出力された出力情報ＩＦ＿ＯＵＴに基づいて行動ａ_ｔ（チャネルを選択する行動）を決定する（ステップＳ２）。

そして、制御手段４は、決定した行動ａ_ｔにおいて選択されたチャネルでキャリアセンスを行うように受信手段２を制御し、受信手段２は、制御手段４からの制御に従ってキャリアセンスを行う（ステップＳ３）。

その後、予測手段３は、上述した方法によって、各チャネルにおける予測チャネル空き時間および予測チャネル使用時間を予測し（ステップＳ４）、その予測した予測チャネル空き時間および予測チャネル使用時間を制御手段４へ出力する。

制御手段４は、予測チャネル空き時間および予測チャネル使用時間を予測手段３から受ける。

引き続いて、制御手段４は、送信用パケットが送信可能であるか否かを判定する（ステップＳ５）。この場合、制御手段４は、上述した判定１，２によって送信用パケットが送信可能であるか否かを判定する。

ステップＳ５において、送信用パケットが送信可能でないと判定されたとき、制御手段４は、送信不可情報を生成する（ステップＳ６）。

一方、ステップＳ５において、送信用パケットが送信可能であると判定されたとき、制御手段４は、ステップＳ２で決定した行動ａ_ｔにおいて選択されたチャネルを送信用チャネルＣＨ＿Ｔとし、送信用チャネルＣＨ＿Ｔと送信用パケットとを送信手段７へ出力し、送信用チャネルＣＨ＿Ｔで送信用パケットを基地局ＢＳへ送信するように送信手段７を制御する。

送信手段７は、送信用チャネルＣＨ＿Ｔおよび送信用パケットを制御手段４から受け、制御手段４からの制御に従って、アンテナ１を介して、送信用チャネルＣＨ＿Ｔで送信用パケットを基地局ＢＳへ送信する（ステップＳ７）。

その後、制御手段４は、ＡＣＫパケットを基地局ＢＳから受信したか否かを判定する（ステップＳ８）。この場合、制御手段４は、受信手段２からＡＣＫパケットを受けたとき、ＡＣＫパケットを基地局ＢＳから受信したと判定し、受信手段２からＡＣＫパケットを受けなかったとき、ＡＣＫパケットを基地局ＢＳから受信しなかったと判定する。

ステップＳ８において、ＡＣＫパケットを基地局ＢＳから受信したと判定されたとき、制御手段４は、通信結果を“１”に設定する（ステップＳ９）。

一方、ステップＳ８において、ＡＣＫパケットを基地局ＢＳから受信しなかったと判定されたとき、制御手段４は、通信結果を“０”に設定する（ステップＳ１０）。

そして、ステップＳ９またはステップＳ１０の後、制御手段４は、制御チャネルを用いて、競合端末情報を基地局ＢＳから取得する（ステップＳ１１）。

引き続いて、ステップＳ６またはステップＳ１１の後、制御手段４は、競合端末情報、送信不可情報、通信結果およびチャネル空き時間を入力情報として学習器５へ出力し、Ｑ学習を行うように学習器５を制御する。

学習器５は、競合端末情報、送信不可情報、通信結果およびチャネル空き時間を入力情報として受け、その受けた競合端末情報、送信不可情報、通信結果およびチャネル待機時間を用いてＱ学習を実行する（ステップＳ１２）。

そして、学習器５は、Ｑ学習の結果である出力情報ＩＦ＿ＯＵＴを制御手段４へ出力する。制御手段４は、出力情報ＩＦ＿ＯＵＴを学習器５から受ける。

その後、制御手段４は、通信を終了するか否かを判定する（ステップＳ１３）。ステップＳ１３において、通信を終了しないと判定されたとき、一連の動作は、ステップＳ１へ移行する。その後、ステップＳ１３において、通信を終了すると判定されるまで、ステップＳ１～ステップＳ１３が繰り返し実行される。

そして、ステップＳ１３において、通信を終了すると判定されると、端末装置１０の動作が終了する。

図１５は、図１４のステップＳ５の詳細な動作を説明するためのフローチャートである。

図１５を参照して、図１４のステップＳ４の後、制御手段４は、キャリアセンスの結果に基づいて、送信用チャネルＣＨ＿Ｔで他の端末装置が通信を行っているか否かを判定する（ステップＳ５１）。

ステップＳ５１において、送信用チャネルＣＨ＿Ｔで他の端末装置が通信を行っていないと判定されたとき、制御手段４は、予測手段３から受けた各チャネルにおける予測チャネル空き時間および予測チャネル使用時間に基づいて、送信用チャネルＣＨ＿Ｔにおける予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いか否かを判定する（ステップＳ５２）。

そして、ステップＳ５１において、送信用チャネルＣＨ＿Ｔで他の端末装置が通信を行っていると判定されたとき、またはステップＳ５２において、送信用チャネルＣＨ＿Ｔにおける予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長くないと判定されたとき、制御手段４は、送信用パケットの送信が不可であると判定する（ステップＳ５３）。

一方、ステップＳ５２において、送信用チャネルＣＨ＿Ｔにおける予測チャネル空き時間が、送信用パケットの送信時間の長さよりも長いと判定されたとき、制御手段４は、送信用パケットの送信が可能であると判定する（ステップＳ５４）。

そして、ステップＳ５３の後、一連の動作は、図１４のステップＳ６へ移行し、ステップＳ５４の後、一連の動作は、図１４のステップＳ７へ移行する。

図１６は、図１４のステップＳ１２の詳細な動作を説明するためのフローチャートである。

図１６を参照して、図１４のステップＳ６またはステップＳ１１の後、学習器５は、入力情報を制御手段４から受ける（ステップＳ１２１）。

そして、学習器５は、ｔ回目のパケットの送信における状態ｓ_ｔをランダムに決定する（ステップＳ１２２）。

その後、学習器５は、ε－ｇｒｅｅｄｙ法に基づいて、ｔ回目のパケットの送信における行動ａ_ｔを決定する（ステップＳ１２３）。

引き続いて、学習器５は、競合端末情報（例えば、競合端末個数）に基づいて式（３Ｂ）によって重み係数ｗ_１を算出する（ステップＳ１２４）。

そして、学習器５は、チャネル待機時間ＷＴに基づいて式（３Ｃ）によって重み係数ｗ_２を算出する（ステップＳ１２５）。

その後。学習器５は、送信不可情報が入力情報に含まれるか否かを判定する（ステップＳ１２６）。

ステップ１２６において、送信不可情報が入力情報に含まれないと判定されたとき、学習器５は、状態ｓ_ｔにおいて行動ａ_ｔを実行したときの（ｔ＋１）回目のパケットの送信における報酬ｒ_ｔ＋１を重み係数ｗ_１および重み係数ｗ_２を用いて式（３Ａ）によって算出する（ステップＳ１２７）。

一方、ステップ１２６において、送信不可情報が入力情報に含まれると判定されたとき、学習器５は、状態ｓ_ｔにおいて行動ａ_ｔを実行したときの（ｔ＋１）回目のパケットの送信における報酬ｒ_ｔ＋１を零と算出する（ステップＳ１２８）。

そして、ステップＳ１２７またはステップＳ１２８の後、学習器５は、学習率α、割引率γ（＝０）および報酬ｒ_ｔ＋１を用いて、状態ｓ_ｔおよび行動ａ_ｔに対応するＱテーブルのＱ値を更新する（ステップＳ１２９）。

そうすると、学習器５は、Ｑ学習の終了条件が成立するか否かを判定する（ステップＳ１３０）。終了条件は、例えば、Ｑ値の更新回数が１０回に達したことである。

ステップＳ１３０において、Ｑ学習の終了条件が成立しないと判定されたとき、一連の動作は、ステップＳ１２２へ移行する。その後、ステップＳ１３０において、Ｑ学習の終了条件が成立すると判定されるまで、ステップＳ１２２～ステップＳ１３０が繰り返し実行される。

そして、ステップＳ１３０において、Ｑ学習の終了条件が成立すると判定されると、学習器５は、各状態ｓ_ｔと、各状態ｓ_ｔにおける最大のＱ値と、最大のＱ値が得られるときの行動ａ_ｔとの対応関係からなる出力情報ＩＦ＿ＯＵＴを制御手段４へ出力する（ステップＳ１３１）。その後、一連の動作は、図１４のステップＳ１３へ移行する。

図１６に示すステップＳ１２２～Ｓ１２５，Ｓ１２６の“ＮＯ”，Ｓ１２７，Ｓ１２９を繰り返し実行することによって、競合端末個数が少ないときおよび／またはチャネル待機時間ＷＴが短いとき、報酬ｒ_ｔ＋１が大きくなる。そして、Ｑ値は、実質的に報酬ｒ_ｔ＋１によって決定されるので、報酬ｒ_ｔ＋１が大きくなると、状態ｓ_ｔおよび行動ａ_ｔに対応するＱ値は、より大きいＱ値に更新される。

その結果、競合端末個数が少ないこと、およびチャネル待機時間ＷＴが短いことは、報酬ｒ_ｔ＋１を大きくすることを介してＱ値を大きくする。

従って、競合端末個数が少ないことは、端末装置１０が他の端末装置に対して競合端末となる確率を低くする。その結果、パケットの衝突確率を低減できる。

また、チャネル待機時間ＷＴが短いことは、チャネル待機時間ＷＴが短いチャネルが選択される確率を大きくする。その結果、チャネル利用効率を向上できる。

図１４のステップＳ２が１回目に実行される場合、学習器５は、行動ａ_ｔをランダムに決定する（即ち、チャネルをランダムに選択する）。

そして、学習器５は、ステップＳ１２（図１６に示すフローチャート）においてＱ学習を実行し、各状態ｓ_ｔと、各状態ｓ_ｔにおける最大のＱ値と、最大のＱ値が得られるときの行動ａ_ｔとの対応関係からなる出力情報ＩＦ＿ＯＵＴを制御手段４へ出力する。

図１７は、出力情報ＩＦ＿ＯＵＴの概念図である。図１７を参照して、出力情報ＩＦ＿ＯＵＴは、状態ｓ_ｔと、状態ｓ_ｔに対応するＱ値のうちの最大のＱ値と、最大のＱ値が得られるときの行動ａ_ｔとを含む。

状態ｓ_ｔ、状態ｓ_ｔに対応するＱ値のうちの最大のＱ値、および最大のＱ値が得られるときの行動ａ_ｔは、相互に対応付けられる。

ステップＳ１２（図１６に示すフローチャート）におけるＱ学習の終了時のＱテーブルは、図１７に示すＱテーブルＴＢＬ＿Ｑからなる。

学習器５は、Ｑ学習の終了条件が満たされたと判定すると、“１”の状態ｓ_ｔに対応するＱ値（＝ｑ_１，１，ｑ_１，３，ｑ_１，４）のうちの最大のＱ値（例えば、ｑ_１，３）と、最大のＱ値（例えば、ｑ_１，３）が得られるときの行動ａ_ｔ（＝“３”）とを検出する。

そして、学習器５は、“１”の状態ｓ_ｔと、最大のＱ値（例えば、ｑ_１，３）と、行動ａ_ｔ（＝“３”）とを相互に対応付けて出力情報ＩＦ＿ＯＵＴに格納する。

また、学習器５は、“２”の状態ｓ_ｔに対応するＱ値（＝ｑ_２，２，ｑ_２，３）のうちの最大のＱ値（例えば、ｑ_２，２）と、最大のＱ値（例えば、ｑ_２，２）が得られるときの行動ａ_ｔ（＝“２”）とを検出する。

そして、学習器５は、“２”の状態ｓ_ｔと、最大のＱ値（例えば、ｑ_２，２）と、行動ａ_ｔ（＝“２”）とを相互に対応付けて出力情報ＩＦ＿ＯＵＴに格納する。

更に、学習器５は、“３”の状態ｓ_ｔに対応するＱ値（＝ｑ_３，２，ｑ_３，４）のうちの最大のＱ値（例えば、ｑ_３，４）と、最大のＱ値（例えば、ｑ_３，４）が得られるときの行動ａ_ｔ（＝“４”）とを検出する。

そして、学習器５は、“３”の状態ｓ_ｔと、最大のＱ値（例えば、ｑ_３，４）と、行動ａ_ｔ（＝“４”）とを相互に対応付けて出力情報ＩＦ＿ＯＵＴに格納する。

制御手段４は、出力情報ＩＦ＿ＯＵＴを学習器５から受ける。そして、制御手段４は、ステップＳ１２（図１６に示すフローチャート）が実行された後のステップＳ２において、次のようにして行動ａ_ｔを決定する（即ち、送信用チャネルＣＨ＿Ｔを選択する）。

制御手段４は、出力情報ＩＦ＿ＯＵＴに含まれる“１”の状態ｓ_ｔ、“２”の状態ｓ_ｔおよび“３”の状態ｓ_ｔから、送信用パケットの送信時間の長さによって決定される状態ｓ’_ｔに一致する状態ｓ_ｔを検出する。

例えば、制御手段４は、状態ｓ’_ｔに一致する状態ｓ_ｔとして“１”の状態ｓ_ｔを検出する。そして、制御手段４は、“１”の状態ｓ_ｔに対応付けられた最大のＱ値（＝ｑ_{１＿ｍａｘ}（＝ｑ_１，３））と行動ａ_ｔ（＝ａ_{ｔ＿ｍａｘ１}（＝“３”））を検出する。

そうすると、制御手段４は、“３”の行動ａ_ｔにおいて選択されたチャネル＃３を送信用チャネルＣＨ＿Ｔとして選択する。

状態ｓ’_ｔに一致する状態ｓ_ｔが“２”の状態または“３”の状態である場合も、制御手段４は、同様にして、チャネル＃２またはチャネル＃４を送信用チャネルＣＨ＿Ｔとして選択する。

図１４に示すフローチャート（図１５および図１６に示すフローチャートを含む）に従ってパケットを送信することによって、ステップＳ１２における学習器５による学習の初期においては、キャリアセンスによって送信信号が検出されなかった場合、またはランダムアクセスのため、たまたま送信タイミングが同じであった場合には、パケットの衝突が生じるが、このようなパケットの衝突は、最終的に最適なチャネルを選択する上では必要なコストであり、学習が進めばパケットの衝突が減少していくので問題ではない。

また、図１４に示すフローチャート（図１５および図１６に示すフローチャートを含む）においては、競合端末装置の個数が多い方が報酬ｒ_ｔ＋１が小さくなるので（式（３Ａ），（３Ｂ）参照）、端末装置１０が他の端末装置に対して競合端末となる確率を下げている。

従って、空きチャネルの予想だけでチャネル選択を行った場合に比べ、複数の端末装置が同じ空きチャネルに接続しようとする確率を低下することができる。その結果、パケット損失を抑制して周波数を有効利用できる。

なお、端末装置１０の動作は、ソフトウェアによって実現されてもよい。この場合、端末装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備える。そして、ＲＯＭは、図１４に示すフローチャート（図１５および図１６に示すフローチャートを含む）の各ステップからなるプログラムＰｒｏｇ＿Ａを記憶する。

ＣＰＵは、ＲＯＭからプログラムＰｒｏｇ＿Ａを読み出し、その読み出したプログラムＰｒｏｇ＿Ａを実行し、送信用パケットの送信時間の長さにマッチする予測チャネル空き時間を有するチャネルを送信用チャネルＣＨ＿Ｔとして選択してパケットを基地局ＢＳへ送信する。ＲＡＭは、算出された重み係数ｗ_１，ｗ_２、算出された報酬ｒ_ｔ＋１、および更新後のＱ値等を一時的に記憶する。

また、プログラムＰｒｏｇ＿Ａは、ＣＤ，ＤＶＤ等の記録媒体に記録されて流通してもよい。プログラムＰｒｏｇ＿Ａを記録した記録媒体がコンピュータに装着されると、コンピュータは、記録媒体からプログラムＰｒｏｇ＿Ａを読み出して実行し、送信用パケットの送信時間の長さにマッチする予測チャネル空き時間を有するチャネルを送信用チャネルＣＨ＿Ｔとして選択してパケットを基地局ＢＳへ送信する。

従って、プログラムＰｒｏｇ＿Ａを記録した記録媒体は、コンピュータ読み取り可能な記録媒体である。

なお、上記においては、競合端末情報は、競合端末個数からなると説明したが、この発明の実施の形態においては、これに限らず、競合端末情報は、チャネルを占有するパケット長の期待値であってもよく、端末装置１０自身の送信したいパケットのパケット長と似た傾向のパケット長を有する端末装置の個数であってもよい。

チャネルを占有するパケット長の期待値は、端末装置１０以外の端末装置から送信されたパケットがチャネルを占有するときのパケット長の平均値からなる。そして、チャネルを占有するパケット長の期待値は、基地局ＢＳにおいて取得され、競合端末情報として基地局ＢＳから制御チャネルで端末装置１０へ送信される。

また、端末装置１０自身の送信したいパケットのパケット長と似た傾向のパケット長を有する端末装置の個数は、基地局ＢＳにより取得され、競合端末情報として基地局ＢＳから制御チャネルで端末装置１０へ送信される。

競合端末情報がチャネルを占有するパケット長の期待値からなるとき、重み係数ｗ_１は、チャネルを占有するパケット長の期待値の逆数として算出される。また、競合端末情報が端末装置１０自身の送信したいパケットのパケット長と似た傾向のパケット長を有する端末装置の個数からなるとき、重み係数ｗ_１は、端末装置１０自身の送信したいパケットのパケット長と似た傾向のパケット長を有する端末装置の個数の逆数として算出される。

重み係数ｗ_１が、チャネルを占有するパケット長の期待値の逆数として算出された場合、または端末装置１０自身の送信したいパケットのパケット長と似た傾向のパケット長を有する端末装置の個数の逆数として算出された場合、端末装置１０と同様なチャネルを選択する確率の高い端末装置との競合を抑制することができる。

また、上記においては、チャネル待機時間ＷＴを用いて重み係数ｗ_２を算出したが、この発明の実施の形態においては、これに限らず、チャネル待機時間ＷＴの逆数を報酬ｒ_ｔ＋１として算出してもよい。この場合、報酬ｒ_ｔ＋１は、式（３Ａ）において、ｗ_２＝０とし、スループットＦをチャネル待機時間ＷＴの逆数に変えた次式によって算出される。

チャネル待機時間ＷＴの逆数を報酬ｒ_ｔ＋１とすることによって、チャネル待機時間ＷＴが短い方が報酬ｒ_ｔ＋１が大きくなり、チャネル待機時間ＷＴが長い方が報酬ｒ_ｔ＋１が小さくなる。その結果、チャネルの利用効率を向上させるチャネルを送信用チャネルＣＨ＿Ｔとして利用することができる。

更に、この発明の実施の形態においては、各チャネル＃１～＃４でキャリアセンスを行うとき、送信元の端末装置の識別情報ＩＤ（例えば、無線ＬＡＮのＭＡＣアドレス）を検出し、チャネル＃１～＃４ごとに検出された送信元の端末装置数と、端末装置１０の送信パケット長とに応じて送信用チャネルＣＨ＿Ｔを選択するようにしてもよい。

この場合、制御手段４は、上述した学習器５からの出力情報ＩＦ＿ＯＵＴに加え、チャネル＃１～＃４ごとに検出された送信元の端末装置数を考慮して送信用チャネルＣＨ＿Ｔを選択する。

また、チャネル＃１～＃４ごとに検出された送信元の端末装置数と、所要伝送遅延とに応じて送信用チャネルＣＨ＿Ｔを選択するようにしてもよい。

より具体的には、即時に送信できた送信用パケットであれば、チャネルごとに検出された送信元の端末装置の個数が少ないチャネルであり、かつ、チャネル空き時間の予測値が端末装置１０の送信用パケット長以上であるチャネルから送信用チャネルＣＨ＿Ｔを選択してもよい。

この場合、制御手段４は、上述した学習器５からの出力情報ＩＦ＿ＯＵＴに加え、送信用パケットを即時に送信できたことを考慮して送信用チャネルＣＨ＿Ｔを選択する。

これにより、各チャネルで通信を行う端末数が増加すると、パケット長やパケット送信間隔などの分散が増加し、自己相関が減少するため、予測手段３による予測値の精度が劣化し、本発明の効果を得にくくなるという問題を解決できる。

なお、自己相関が減少するとは、定期的にパケットを送信している場合、自身の最初のパケットの送信間隔に比較して、時間の経過とともにパケットの送信間隔が大きくずれてくることを示す。

更に、上記においては、重み係数ｗ_１は、競合端末装置の個数の逆数として算出されると説明したが、この発明の実施の形態においては、これに限らず、重み係数ｗ_１は、競合端末装置の個数が少なくなれば大きくなり、競合端末装置の個数が多くなれば小さくなるように算出されるものであれば、どのような計算式によって算出されてもよい。

更に、上記においては、重み係数ｗ_２は、チャネル待機時間の逆数として算出されると説明したが、この発明の実施の形態においては、これに限らず、重み係数ｗ_２は、チャネル待機時間が長くなれば小さくなり、チャネル待機時間が短くなれば大きくなるように算出されるものであれば、どのような計算式によって算出されてもよい。

この発明の実施の形態においては、送信用パケットの送信時間の長さと、学習器５からの出力情報ＩＦ＿ＯＵＴとに基づいて送信用チャネルＣＨ＿Ｔを選択する制御手段４は、「選択手段」を構成する。

また、この発明の実施の形態においては、スループットＦに重み係数ｗ_１を乗算して報酬ｒ_ｔ＋１を算出する処理は、「第１の演算処理」を構成し、スループットＦに重み係数ｗ_２を乗算して報酬ｒ_ｔ＋１を算出する処理は、「第２の演算処理」を構成する。

更に、この発明の実施の形態においては、重み係数ｗ_１は、「第１の重み係数」を構成し、重み係数ｗ_２は、「第２の重み係数」を構成する。

更に、この発明の実施の形態においては、通信結果の“１”は、「第１の指標」を構成し、通信結果の“０”は、「第２の指標」を構成する。

上述した実施の形態によれば、次の効果を得ることができる。

送信したいパケット長に応じて高いスループットが得られるようにチャネルを選択するようになるため、チャネルの周波数利用効率を向上できる。また、互いに異なる送信パケット長のパケットを送信する端末と次回のパケットの送信が競合する場合でも競合相手とならず、結果としてパケット衝突確率を抑制することができる。

更に、チャネルごとに観測される端末装置数に応じてチャネル選択することにより、パケット衝突によって生じる再送を抑制し、遅延を抑制できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明は、端末装置、コンピュータに実行させるためのプログラムおよびプログラムを記録したコンピュータ読み取り可能な記録媒体に適用される。

１ アンテナ、２ 受信手段、３ 予測手段、４ 制御手段、５ 学習器、６ アプリケーション、７ 送信手段、１０ 端末装置、３１ 判定部、３２ 計測部、３３ 分類部、３４ 予測部、３５ 予測器、１００ 通信システム。

Claims (21)

1. 基地局の通信範囲内に配置される複数の端末装置のうちのいずれかの端末装置からなる送信元の端末装置である端末装置であって、
   前記送信元の端末装置がパケットを前記基地局へ送信する通信と前記複数の端末装置のうちの前記送信元の端末装置以外の端末装置である競合端末装置がパケットを前記基地局へ送信する通信とが競合する無線通信空間においてパケットを前記基地局へ送信する送信手段と、
   前記送信手段が前記パケットを前記基地局へ送信した後、前記パケットを受信したことを示すＡＣＫパケットを前記基地局から受信する受信手段と、
   チャネルが空いている時間であるチャネル空き時間と前記チャネルが使用されている時間であるチャネル使用時間とを複数のチャネルの全てについて予測する予測手段と、
   前記送信手段がパケットを前記基地局へ送信する通信の通信結果と、前記競合端末装置の情報である競合端末情報と、前記送信手段が１つのパケットを前記基地局へ送信してから前記送信手段が次のパケットを前記基地局へ送信するまでの前記送信手段が前記次のパケットの前記基地局への送信に用いる前記チャネルの待機時間であるチャネル待機時間とからなる入力情報、または前記送信手段が前記１つのパケットを前記基地局へ送信できないことを示す送信不可情報からなる入力情報とに基づいて、前記送信手段が前記１つのパケットを前記基地局へ送信するときの前記１つのパケットの送信時間の長さを状態とし、チャネルを前記複数のチャネルから選択することを行動とし、前記送信手段が前記１つのパケットを前記基地局へ送信した後に前記受信手段が前記ＡＣＫパケットを前記基地局から受信したときのスループットまたは前記チャネル待機時間の逆数を報酬とし、ε－ｇｒｅｅｄｙ法によって前記行動を決定するＱ学習を実行してＱ値を更新することを前記Ｑ学習の終了条件が満たされるまで繰り返し実行し、前記Ｑ学習の終了条件が満たされたとき、複数の前記状態のうちの１つの状態ｓにおいて前記更新されたｍ（ｍは、１≦ｍ≦［前記複数のチャネルの総数］を満たす整数である）個のＱ値ｑ _ｓ，１ ～ｑ _ｓ，ｍ のうちの最大のＱ値ｑ _{ｓ，ｍａｘ} と前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの前記行動からなる行動ａ _{ｓ，ｍａｘ} とを検出して前記最大のＱ値ｑ _{ｓ，ｍａｘ} と前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの前記行動ａ _{ｓ，ｍａｘ} とを前記状態ｓに対応付けた［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］を生成することを前記複数の状態の全てについて実行して複数の前記［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］を生成し、その生成した前記複数の［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］からなる出力情報を出力する学習処理を実行する学習器と、
   送信したいパケットの送信時間の長さに対応する前記Ｑ学習の状態ｓに対応する前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの行動ａ _{ｓ，ｍａｘ} を前記複数の［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］からなる出力情報から検出し、その検出した行動ａ _{ｓ，ｍａｘ} によって選択されたチャネルを送信用チャネルとして選択する選択手段とを備え、
   前記送信手段は、前記送信用チャネルにおいて前記予測手段によって予測されたチャネル空き時間が前記送信したいパケットの送信時間の長さよりも長いことからなる第１の条件が満たされたとき、バックオフを実行せずに、前記送信したいパケットを前記送信用チャネルで前記基地局へ送信する、端末装置。
2. 前記学習器は、前記競合端末情報が前記競合端末装置の個数からなり、かつ、前記通信結果が、前記受信手段が前記ＡＣＫパケットを前記基地局から受信したことからなる通信の成功を示すとき、前記競合端末装置の個数が少なくなれば大きくなり、前記競合端末装置の個数が多くなれば小さくなるように前記報酬を算出する第１の演算処理を実行するとともに、前記チャネル待機時間が短くなれば大きくなり、前記チャネル待機時間が長くなれば小さくなるように前記報酬を算出する第２の演算処理を実行して前記学習処理を実行する、請求項１に記載の端末装置。
3. 前記学習器は、前記競合端末装置の個数が第１の個数であるとき第１の値からなる第１の重み係数を前記スループットに乗算し、前記競合端末装置の個数が前記第１の個数よりも多い第２の個数であるとき第１の値よりも小さい第２の値からなる前記第１の重み係数を前記スループットに乗算して前記第１の演算処理を実行する、請求項２に記載の端末装置。
4. 前記学習器は、前記競合端末装置の個数の逆数を前記第１の重み係数として前記スループットに乗算して前記第１の演算処理を実行する、請求項３に記載の端末装置。
5. 前記学習器は、前記チャネル待機時間が第１の時間長からなるとき、第３の値からなる第２の重み係数を前記スループットに乗算し、前記チャネル待機時間が前記第１の時間長よりも長い第２の時間長からなるとき、前記第３の値よりも小さい第４の値からなる前記第２の重み係数を前記スループットに乗算して前記第２の演算処理を実行する、請求項２から請求項４のいずれか１項に記載の端末装置。
6. 前記学習器は、前記チャネル待機時間の逆数を前記第２の重み係数として前記スループットに乗算して前記第２の演算処理を実行する、請求項５に記載の端末装置。
7. 前記学習器は、前記学習処理において、前記入力情報が前記送信不可情報からなるとき、前記報酬を零として前記Ｑ値を更新する、請求項１に記載の端末装置。
8. 前記受信手段は、更に、前記競合端末情報を制御チャネルで前記基地局から受信する、請求項１から請求項７のいずれか１項に記載の端末装置。
9. 前記通信結果は、前記送信手段が前記送信したいパケットを前記基地局へ送信した後、前記受信手段が前記ＡＣＫパケットを前記基地局から受信したとき、第１の指標からなり、前記送信手段が前記送信したいパケットを前記基地局へ送信した後、前記受信手段が前記ＡＣＫパケットを前記基地局から受信しないとき、第２の指標からなる、請求項１から請求項８のいずれか１項に記載の端末装置。
10. 前記送信手段は、前記第１の条件に加え、前記送信用チャネルにおけるキャリアセンスの結果、前記複数の端末装置のうちの前記送信元の端末装置以外の他の端末装置が前記送信用チャネルで通信していないことからなる第２の条件が満たされたとき、バックオフを実行せずに前記送信したいパケットを前記送信用チャネルで前記基地局へ送信する、請求項１から請求項９のいずれか１項に記載の端末装置。
11. 基地局の通信範囲内に配置される複数の端末装置のうちのいずれかの端末装置からなる送信元の端末装置である端末装置においてコンピュータに実行させるためのプログラムであって、
    送信手段が、前記送信元の端末装置がパケットを前記基地局へ送信する通信と前記複数の端末装置のうちの前記送信元の端末装置以外の端末装置である競合端末装置がパケットを前記基地局へ送信する通信とが競合する無線通信空間においてパケットを前記基地局へ送信する第１のステップと、
    受信手段が、前記送信手段が前記パケットを前記基地局へ送信した後、前記パケットを受信したことを示すＡＣＫパケットを前記基地局から受信する第２のステップと、
    予測手段が、チャネルが空いている時間であるチャネル空き時間と前記チャネルが使用されている時間であるチャネル使用時間とを複数のチャネルの全てについて予測する第３のステップと、
    学習器が、前記送信手段がパケットを前記基地局へ送信する通信の通信結果と、前記競合端末装置の情報である競合端末情報と、前記送信手段が１つのパケットを前記基地局へ送信してから前記送信手段が次のパケットを前記基地局へ送信するまでの前記送信手段が前記次のパケットの前記基地局への送信に用いる前記チャネルの待機時間であるチャネル待機時間とからなる入力情報、または前記送信手段が前記１つのパケットを前記基地局へ送信できないことを示す送信不可情報からなる入力情報とに基づいて、前記送信手段が前記１つのパケットを前記基地局へ送信するときの前記１つのパケットの送信時間の長さを状態とし、チャネルを前記複数のチャネルから選択することを行動とし、前記送信手段が前記１つのパケットを前記基地局へ送信した後に前記受信手段が前記ＡＣＫパケットを前記基地局から受信したときのスループットまたは前記チャネル待機時間の逆数を報酬とし、ε－ｇｒｅｅｄｙ法によって前記行動を決定するＱ学習を実行してＱ値を更新することを前記Ｑ学習の終了条件が満たされるまで繰り返し実行し、前記Ｑ学習の終了条件が満たされたとき、複数の前記状態のうちの１つの状態ｓにおいて前記更新されたｍ（ｍは、１≦ｍ≦［前記複数のチャネルの総数］を満たす整数である）個のＱ値ｑ _ｓ，１ ～ｑ _ｓ，ｍ のうちの最大のＱ値ｑ _{ｓ，ｍａｘ} と前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの前記行動からなる行動ａ _{ｓ，ｍａｘ} とを検出して前記最大のＱ値ｑ _{ｓ，ｍａｘ} と前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの前記行動ａ _{ｓ，ｍａｘ} とを前記状態ｓに対応付けた［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］を生成することを前記複数の状態の全てについて実行して複数の前記［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］を生成し、その生成した前記複数の［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］からなる出力情報を出力する学習処理を実行する第４のステップと、
    選択手段が、送信したいパケットの送信時間の長さに対応する前記Ｑ学習の状態ｓに対応する前記最大のＱ値ｑ _{ｓ，ｍａｘ} が得られるときの行動ａ _{ｓ，ｍａｘ} を前記複数の［前記状態ｓ／前記最大のＱ値ｑ _{ｓ，ｍａｘ} ／前記行動ａ _{ｓ，ｍａｘ} ］からなる出力情報から検出し、その検出した行動ａ _{ｓ，ｍａｘ} によって選択されたチャネルを送信用チャネルとして選択する第５のステップとをコンピュータに実行させ、
    前記送信手段は、前記第１のステップにおいて、前記送信用チャネルにおいて前記予測手段によって予測されたチャネル空き時間が前記送信したいパケットの送信時間の長さよりも長いことからなる第１の条件が満たされたとき、バックオフを実行せずに、前記送信したいパケットを前記送信用チャネルで前記基地局へ送信する、コンピュータに実行させるためのプログラム。
12. 前記学習器は、前記第４のステップにおいて、前記競合端末情報が前記競合端末装置の個数からなり、かつ、前記通信結果が、前記受信手段が前記ＡＣＫパケットを前記基地局から受信したことからなる通信の成功を示すとき、前記競合端末装置の個数が少なくなれば大きくなり、前記競合端末装置の個数が多くなれば小さくなるように前記報酬を算出する第１の演算処理を実行するとともに、前記チャネル待機時間が短くなれば大きくなり、前記チャネル待機時間が長くなれば小さくなるように前記報酬を算出する第２の演算処理を実行して前記学習処理を実行する、請求項１１に記載のコンピュータに実行させるためのプログラム。
13. 前記学習器は、前記第４のステップにおいて、前記競合端末装置の個数が第１の個数であるとき第１の値からなる第１の重み係数を前記スループットに乗算し、前記競合端末装置の個数が前記第１の個数よりも多い第２の個数であるとき第１の値よりも小さい第２の値からなる前記第１の重み係数を前記スループットに乗算して前記第１の演算処理を実行する、請求項１２に記載のコンピュータに実行させるためのプログラム。
14. 前記学習器は、前記第４のステップにおいて、前記競合端末装置の個数の逆数を前記第１の重み係数として前記スループットに乗算して前記第１の演算処理を実行する、請求項１３に記載のコンピュータに実行させるためのプログラム。
15. 前記学習器は、前記第４のステップにおいて、前記チャネル待機時間が第１の時間長からなるとき、第３の値からなる第２の重み係数を前記スループットに乗算し、前記チャネル待機時間が前記第１の時間長よりも長い第２の時間長からなるとき、前記第３の値よりも小さい第４の値からなる前記第２の重み係数を前記スループットに乗算して前記第２の演算処理を実行する、請求項１２から請求項１４のいずれか１項に記載のコンピュータに実行させるためのプログラム。
16. 前記学習器は、前記第４のステップにおいて、前記チャネル待機時間の逆数を前記第２の重み係数として前記スループットに乗算して前記第２の演算処理を実行する、請求項１５に記載のコンピュータに実行させるためのプログラム。
17. 前記学習器は、前記第４のステップの前記学習処理において、前記入力情報が前記送信不可情報からなるとき、前記報酬を零として前記Ｑ値を更新する、請求項１１に記載のコンピュータに実行させるためのプログラム。
18. 受信手段は、前記第２のステップにおいて、更に、前記競合端末情報を制御チャネルで前記基地局から受信する、請求項１１から請求項１７のいずれか１項に記載のコンピュータに実行させるためのプログラム。
19. 前記通信結果は、前記送信手段が前記送信したいパケットを前記基地局へ送信した後、前記受信手段が前記ＡＣＫパケットを前記基地局から受信したとき、第１の指標からなり、前記送信手段が前記送信したいパケットを前記基地局へ送信した後、前記受信手段が前記ＡＣＫパケットを前記基地局から受信しないとき、第２の指標からなる、請求項１１から請求項１８のいずれか１項に記載のコンピュータに実行させるためのプログラム。
20. 前記送信手段は、前記第１のステップにおいて、前記第１の条件に加え、前記送信用チャネルにおけるキャリアセンスの結果、前記複数の端末装置のうちの前記送信元の端末装置以外の他の端末装置が前記送信用チャネルで通信していないことからなる第２の条件が満たされたとき、バックオフを実行せずに前記送信したいパケットを前記送信用チャネルで前記基地局へ送信する、請求項１１から請求項１９のいずれか１項に記載のコンピュータに実行させるためのプログラム。
21. 請求項１１から請求項２０のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images