JP7478300B1 - 通信制御装置および通信制御方法 - Google Patents
通信制御装置および通信制御方法 Download PDFInfo
- Publication number
- JP7478300B1 JP7478300B1 JP2023164170A JP2023164170A JP7478300B1 JP 7478300 B1 JP7478300 B1 JP 7478300B1 JP 2023164170 A JP2023164170 A JP 2023164170A JP 2023164170 A JP2023164170 A JP 2023164170A JP 7478300 B1 JP7478300 B1 JP 7478300B1
- Authority
- JP
- Japan
- Prior art keywords
- communication
- communication terminal
- reward
- time slot
- reward value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 213
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000002787 reinforcement Effects 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
【解決手段】複数のタイムスロットのうちのタイムスロットごとに通信端末の通信実施と通信不実施を制御する通信制御装置400であって、タイムスロットごとに、前記通信端末が通信を実施することに対する第1報酬値と前記通信端末が通信を実施しないことに対する第2報酬値とを管理する報酬管理部420と、第1報酬値および第2報酬値に基づく強化学習によって生成された学習モデルを用いて、各タイムスロットについて通信端末が通信を実施すべきか否かを示す制御情報を作成する制御情報作成部450と、作成された制御情報を通信端末へ送信する送信部460と、を備える。
【選択図】図2
Description
100 ユーザ端末
200 通信端末
300 ゲートウェイ装置
400 通信制御装置
410 通信状況取得部
420 報酬管理部
430 学習モデル生成部
440 学習モデル
450 制御情報作成部
460 制御情報送信部
500 通信ネットワーク
600 通信ネットワーク
Claims (6)
- 複数のタイムスロットのうちのタイムスロットごとに通信端末の通信実施と通信不実施を制御する通信制御装置であって、
前記通信端末が接続されたネットワークにおける通信状況を取得する通信状況取得部と、
前記タイムスロットごとに、前記通信端末が通信を実施することに対する第1報酬値と前記通信端末が通信を実施しないことに対する第2報酬値とを管理する報酬管理部と、
前記第1および第2報酬値に基づく強化学習によって生成された学習モデルを用いて、各タイムスロットについて前記通信端末が通信を実施すべきか否かを示す制御情報を作成する制御情報作成部と、
前記作成された制御情報を前記通信端末へ送信する送信部と、
を備え、
前記報酬管理部は、前記通信状況に基づき、高トラヒックのタイムスロットに対しては前記第1報酬値を前記第2報酬値より小さく設定し、低トラヒックのタイムスロットに対しては前記第1報酬値を前記第2報酬値より大きく設定する、
通信制御装置。 - 前記通信状況取得部は、所定時間間隔で前記通信状況を取得し、
前記報酬管理部は、前記所定時間間隔で取得された前記通信状況に応じて各タイムスロットの前記第1および第2報酬値を更新し、
前記学習モデルは、前記更新された第1および第2報酬値を用いて逐次更新される、
請求項1に記載の通信制御装置。 - 前記学習モデルは、前記タイムスロットを特定する識別子を状態stとして入力し、前記通信端末が通信を実施するまたは通信を実施しないという各行動atに対する行動価値Q(st,at)を出力する、深層強化学習に基づくニューラルネットワークにより構成されたモデルである、請求項1または2に記載の通信制御装置。
- 前記制御情報作成部は、前記通信端末が通信を実施しない行動atに対する前記行動価値が、前記通信端末が通信を実施する行動atに対する前記行動価値よりも大きい場合、当該タイムスロットについて、前記通信端末が通信を実施すべきでないことを指示する前記制御情報を作成する、請求項3に記載の通信制御装置。
- 複数のタイムスロットのうちのタイムスロットごとに通信端末の通信実施と通信不実施を制御するための通信制御方法であって、
前記通信端末が接続されたネットワークにおける通信状況を取得するステップと、
前記タイムスロットごとに、前記通信端末が通信を実施することに対する第1報酬値と前記通信端末が通信を実施しないことに対する第2報酬値とを指定するステップであって、前記ネットワークの前記取得された通信状況に基づき、高トラヒックのタイムスロットに対しては前記第1報酬値が前記第2報酬値より小さく設定され、低トラヒックのタイムスロットに対しては前記第1報酬値が前記第2報酬値より大きく設定される、ステップと、
前記第1および第2報酬値に基づく強化学習によって生成された学習モデルを用いて、各タイムスロットについて前記通信端末が通信を実施すべきか否かを示す制御情報を作成するステップと、
前記作成された制御情報を前記通信端末へ送信するステップと、
を含む方法。 - 前記学習モデルは、前記タイムスロットを特定する識別子を状態stとして入力し、前記通信端末が通信を実施するまたは通信を実施しないという各行動atに対する行動価値Q(st,at)を出力する、深層強化学習に基づくニューラルネットワークにより構成されたモデルである、請求項5に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023164170A JP7478300B1 (ja) | 2023-09-27 | 2023-09-27 | 通信制御装置および通信制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023164170A JP7478300B1 (ja) | 2023-09-27 | 2023-09-27 | 通信制御装置および通信制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7478300B1 true JP7478300B1 (ja) | 2024-05-02 |
Family
ID=90827053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023164170A Active JP7478300B1 (ja) | 2023-09-27 | 2023-09-27 | 通信制御装置および通信制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7478300B1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7251647B2 (ja) | 2019-09-30 | 2023-04-04 | 日本電気株式会社 | 制御装置、制御方法及びシステム |
-
2023
- 2023-09-27 JP JP2023164170A patent/JP7478300B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7251647B2 (ja) | 2019-09-30 | 2023-04-04 | 日本電気株式会社 | 制御装置、制御方法及びシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sadeghi et al. | Deep reinforcement learning for adaptive caching in hierarchical content delivery networks | |
CN106993048B (zh) | 确定推荐信息的方法及装置、信息推荐方法及装置 | |
US11564270B2 (en) | Method and device for selecting a network mode for an internet of things device | |
CN103095691A (zh) | 物联网节点访问控制方法 | |
KR20120066116A (ko) | 웹 서비스 정보 처리 방법과 이를 이용한 웹 서비스 조합 방법 및 장치 | |
CN107148072B (zh) | 一种智能终端应用的目标资源参数的获取方法及系统 | |
US20190166606A1 (en) | System and method for measuring end-to-end channel capacity entropy | |
CN110474812A (zh) | 采样率自适应调整方法及装置 | |
CN115277581B (zh) | 网络传输的控制方法、装置、计算机设备、存储介质 | |
CN114726799A (zh) | 拥塞控制智能体的训练方法、拥塞控制方法及装置 | |
US8180857B2 (en) | Method for downloading file in parallel | |
JP7478300B1 (ja) | 通信制御装置および通信制御方法 | |
CN104753933A (zh) | 一种数据处理方法、装置、客户端及服务器 | |
US11556100B2 (en) | Control method, related device, and system | |
CN114238269A (zh) | 数据库参数调整方法、装置、电子设备和存储介质 | |
WO2023142351A1 (zh) | 权重的调整方法和装置、存储介质及电子装置 | |
KR20220042928A (ko) | 복수의 액세스 네트워크 장치들에 대한 자동 구성 네트워크를 구현하는 방법 및 이를 수행하는 전자 장치 | |
CN104601424B (zh) | 设备控制网中利用概率模型的主被动数据收集装置及方法 | |
JP6065114B2 (ja) | プッシュ型情報送信装置、プッシュ型情報送信方法及びプログラム | |
KR20210023112A (ko) | 세탁기 제어 시스템 | |
JP6257773B2 (ja) | ワイヤレスボディエリアネットワークデータの処理方法及び装置 | |
JP2016144088A (ja) | 配信制御プログラム、配信制御方法および配信制御装置 | |
CN114500561A (zh) | 电力物联网网络资源分配决策方法、系统、设备及介质 | |
CN115484304B (zh) | 一种基于轻量级学习的实时服务迁移方法 | |
WO2023119623A1 (ja) | 管理装置、通信システム、制御方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230927 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7478300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |