JP7284881B1 - Mobile communication system and communication method - Google Patents
Mobile communication system and communication method Download PDFInfo
- Publication number
- JP7284881B1 JP7284881B1 JP2023072960A JP2023072960A JP7284881B1 JP 7284881 B1 JP7284881 B1 JP 7284881B1 JP 2023072960 A JP2023072960 A JP 2023072960A JP 2023072960 A JP2023072960 A JP 2023072960A JP 7284881 B1 JP7284881 B1 JP 7284881B1
- Authority
- JP
- Japan
- Prior art keywords
- user terminal
- sim profile
- mobile operator
- sim
- reward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 75
- 238000010295 mobile communication Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 4
- 230000002787 reinforcement Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 230000003542 behavioural effect Effects 0.000 description 4
- 239000000969 carrier Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
【課題】マルチプロファイルSIMにおいて、携帯電話網の通信状況に応じて自動でプロファイルを切り替える。
【解決手段】モバイル通信システムは、マルチプロファイルSIMを備えたユーザ端末と、ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、ユーザ端末および複数のモバイル事業者ネットワークと接続されたSIMプロファイル切替装置と、を備える。SIMプロファイル切替装置は、複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部を備える。ユーザ端末は、ユーザ端末の状態と報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習するように構成された学習モデルと、学習モデルを用いて、ユーザ端末の状態に基づいてSIMプロファイルを選択するSIMプロファイル選択部とを備える。
【選択図】図7
A multi-profile SIM automatically switches profiles according to the communication status of a mobile phone network.
A mobile communication system includes a user terminal equipped with a multi-profile SIM, a plurality of mobile operator networks with which the user terminal can communicate, and a SIM profile switching device connected to the user terminal and the plurality of mobile operator networks. And prepare. The SIM profile switching device comprises a reward determination unit that determines a reward in reinforcement learning based on the communication status of each of multiple mobile operator networks. The user terminal uses a learning model configured to learn to select an optimal SIM profile by reinforcement learning based on the state of the user terminal and a reward; and a SIM profile selection unit that selects the
[Selection drawing] Fig. 7
Description
本発明は、モバイル通信システムおよび通信方法に関する。特に、本発明は、マルチプロファイルSIMにおけるプロファイルの切り替えに関する。 The present invention relates to mobile communication systems and communication methods. In particular, the present invention relates to profile switching in multi-profile SIMs.
携帯電話端末やスマートフォンなどのユーザ端末が1枚のSIMカードで複数の携帯電話網に接続することが可能なマルチプロファイルSIMが開発されている(例えば非特許文献1参照)。マルチプロファイルSIMは、1枚のSIMカードの中に複数の通信事業者のプロファイル(携帯電話網に接続するための情報)を保持しており、ユーザ端末は、これら複数のプロファイルを切り替えて利用することができる。これにより、例えば通信障害時等に、SIMカード内のプロファイルを切り替えて異なる携帯電話網に接続することで、通信を確保することができる。
A multi-profile SIM has been developed that allows a user terminal such as a mobile phone terminal or a smart phone to connect to a plurality of mobile phone networks with a single SIM card (see Non-Patent
しかしながら、従来のマルチプロファイルSIMでは、プロファイルの切り替えはユーザ端末の使用者が手動で行う必要があり、携帯電話網の通信状況に応じて自動でプロファイルを切り替えることは実現されていない。 However, in the conventional multi-profile SIM, the user of the user terminal must manually switch profiles, and automatic profile switching according to the communication status of the mobile phone network has not been realized.
本発明の一態様によれば、マルチプロファイルSIMを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたSIMプロファイル切替装置と、を備えるモバイル通信システムであって、前記SIMプロファイル切替装置は、前記複数のモバイル事業者ネットワークの各々についての通信状況を管理する通信状況管理部と、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部であって、前記報酬は、前記ユーザ端末が使用すべきSIMプロファイルの選択に関連する、報酬決定部と、前記報酬を前記ユーザ端末へ送信する送信部と、を備え、前記ユーザ端末は、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習するように構成された学習モデルと、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてSIMプロファイルを選択するSIMプロファイル選択部と、前記選択されたSIMプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの1つと通信する通信部と、を備える、モバイル通信システムが提供される。 According to one aspect of the present invention, a user terminal equipped with a multi-profile SIM, a plurality of mobile operator networks with which said user terminal can communicate, and a SIM connected to said user terminal and said plurality of mobile operator networks. a profile switching device, wherein the SIM profile switching device comprises: a communication status management unit that manages communication status of each of the plurality of mobile operator networks; a reward determination unit that determines a reward in reinforcement learning based on each communication situation of the a transmission unit for transmitting to the user terminal, wherein the user terminal has a learning model configured to learn selection of an optimum SIM profile by reinforcement learning based on the state of the user terminal and the reward; a SIM profile selector that uses the learning model to select a SIM profile based on the state of the user terminal; and communicates with one of the plurality of mobile operator networks using the selected SIM profile. A mobile communication system is provided, comprising: a communication unit;
また、本発明の一態様によれば、前記報酬決定部は、前記ユーザ端末が現在使用しているSIMプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、当該SIMプロファイルに対する報酬値が最大となるように、前記報酬を決定するのであってよい。 Further, according to one aspect of the present invention, when the communication status of the mobile operator network corresponding to the SIM profile currently used by the user terminal is good, the remuneration determination unit determines the remuneration value for the SIM profile may be determined so as to maximize the reward.
また、本発明の一態様によれば、前記報酬決定部は、前記ユーザ端末が現在使用しているSIMプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、当該他のモバイル事業者ネットワークに対応するSIMプロファイルに対する報酬値が最大となるように、前記報酬を決定するのであってよい。 Further, according to one aspect of the present invention, the remuneration determination unit determines that the communication status of the mobile operator network corresponding to the SIM profile currently used by the user terminal is not good, and the other mobile operator network The remuneration may be determined such that the remuneration value for the SIM profile corresponding to the other mobile operator network is maximized when communication conditions are good.
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末の状態stを入力とし、複数のSIMプロファイルのうち各SIMプロファイルを選択する行動atを行った場合における行動価値Q(st,at)を出力とする、深層強化学習に基づくニューラルネットワークにより構成されたモデルであるのであってよい。 Further, according to one aspect of the present invention, the learning model receives the state s t of the user terminal as an input, and the action value Q It may be a model composed of a neural network based on deep reinforcement learning, which outputs (s t , a t ).
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末が現在使用しているSIMプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、前記ニューラルネットワークから出力される複数の行動価値のうち最大の行動価値を用いて、学習が行われるのであってよい。 Further, according to one aspect of the present invention, the learning model is output from the neural network when communication conditions of a mobile operator network corresponding to the SIM profile currently used by the user terminal are good. Learning may be performed using the maximum action value among the plurality of action values.
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末が現在使用しているSIMプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、前記ニューラルネットワークから出力される複数の行動価値のうち当該他のモバイル事業者ネットワークのSIMプロファイルに対応する行動価値を用いて、学習が行われるのであってよい。 In addition, according to one aspect of the present invention, the learning model determines that the communication status of the mobile operator network corresponding to the SIM profile currently used by the user terminal is not good, and that the communication status of another mobile operator network is not good. If the situation is favorable, learning may be performed using the behavior value corresponding to the SIM profile of the other mobile operator network among the plurality of behavior values output from the neural network.
また、本発明の一態様によれば、マルチプロファイルSIMを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたSIMプロファイル切替装置と、を備えるモバイル通信システムにおける通信方法であって、前記SIMプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々についての通信状況を取得するステップと、前記SIMプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定するステップであって、前記報酬は、前記ユーザ端末が使用すべきSIMプロファイルの選択に関連する、ステップと、前記SIMプロファイル切替装置が、前記報酬を前記ユーザ端末へ送信するステップと、前記ユーザ端末が、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習モデルに学習させるステップと、前記ユーザ端末が、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてSIMプロファイルを選択するステップと、前記ユーザ端末が、前記選択されたSIMプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの1つと通信するステップと、を含む通信方法が提供される。 Further, according to one aspect of the present invention, a user terminal equipped with a multi-profile SIM, a plurality of mobile operator networks with which the user terminal can communicate, and a terminal connected to the user terminal and the plurality of mobile operator networks. a SIM profile switching device, wherein said SIM profile switching device acquires communication status for each of said plurality of mobile operator networks; and said SIM profile switching device. determining a reward in reinforcement learning based on the communication status of each of said plurality of mobile operator networks, said reward being related to selection of a SIM profile to be used by said user terminal; a step of the SIM profile switching device transmitting the reward to the user terminal; the user terminal using the learning model to select a SIM profile based on the state of the user terminal; and the user terminal using the selected SIM profile to perform the plurality of communicating with one of the mobile operator networks of .
本発明によれば、ユーザ端末は、SIMカードに保持された複数のSIMプロファイルの中からモバイル事業者ネットワークの通信状況に応じた最適なSIMプロファイルを選択して、通信を行うことができる。 According to the present invention, a user terminal can perform communication by selecting an optimum SIM profile according to the communication status of a mobile operator's network from among multiple SIM profiles held in a SIM card.
以下、図面を参照しながら本発明の実施形態について詳しく説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施形態に係るモバイル通信システム10のネットワーク構成図である。モバイル通信システム10は、ユーザ端末100と、第1モバイル事業者ネットワークMN1と、第2モバイル事業者ネットワークMN2と、SIMプロファイル切替装置400を備える。各モバイル事業者ネットワークMN1、MN2は、それぞれ無線アクセスネットワーク200とコアネットワーク300とを備える。モバイル通信システム10において、ユーザ端末100は、モバイル事業者ネットワークMN1、MN2の無線アクセスネットワーク200およびコアネットワーク300を介して、インターネット500等のネットワークと通信することができる。なお、モバイル事業者ネットワークの数は2つに限定されず、任意であってよい。
FIG. 1 is a network configuration diagram of a
ユーザ端末100は、携帯電話端末やスマートフォンなどの無線通信機器である。ユーザ端末100は、1枚のSIMカード110を備え、このSIMカード110には複数のSIMプロファイルが格納されている。SIMプロファイルは、ユーザ端末100がモバイル事業者ネットワークに接続するための情報である。図1の例では、ユーザ端末100は、SIMカード110に2つのSIMプロファイルSP1、SP2を有している。SIMプロファイルSP1は第1モバイル事業者ネットワークMN1に対応し、SIMプロファイルSP2は第2モバイル事業者ネットワークMN2に対応する。ユーザ端末100は、SIMプロファイルSP1を使用して第1モバイル事業者ネットワークMN1に接続することができ、またSIMプロファイルSP2を使用して第2モバイル事業者ネットワークMN2に接続することができる。なお、SIMカード110に保持されるSIMプロファイルの数は2より多くてもよい。
A
SIMプロファイル切替装置400は、ユーザ端末100におけるSIMプロファイルの切り替えを制御する装置である。SIMプロファイル切替装置400は、プロセッサおよびメモリを備えたコンピュータとして構成され、メモリに格納されたプログラムをプロセッサが読み出して実行することにより、所定の機能が実現される。SIMプロファイル切替装置400の機能および動作については以下に詳述する。
The SIM
図1のモバイル通信システム10において、第1モバイル事業者ネットワークMN1および第2モバイル事業者ネットワークMN2は、ともに第5世代(5G)通信規格に準拠する。無線アクセスネットワーク(NG-RAN:Next Generation Radio Access Network)200は、複数の基地局を含む。コアネットワーク300は、AMF(Access and Mobility Management Function)302、SMF(Session Management Function)304、PCF(Policy Control Function)306、UDM(Unified Data Management)308、UDR(Unified Data Repository)310、UPF(User Plane Function)312の各ノードを備える。
In the
AMF302は、モビリティ制御機能を提供し、位置登録、ページング、およびハンドオーバ等の移動制御を行うノードである。SMF304は、セッション管理機能を提供し、セッションの保守、確立、変更および解放を行うノードである。PCF306は、データ転送速度や遅延時間などの品質に関するポリシー制御機能を提供するノードである。UDM308は、ユーザの契約情報や認証情報を管理するノードである。UDR310は、ユーザ端末の識別番号や在圏情報を保持した加入者データベースを格納するノードである。UPF312は、ユーザ端末との間でユーザデータを通信するノードである。これら各ノードは、5G通信規格に準拠するものであり、その詳細についての説明はここでは省略する。
The AMF 302 is a node that provides a mobility control function and performs mobility control such as location registration, paging, and handover.
第1モバイル事業者ネットワークMN1と第2モバイル事業者ネットワークMN2のいずれか一方または両方は、第4世代(4G)通信規格に準拠するのであってもよい。図2は、第1モバイル事業者ネットワークMN1が5G通信規格に準拠し、第2モバイル事業者ネットワークMN2が4G通信規格に準拠するモバイル通信システム10のネットワーク構成図である。図2のモバイル通信システム10において、第2モバイル事業者ネットワークMN2の無線アクセスネットワーク200は、E-UTRAN(Evolved Universal Terrestrial Radio Access Network)である。また第2モバイル事業者ネットワークMN2のコアネットワーク300は、MME(Mobility Management Entity)314、SGW(Serving Gateway)316、PGW-U(Packet data network Gateway-User Plane)318、PGW-C(Packet data network Gateway-Control Plane)320、PCRF(Policy and Charging Rules Function)322、HSS(Home Subscriber Server)324、およびUDR326の各ノードを含む。これらは4G通信規格に準拠するものであり、その詳細についての説明はここでは省略する。
Either or both of the first mobile operator network MN 1 and the second mobile operator network MN 2 may comply with the fourth generation (4G) communication standard. FIG. 2 is a network configuration diagram of a
図3は、ユーザ端末100の状態の遷移を示す模式図である。ユーザ端末100の状態は、状態s1から状態s2へ、状態s2から状態s3へ、…、状態st-1から状態stへ、状態stから状態st+1へと遷移する。各状態間において、ユーザ端末100は、N個の行動a1、a2、…、aNをとり得る。例えば、ユーザ端末100は、状態st-1において行動a2を行って新たな状態stへと遷移し、次いで状態stにおいて行動a1を行ってさらに新たな状態st+1へと遷移することができる。ユーザ端末100がとり得る行動は、複数のSIMプロファイルの中から1つのSIMプロファイルを選択することを含む。例えば、ユーザ端末100の行動a1は、第1モバイル事業者ネットワークMN1に対応するSIMプロファイルSP1を選択することに対応し、ユーザ端末100の行動a2は、第2モバイル事業者ネットワークMN2に対応するSIMプロファイルSP2を選択することに対応する(以下同様)のであってよい。なお、とり得る行動の数Nは、ユーザ端末100のSIMカード110に保持されているSIMプロファイルの数と等しい。ユーザ端末100の状態stは、例えば、3GPP(登録商標)で規定されているRRC IDLE、RRC INACTIVE、RRC CONNECTED等を含むのであってよい。
FIG. 3 is a schematic diagram showing state transitions of the
図4は、モバイル通信システム10におけるSIMプロファイル切替装置400およびユーザ端末100の機能的構成を示すブロック図である。SIMプロファイル切替装置400は、ユーザ端末情報管理部402と、通信状況管理部404と、報酬決定部406と、送信部408とを備える。ユーザ端末100は、学習モデル102と、SIMプロファイル選択部104と、通信部106とを備える。
FIG. 4 is a block diagram showing functional configurations of the SIM
SIMプロファイル切替装置400のユーザ端末情報管理部402は、ユーザ端末100から、ユーザ端末100の状態stと、ユーザ端末100が選択した行動ai(iは1、2、…、Nのいずれか)とを含むユーザ端末情報を取得するように構成される。ユーザ端末情報管理部402は、さらに、ユーザ端末100のとり得る全ての状態と、各状態において各行動をとったときにユーザ端末100が次にどの状態に遷移するかに関する情報(例えば図3に示されるような状態遷移図)を管理するように構成される。
The user terminal
SIMプロファイル切替装置400の通信状況管理部404は、モバイル通信システム10における複数のモバイル事業者ネットワークの各々についての通信状況を管理するように構成される。例えば、通信状況管理部404は、モバイル事業者ネットワークMN1とMN2におけるそれぞれのNG-RAN200、AMF302、UDM308、UDR310、およびUPF312から、これら各装置のCPU使用率や、各モバイル事業者ネットワークのトラフィック量や障害発生情報などを含む各種情報を定期的に収集し、これらの収集した情報に基づいて、各モバイル事業者ネットワークMN1、MN2の通信状況(例えば、通信帯域が逼迫し輻輳が発生しそうであるか否か等)を把握することができる。
The communication
SIMプロファイル切替装置400の報酬決定部406は、通信状況管理部404において特定された各モバイル事業者ネットワークの通信状況に基づいて、ユーザ端末100における最適SIMプロファイルの学習のための報酬を決定するように構成される。具体的に、報酬決定部406は、通信状況が良好なモバイル事業者ネットワークのSIMプロファイルを選択する行動に対して報酬値が高くなる(例えば最大となる)ように、報酬を決定する。
例えば、報酬決定部406は、ユーザ端末100が現在使用しているSIMプロファイルが第1モバイル事業者ネットワークMN1のSIMプロファイルSP1であり、且つ第1モバイル事業者ネットワークMN1の通信状況が良好である場合には、SIMプロファイルSP1を選択する行動である行動a1に対して報酬値“1”を有し、他の全ての行動aj(j≠1)に対しては報酬値“0”を持つように、報酬を決定するのであってよい。また例えば、報酬決定部406は、ユーザ端末100が現在使用しているSIMプロファイルが第1モバイル事業者ネットワークMN1のSIMプロファイルSP1であるが、第1モバイル事業者ネットワークMN1の通信状況が良好でなく第2モバイル事業者ネットワークMN2の通信状況が良好である場合には、第2モバイル事業者ネットワークMN2に対応するSIMプロファイルSP2を選択する行動である行動a2に対して報酬値“1”を有し、他の全ての行動aj(j≠2)に対しては報酬値“0”を持つように、報酬を決定するのであってよい。
For example, the
SIMプロファイル切替装置400の送信部408は、報酬決定部406によって決定された報酬と、ユーザ端末100が行動をとったことによる遷移後のユーザ端末100の状態st+1とをユーザ端末100へ送信するように構成される。遷移後のユーザ端末100の状態st+1は、ユーザ端末情報管理部402において、現在の状態stおよび現在の状態stで選択した行動aiを指定することにより、特定することができる。
The
なお、SIMプロファイル切替装置400とユーザ端末100との間の通信(ユーザ端末100からSIMプロファイル切替装置400へのユーザ端末情報の送信、ならびにSIMプロファイル切替装置400からユーザ端末100への報酬および遷移後の状態の送信)は、ユーザ端末100が現在使用しているモバイル事業者ネットワークのU-plane(ユーザプレーン)通信路を介して行われる。
Communication between SIM
ユーザ端末100の学習モデル102は、ユーザ端末100の状態と、SIMプロファイル切替装置400から与えられた報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習するように構成される。例えば、学習モデル102として、図5に示されるように、ユーザ端末100の状態stを入力層に入力し、状態stにおいてユーザ端末100がとることが可能な全ての行動(複数のSIMプロファイルのうちのいずれか1つのSIMプロファイルの選択)atのそれぞれについての行動価値Q(st,at)を出力層の各ノードから出力するように構成された、DQN(Deep Q-Network)に基づくニューラルネットワークを適用することができる。また、学習モデル102は、図6に示されるように、図5と同様の構成の2つのニューラルネットワーク(メインネットワークとターゲットネットワーク)を用いたFixed Target Q-Networkに基づくものであってもよい。図5のDQNおよび図6のFixed Target Q-Networkにおいて、出力層から出力される行動価値Q(st,at)とSIMプロファイル切替装置400から与えられる報酬とを用いてニューラルネットワークのパラメータ(重みおよび閾値)を更新することで、学習モデル102の学習が行われる。
The
ユーザ端末100のSIMプロファイル選択部104は、学習モデル102の出力に基づいてSIMプロファイルを選択するように構成される。例えば、SIMプロファイル選択部104は、ニューラルネットワークの出力層から出力される各行動atに対する行動価値Q(st,at)のうち最大の行動価値に対応するSIMプロファイルを、ユーザ端末100が使用するSIMプロファイルとして選択することができる。
A
ユーザ端末100の通信部106は、SIMプロファイル選択部104によって選択されたSIMプロファイルを用いてモバイル事業者ネットワークのうちの1つと通信するように構成される。
The
図7は、モバイル通信システム10におけるSIMプロファイル切替装置400およびユーザ端末100の動作を示すフローチャートである。以下では、ユーザ端末100の学習モデル102がFixed Target Q-Networkに基づくニューラルネットワークとして構成される場合を例に説明を行う。なおユーザ端末100は現在、複数のモバイル事業者ネットワークのうちのJ番目のモバイル事業者ネットワークMNJに対応するSIMプロファイルSPJを使用して、モバイル事業者ネットワークMNJに接続し通信を行っているものとする。
FIG. 7 is a flow chart showing operations of SIM
ステップ702において、ユーザ端末100の学習モデル102を構成するメインネットワークの入力層にユーザ端末100の状態stが入力される。状態stの入力を受け、学習モデル102は、ステップ704において、メインネットワークの出力層の各ノードから、ユーザ端末100が状態stにおいてSIMプロファイルSP1~SPN(ただし、Nは2以上の整数であり、ユーザ端末100に装着されているSIMカード110に保持されているSIMプロファイルの総数を表す)をそれぞれ選択した場合の行動価値Qmain(st,ai)(i=1,2,…,N)を出力する。例えば、出力層のノード1からは、ユーザ端末100がSIMプロファイルSP1を選択すなわち行動a1を行った場合の行動価値Qmain(st,a1)が出力され、ノード2からは、ユーザ端末100がSIMプロファイルSP2を選択すなわち行動a2を行った場合の行動価値Qmain(st,a2)が出力され、以下同様である。なお、出力層のノード数はSIMカード110内のSIMプロファイルの数と同数である。
At
ここで、ユーザ端末100の学習モデル(メインネットワークおよびターゲットネットワーク)102は、ユーザ端末100が現在使用しているSIMプロファイルSPJに対して最大の行動価値を出力するように学習が行われているものとする。続くステップ706において、ユーザ端末100は、ステップ704で得られた全ての行動価値のうち最大の行動価値Qmain(st,aJ)に対応する行動aJと、ユーザ端末100の状態stとを含むユーザ端末情報を、現在使用しているモバイル事業者ネットワークのU-planeを介してSIMプロファイル切替装置400へ送信する。ステップ708において、SIMプロファイル切替装置400のユーザ端末情報管理部402は、このユーザ端末情報を取得する。
Here, the learning model (main network and target network) 102 of the
次にステップ710において、SIMプロファイル切替装置400の通信状況管理部404は、モバイル通信システム10における複数のモバイル事業者ネットワークの各々についての通信状況を判定する。ステップ712において、SIMプロファイル切替装置400の報酬決定部406は、ユーザ端末情報管理部402からユーザ端末情報を、また通信状況管理部404から各モバイル事業者ネットワークの通信状況を取得し、ユーザ端末100が現在使用しているモバイル事業者ネットワークの通信状況が良好であるか否かに応じて、ユーザ端末100の学習モデル102を更新するための報酬Rt+1を決定する。例えば、ユーザ端末100が現在使用しているモバイル事業者ネットワークの通信状況が良好である場合は、そのモバイル事業者ネットワークのSIMプロファイルを選択する行動aJに対する報酬値が最大となるように、またユーザ端末100が現在使用しているモバイル事業者ネットワークの通信状況が良好でない場合は、通信状況が良好な別の(例えばK(≠J)番目の)モバイル事業者ネットワークのSIMプロファイルを選択する行動aKに対する報酬値が最大となるように、報酬Rt+1が決定される。
Next, at
次にステップ714において、SIMプロファイル切替装置400の送信部408は、ステップ712で決定された報酬Rt+1と、状態stにおいてユーザ端末100が行動aJをとった場合における遷移後のユーザ端末100の状態st+1とをユーザ端末100へ送信する。さらにステップ716において、ユーザ端末100の学習モデル102に対する更新指示(後述参照)が、SIMプロファイル切替装置400からユーザ端末100へ送信される。
Next, in step 714, transmitting
次にステップ718において、学習モデル102の更新に用いる行動価値を得るため、ユーザ端末100の学習モデル102を構成するもう一方のニューラルネットワークであるターゲットネットワークの入力層に、ユーザ端末100の次の状態st+1が入力される。この入力を受け、ステップ720において、学習モデル102のターゲットネットワークは、ステップ704におけるメインネットワークと同様に、その出力層の各ノードから、状態st+1に関する各行動aiの行動価値Qtarget(st+1,ai)を出力する。
Next, in
次にステップ722において、ターゲットネットワークから出力された行動価値を用いて、ユーザ端末100の学習モデル102におけるメインネットワークの更新が行われる。更新は、ステップ716でSIMプロファイル切替装置400からユーザ端末100へ送られた更新指示の内容に従う。更新指示の内容は、SIMプロファイル切替装置400の報酬決定部406によって決定された報酬Rt+1と連動している。具体的に、(A)ユーザ端末100が現在使用しているモバイル事業者ネットワークの通信状況が良好である場合は、ターゲットネットワークから出力された行動価値のうち最大の行動価値maxaiQtarget(st+1,ai)=Qtarget(st+1,aJ)が、メインネットワークの更新に用いられる(maxaiは全てのとり得る行動aiに関する最大値を表す)。一方、(B)ユーザ端末100が現在使用しているモバイル事業者ネットワークの通信状況が良好でない場合には、ターゲットネットワークから出力された行動価値のいずれが最大であるかにかかわらず、通信状況が良好なK番目のモバイル事業者ネットワークのSIMプロファイルに対応する行動価値Qtarget(st+1,aK)が、メインネットワークの更新に用いられる。具体的な更新式は次のとおりである。メインネットワークは、次式の損失関数Eが最小になるように学習が行われる。
Next, in
ここで、γは時間割引率である。このように、ステップ722では、モバイル事業者ネットワークの通信状況に応じ、上式(1)または(2)に従って、ユーザ端末100の学習モデル102におけるメインネットワークの更新(すなわちニューラルネットワークのパラメータの調整)が行われる。その後、再びステップ702から722が繰り返され、メインネットワークの学習が進む。また所定回数の繰り返しごとに、ステップ722の後のステップ724において、ターゲットネットワークのパラメータがメインネットワークのパラメータと同期される。
where γ is the time discount rate. Thus, in
このようにして学習された学習モデル102を用いて、ユーザ端末100は使用するSIMプロファイルの選択を行うことができる。具体的に、ステップ704に続いてステップ726へ進むことができ、このステップ726において、ユーザ端末100のSIMプロファイル選択部104は、ステップ704で得られた全ての行動価値Qmain(st,ai)の中から最大の行動価値を選択し、その最大の行動価値に対応するSIMプロファイルを、最適なSIMプロファイルと決定する。次いで、ステップ728において、ユーザ端末100の通信部106は、SIMプロファイル選択部104によって選択されたSIMプロファイルを用いて、そのSIMプロファイルに対応するモバイル事業者ネットワークと通信する。こうして、ユーザ端末100は、SIMカード110に保持された複数のSIMプロファイルの中からモバイル事業者ネットワークの通信状況に応じた最適なSIMプロファイルを選択して、通信を行うことができる。
Using the
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。 Although the embodiment of the present invention has been described above, the present invention is not limited to this, and various modifications can be made without departing from the scope of the invention.
10 モバイル通信システム
100 ユーザ端末
102 学習モデル
104 SIMプロファイル選択部
106 通信部
110 SIMカード
200 無線アクセスネットワーク
300 コアネットワーク
400 SIMプロファイル切替装置
402 ユーザ端末情報管理部
404 通信状況管理部
406 報酬決定部
408 送信部
500 インターネット
MN1、MN2 モバイル事業者ネットワーク
SP1、SP2 SIMプロファイル
10
Claims (7)
前記SIMプロファイル切替装置は、
前記複数のモバイル事業者ネットワークの各々についての通信状況を管理する通信状況管理部と、
前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部であって、前記報酬は、前記ユーザ端末が使用すべきSIMプロファイルの選択に関連する、報酬決定部と、
前記報酬を前記ユーザ端末へ送信する送信部と、を備え、
前記ユーザ端末は、
前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習するように構成された学習モデルと、
前記学習モデルを用いて、前記ユーザ端末の状態に基づいてSIMプロファイルを選択するSIMプロファイル選択部と、
前記選択されたSIMプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの1つと通信する通信部と、を備える、
モバイル通信システム。 A mobile communication comprising: a user terminal equipped with a multi-profile SIM; a plurality of mobile operator networks with which the user terminal can communicate; and a SIM profile switching device connected to the user terminal and the plurality of mobile operator networks. a system,
The SIM profile switching device,
a communication status management unit that manages the communication status of each of the plurality of mobile operator networks;
A reward determination unit that determines a reward in reinforcement learning based on the communication status of each of the plurality of mobile operator networks, wherein the reward is related to selection of a SIM profile to be used by the user terminal. a decision unit;
a transmission unit that transmits the reward to the user terminal;
The user terminal is
a learning model configured to learn optimal SIM profile selection by reinforcement learning based on the state of the user terminal and the reward;
a SIM profile selection unit that selects a SIM profile based on the state of the user terminal using the learning model;
a communication unit that communicates with one of the plurality of mobile operator networks using the selected SIM profile;
mobile communication system.
前記SIMプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々についての通信状況を取得するステップと、
前記SIMプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定するステップであって、前記報酬は、前記ユーザ端末が使用すべきSIMプロファイルの選択に関連する、ステップと、
前記SIMプロファイル切替装置が、前記報酬を前記ユーザ端末へ送信するステップと、
前記ユーザ端末が、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なSIMプロファイルの選択を学習モデルに学習させるステップと、
前記ユーザ端末が、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてSIMプロファイルを選択するステップと、
前記ユーザ端末が、前記選択されたSIMプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの1つと通信するステップと、
を含む通信方法。
A mobile communication comprising: a user terminal equipped with a multi-profile SIM; a plurality of mobile operator networks with which the user terminal can communicate; and a SIM profile switching device connected to the user terminal and the plurality of mobile operator networks. A method of communication in a system, comprising:
the SIM profile switching device acquiring communication status for each of the plurality of mobile operator networks;
A step in which the SIM profile switching device determines a reward in reinforcement learning based on the communication status of each of the plurality of mobile operator networks, wherein the reward is the selection of a SIM profile to be used by the user terminal. a step associated with
the SIM Profile Switcher transmitting the reward to the user terminal;
the user terminal having a learning model learn to select an optimal SIM profile by reinforcement learning based on the state of the user terminal and the reward;
the user terminal using the learning model to select a SIM profile based on the state of the user terminal;
the user terminal communicating with one of the plurality of mobile operator networks using the selected SIM profile;
communication methods, including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023072960A JP7284881B1 (en) | 2023-04-27 | 2023-04-27 | Mobile communication system and communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023072960A JP7284881B1 (en) | 2023-04-27 | 2023-04-27 | Mobile communication system and communication method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7284881B1 true JP7284881B1 (en) | 2023-05-31 |
Family
ID=86538344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023072960A Active JP7284881B1 (en) | 2023-04-27 | 2023-04-27 | Mobile communication system and communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7284881B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7407329B1 (en) * | 2023-10-04 | 2023-12-28 | 株式会社インターネットイニシアティブ | Flight guidance device and flight guidance method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066198A (en) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | Method for managing profile and electronic device supporting thereof |
CN209089240U (en) * | 2018-08-17 | 2019-07-09 | 上海小镜信息科技有限公司 | Plurality of SIM cards multi-operator network integration system |
JP2023515277A (en) * | 2020-02-25 | 2023-04-12 | シーエスエル デュアルコム リミテッド | Autonomous and resilient integrated circuit device |
-
2023
- 2023-04-27 JP JP2023072960A patent/JP7284881B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066198A (en) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | Method for managing profile and electronic device supporting thereof |
CN209089240U (en) * | 2018-08-17 | 2019-07-09 | 上海小镜信息科技有限公司 | Plurality of SIM cards multi-operator network integration system |
JP2023515277A (en) * | 2020-02-25 | 2023-04-12 | シーエスエル デュアルコム リミテッド | Autonomous and resilient integrated circuit device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7407329B1 (en) * | 2023-10-04 | 2023-12-28 | 株式会社インターネットイニシアティブ | Flight guidance device and flight guidance method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110809306B (en) | Terminal access selection method based on deep reinforcement learning | |
El Helou et al. | A network-assisted approach for RAT selection in heterogeneous cellular networks | |
Stevens-Navarro et al. | An MDP-based vertical handoff decision algorithm for heterogeneous wireless networks | |
CN113839797B (en) | Data processing method and device | |
RU2480955C2 (en) | Method and device for improvement of rss for mobility based on flows | |
CN101720079B (en) | Service access method and tactical convergence system in network element tactical convergence network | |
CN104170420B (en) | The method and its device of open wireless pipe ability | |
CN107580360A (en) | A kind of network is cut into slices method, equipment and the network architecture of selection | |
US20180103401A1 (en) | Determining a threshold value for determining whether to steer a particular node from associating with one node to another node in a wireless environment | |
CN107925957A (en) | Power cellular network is waited to connect by cell | |
JP7284881B1 (en) | Mobile communication system and communication method | |
CN110381548A (en) | A kind of communication means and relevant device | |
CN110505662B (en) | Policy control method, device and system | |
Wang et al. | Handover management in enhanced MIH framework for heterogeneous wireless networks environment | |
Jafari et al. | A location aware history-based approach for network selection in heterogeneous wireless networks | |
Ali et al. | Network selection in heterogeneous access networks simultaneously satisfying user profile and QoS | |
Lien et al. | Intelligent session management for URLLC in 5G open radio access network: A deep reinforcement learning approach | |
Do et al. | Latency-aware placement for state management functions in service-based 5G mobile core network | |
CN104541552B (en) | Management according to telephone expenses service condition to being roamed in communication network | |
CN113259924A (en) | Private network subscription information updating method and device | |
WO2023039905A1 (en) | Ai data transmission method and apparatus, device, and storage medium | |
EP2028907A1 (en) | Method and apparatus for forwarding of condensed information about a user equipment between base stations | |
CN1886961B (en) | Method and system for re-establishing context of data packet flows | |
CN116846771A (en) | Service operation method, device, terminal and readable storage medium | |
CN107517455A (en) | Transmission method and device, MME, SGSN of SGwU addresses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230427 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |