WO2025191925A1 - 通信制御システム及び通信制御方法 - Google Patents

通信制御システム及び通信制御方法

Info

Publication number
WO2025191925A1
WO2025191925A1 PCT/JP2024/040320 JP2024040320W WO2025191925A1 WO 2025191925 A1 WO2025191925 A1 WO 2025191925A1 JP 2024040320 W JP2024040320 W JP 2024040320W WO 2025191925 A1 WO2025191925 A1 WO 2025191925A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
classification
control unit
data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/040320
Other languages
English (en)
French (fr)
Inventor
皓生 伊神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of WO2025191925A1 publication Critical patent/WO2025191925A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • H04W88/10—Access point devices adapted for operation in multiple networks, e.g. multi-mode access points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/04—Interfaces between hierarchically different network devices
    • H04W92/14—Interfaces between hierarchically different network devices between access point controllers and backbone network device

Definitions

  • the present invention relates to a communication control system and a communication control method.
  • This application claims priority from Japanese Patent Application No. 2024-037455, filed on March 11, 2024, the contents of which are incorporated herein by reference.
  • O-RAN Open Radio Access Network
  • RICs RAN Intelligent Controllers
  • Non-Patent Document 1 proposes placing the "Data Pipeline,” which processes training data, in the "Near-RT RIC.”
  • Non-Patent Document 2 proposes a procedure in the A1 interface, which is the interface between the "Non-RT RIC” and the “Near-RT RIC,” for collecting training data via the "Data Pipeline.”
  • Non-Patent Document 3 describes distributed reinforcement learning technology for achieving high learning efficiency in online learning.
  • This distributed reinforcement learning technology is characterized by the fact that large amounts of learning data are collected through parallel execution as parallel processing using a distributed architecture, multiple distributed "Actors” collect learning data (experience) through trial and error with the environment, and this is learned by a single "Learner,” and the single "Learner” periodically supplies the unique learned model to each "Actor” to update the model common to each "Actor.”
  • the present invention was made in consideration of these circumstances, and its purpose is to improve the learning efficiency of models and the inference accuracy of trained models in the control of radio access networks (RAN).
  • RAN radio access networks
  • One aspect of the present invention is a communication control system in an O-RAN (Open Radio Access Network) radio access network, comprising: a first control unit that performs learning to infer predetermined communication control items for models provided corresponding to each classification of radio environments around a user terminal; and a second control unit that uses the model learned by the first control unit for a user terminal associated with the classification of the radio environment corresponding to the learned model, wherein the second control unit comprises a data control unit that selects inference data to be used for learning the model corresponding to the classification of a radio environment from inference data based on a model corresponding to the classification of the radio environment in accordance with predetermined data selection conditions, and the first control unit performs the learning for the model corresponding to the classification of the radio environment using the inference data of the classification of the radio environment selected by the data control unit.
  • O-RAN Open Radio Access Network
  • One aspect of the present invention is a communication control system, wherein in the above-described communication control system, the first control unit is realized using a “Non-RT RIC (Non-Real Time RAN Intelligent Controller)" and the second control unit is realized using a “Near-RT RIC (Near-Real Time RAN Intelligent Controller).”
  • One aspect of the present invention is a radio access network conforming to O-RAN (Open Radio Access Network) specifications, comprising: a first control unit that performs learning to infer predetermined communication control items for models provided corresponding to each classification of radio environments around a user terminal; and a second control unit that uses the model learned by the first control unit for a user terminal associated with the classification of the radio environment corresponding to the learned model, wherein the second control unit selects inference data to be used for learning the model corresponding to the classification of the one radio environment from inference data based on a model corresponding to the classification of the one radio environment in accordance with predetermined data selection conditions;
  • This is a communication control method in which the first control unit performs the learning on a model corresponding to the classification of the one wireless environment using inference data of the classification of the one wireless environment selected by the second control unit.
  • the present invention has the effect of improving the learning efficiency of models and the inference accuracy of trained models in the control of radio access networks (RANs).
  • RANs radio access networks
  • FIG. 1 is a block diagram illustrating an example of the configuration of a communication control system according to a first embodiment.
  • 4 is a flowchart showing an example of a procedure of a communication control method according to the first embodiment.
  • FIG. 10 is a block diagram showing an example of the configuration of a communication control system according to a second embodiment.
  • FIG. 11 is a block diagram showing an example of the configuration of a communication control system according to a third embodiment.
  • FIG. 11 is a sequence diagram showing an example of the procedure of a communication control method according to the third embodiment.
  • FIG. 10 is a block diagram showing an example of the configuration of a communication control system according to a fourth embodiment.
  • FIG. 13 is a block diagram showing an example of the configuration of a communication control system according to a fifth embodiment.
  • Fig. 1 is a block diagram showing an example of the configuration of a communication control system according to the first embodiment.
  • the communication control system 1 includes a plurality of model learning units 10 (Learner #1-#N, where N is an integer of 2 or more), storage units 20 (Repository #1-#N) provided corresponding to each of the model learning units 10, and model execution units 30 (Actor for UE1-UEk) provided corresponding to each of the user terminals (UE1-UEk).
  • the UE1-UEk are associated with classifications of the wireless environment around the UE.
  • the classification of the wireless environment around the UE is whether the signal strength of the AP (access point) around the UE is "high” or “low.”
  • a signal strength threshold is set to determine whether the signal strength of the AP around the UE is high or low.
  • UEs whose signal strength of the AP around them is equal to or greater than the signal strength threshold are associated with the classification of "high signal strength of the AP around the UE.”
  • UEs whose signal strength of the AP around them is less than the signal strength threshold are associated with the classification of "low signal strength of the AP around the UE.” This results in the formation of a group of UEs associated with the classification of "high signal strength of the AP around the UE” and a group of UEs associated with the classification of "low signal strength of the AP around the UE.”
  • classifications of the radio environment around a UE include classification by the RSRP (Reference Signal Received Power) value (average, total, etc.) of APs around the UE, classification by the SINR (Signal to Interference Noise power Ratio) value (average, total, etc.) of APs around the UE, classification by the UE's movement speed, and classification by geographical information of the AP to which the UE is connected.
  • RSRP Reference Signal Received Power
  • SINR Signal to Interference Noise power Ratio
  • Classification by urban structure includes, for example, classification by clustering the wireless environment based on building height data, classification by clustering the wireless environment based on satellite image data, classification by building area ratio, and classification by building occupancy rate around the UE based on point cloud data.
  • the building occupancy rate around the UE is an indicator of whether the visibility around the UE is good.
  • Classification based on UE-related factors includes, for example, classification by the density of UE distribution, classification by the density of AP distribution, and classification by traffic volume.
  • a model learning unit 10 is provided corresponding to each classification of the wireless environment around the UE. For example, if the wireless environment around the UE is classified into two categories, "high" and “low” signal strength of APs around the UE, a model learning unit 10 (Learner #1) corresponding to the "high” classification of signal strength of APs around the UE and a model learning unit 10 (Learner #2) corresponding to the "low” classification of signal strength of APs around the UE are provided.
  • a storage unit 20 is provided corresponding to each model learning unit 10. For example, if the wireless environment around the UE is classified into two categories, "high” and “low,” based on the signal strength of APs around the UE, a storage unit 20 (Repository #1) corresponding to the "high” category of signal strength of APs around the UE and a storage unit 20 (Repository #2) corresponding to the "low” category of signal strength of APs around the UE are provided.
  • the model learning unit 10 learns the model using the storage unit 20 that corresponds to it. For example, if the wireless environment around the UE is classified into two categories: "high" and "low” signal strength of APs around the UE, the model learning unit 10 (Learner #1) corresponding to the "high” signal strength category of APs around the UE learns the model using the storage unit 20 (Repository #1) corresponding to the "high” signal strength category of APs around the UE. On the other hand, the model learning unit 10 (Learner #2) corresponding to the "low” signal strength category of APs around the UE learns the model using the storage unit 20 (Repository #2) corresponding to the "low” signal strength category of APs around the UE. In this embodiment, reinforcement learning is used as the model learning method.
  • a model execution unit 30 (Actor for UE1-UEk) is provided corresponding to each user terminal (UE1-UEk).
  • a model learned by one model learning unit 10 is supplied to the model execution unit 30 corresponding to the user terminal associated with the classification of the wireless environment corresponding to that one model learning unit 10.
  • the model (Model #1) learned by the model learning unit 10 (Learner #1) corresponding to the "high” signal strength category of APs around the UE is supplied to the model execution units 30 (Actor for UE1, Actor for UEk) corresponding to UE1 and UEk, respectively, associated with the "high" signal strength category of APs around the UE.
  • model (Model #2) learned by the model learning unit 10 (Learner #2) corresponding to the "low” signal strength category of APs around the UE is supplied to the model execution unit 30 (Actor for UE2) corresponding to UE2, associated with the "low” signal strength category of APs around the UE.
  • the model execution unit 30 executes a model (trained model) that has been trained by the model learning unit 10. By executing the trained model, one model execution unit 30 takes action on the UE (target UE) corresponding to that one model execution unit 30, and obtains states and rewards from the target UE as a result of that action.
  • the model execution unit 30 (Actor for UE1, Actor for UEk) corresponding to the "high” category of signal strength of the AP around the UE will take action against the target UE (UE1, UEk) by executing the learned model (Model #1) of the model learning unit 10 (Learner #1) corresponding to the "high” category of signal strength of the AP around the UE, and will obtain a state and reward from the target UE (UE1, UEk) as a result of that action.
  • the model execution unit 30 (Actor for UE1, Actor for UEk) corresponding to the "high” category of signal strength of the AP around the UE will take action against the target UE (UE1, UEk) by executing the learned model (Model #1) of the model learning unit 10 (Learner #1) corresponding to the "high” category of signal strength of the AP around the UE, and will obtain a state and reward from the target UE (UE1, UEk) as a result of that action.
  • the model execution unit 30 (Actor for UE2) corresponding to the "low” category of signal strength of the AP around the UE will take action against the target UE (UE2) by executing the learned model (Model #2) of the model learning unit 10 (Learner #2) corresponding to the "low” category of signal strength of the AP around the UE, and will obtain a state and reward from the target UE (UE2) as a result of that action.
  • the trained model performs inference based on the resulting state and reward obtained from the actions taken against the target UE.
  • Inference data (Experience) indicating the results of inference by the trained model of one model execution unit 30 is stored in the storage unit 20 corresponding to that one model execution unit 30.
  • the inference data showing the results of inference by the trained model (Model #1) of the model execution unit 30 (Actor for UE1, Actor for UEk) corresponding to the "high” classification of signal strength of APs around the UE is stored in the storage unit 20 (Repository #1) corresponding to the "high” classification of signal strength of APs around the UE.
  • the inference data showing the results of inference by the trained model (Model #2) of the model execution unit 30 (Actor for UE2) corresponding to the "low” classification of signal strength of APs around the UE is stored in the storage unit 20 (Repository #2) corresponding to the "low” classification of signal strength of APs around the UE.
  • a model learning unit 10 uses inference data for the classification of the wireless environment corresponding to that model learning unit 10 to learn (reinforcement learning) a model that infers a specified communication control item.
  • the model learning unit 10 (Learner #1) corresponding to the "high” signal strength category of APs around the UE will learn a model that infers a specified communication control item using inference data (Experience) stored in the storage unit 20 (Repository #1) corresponding to the "high” signal strength category of APs around the UE.
  • the model learning unit 10 (Learner #2) corresponding to the "low" signal strength category of APs around the UE will learn a model that infers a specified communication control item using inference data (Experience) stored in the storage unit 20 (Repository #2) corresponding to the "low” signal strength category of APs around the UE.
  • An example of a communication control item in this embodiment is a cluster of APs (access points) around a UE (AP cluster).
  • the state used by the model is, for example, the current AP cluster, the SLA (Service Level Agreement), the RSRP value of the APs around the UE, and the SINR value of the APs around the UE.
  • the items inferred by the model are, for example, the action to be taken when the SLA is insufficient and the action to be taken when the SLA is excessive. For example, when the SLA is insufficient, the number of APs belonging to the AP cluster is increased, while when the SLA is excessive, the number of APs belonging to the AP cluster is reduced.
  • An example of a communication control item related to this embodiment is the selection of APs to use for interference suppression.
  • the states used by the model include, for example, the current AP cluster, a list of APs to use for interference suppression, the SLA, the RSRP values of APs around the UE, and the SINR values of APs around the UE.
  • the items inferred by the model include, for example, the actions to be taken when the SLA is insufficient and the actions to be taken when the SLA is excessive. For example, when the SLA is insufficient, the number of APs to use for interference suppression is increased, while when the SLA is excessive, the number of APs to use for interference suppression is decreased.
  • An example of a communication control item is the placement of a vDU (virtual distributed unit).
  • the state used by the model may include, for example, the current placement of the vDU on the virtual infrastructure (server identifier (server ID) and base ID), SLA, RSRP values of APs around the UE, SINR values of APs around the UE, and various server performance characteristics.
  • the item inferred by the model may include, for example, a change in the vDU selected by the UE.
  • An example of a reward in reinforcement learning according to this embodiment is the difference between the communication speed (throughput) and the SLA.
  • Another specific example is a reward of "1" when the performance throughput is equal to or greater than the throughput determined by the SLA, and a reward of "0" when the performance throughput is less than the throughput determined by the SLA.
  • FIG. 2 is a flowchart showing an example of the procedure for the communication control method according to this embodiment.
  • the communication control method according to this embodiment will be explained with reference to FIG. 2.
  • Step S1 For each classification of the radio environment around the UE, the model learned by the model learning unit 10 is supplied to the model execution unit 30.
  • an initial model such as a neural network is set in advance in the communication control system 1. In the initial stage of model learning by the model learning unit 10, the initial model is supplied.
  • Step S2 The model execution unit 30 corresponding to each classification of the radio environment around the UE executes its own trained model. As a result, the model execution unit 30 takes action against the target UE and obtains a state and reward from the target UE as a result of that action. The model execution unit 30 uses the state and reward to obtain inference data from its own trained model. For each classification of the radio environment around the UE, the inference data is sent to the storage unit 20.
  • Step S3 For each classification of the radio environment around the UE, the storage unit 20 stores the inference data sent from the model execution unit 30.
  • Step S4 For each classification of the radio environment around the UE, the model learning unit 10 performs model learning (reinforcement learning) using the inference data stored in the storage unit 20.
  • Step S5 If processing is complete, the process in Figure 2 ends. On the other hand, if processing continues, return to step S1.
  • model learning is performed for each classification of the radio environment around the UE, improving the model learning efficiency. Furthermore, inference is performed using the same trained model for each classification of the radio environment around the UE, improving the inference accuracy. This has the effect of improving the model learning efficiency and inference accuracy using trained models in RAN control.
  • FIG. 3 is a block diagram showing an example of the configuration of a communication control system according to the second embodiment.
  • the communication control system 1a further includes a terminal group organization unit 40 in addition to the communication control system 1 in Fig. 1.
  • the terminal group organizing unit 40 organizes UE groups according to the classification of the wireless environment. For example, if the wireless environment around a UE is classified into two categories, "high” and “low,” based on the signal strength of the AP around the UE, the terminal group organizing unit 40 organizes UE group #1, which corresponds to the "high” classification of signal strength of the AP around the UE, and UE group #2, which corresponds to the "low” classification of signal strength of the AP around the UE.
  • the terminal group organizing unit 40 dynamically changes the organization of UE groups in response to changes in the wireless environment around each UE. For example, if the wireless environment around a UE is classified into two categories, "high" and “low,” the signal strength of the AP around the UE, the terminal group organizing unit 40 dynamically changes the organization of UE group #1, which corresponds to the "high” category of signal strength of the AP around the UE, and UE group #2, which corresponds to the "low” category of signal strength of the AP around the UE, in response to changes in the signal strength of the AP around each UE.
  • the UE groups organized by the terminal group organization unit 40 are used to associate UEs with models for each classification of the wireless environment around the UE. For example, if the wireless environment around the UE is classified into two categories, "high” and "low,” the signal strength of the AP around the UE is associated with UE group #1, which corresponds to the "high” classification of the signal strength of the AP around the UE. On the other hand, the learned model (Model #2) of the model learning unit 10 (Learner #2), which corresponds to the "low” classification of the signal strength of the AP around the UE, is associated with UE group #2, which corresponds to the "low” classification of the signal strength of the AP around the UE.
  • Model #2 learned model of the model learning unit 10
  • the composition of the UE group is dynamically changed in response to changes in the radio environment around each UE, making it possible to adapt to changes in the radio environment around the UE, such as when the UE is moving at high speed.
  • Fig. 4 is a block diagram showing an example of the configuration of a communication control system according to the third embodiment.
  • parts corresponding to those in Fig. 1 are given the same reference numerals, and their description will be omitted.
  • the communication control system 1b shown in Fig. 4 is an example of the configuration when the communication control system 1 in Fig. 1 is applied to a radio access network conforming to the O-RAN specifications.
  • the model is learned by a "Non-RT RIC (Non-Real Time RAN Intelligent Controller)" 100 (first control unit), while inference is performed using the learned model by a “Near-RT RIC (Near-Real Time RAN Intelligent Controller)” 200 (second control unit).
  • the model learning unit 10 and storage unit 20 are realized by an application 110 executed by the "Non-RT RIC" 100. Therefore, the model learning unit 10 and storage unit 20 are realized by the "Non-RT RIC" 100 executing the application 110.
  • the model execution unit 30 is realized by an application 210 executed by the "Near-RT RIC" 200. Therefore, the model execution unit 30 is realized by the "Near-RT RIC" 200 executing the application 210.
  • the model execution unit 30 transmits information (actions, states, rewards, etc.) between the UE and the O-RAN base station (O-CU (O-RAN Central Unit) and O-DU (O-RAN Distributed Unit)) 300 (300-1, 300-2).
  • O-CU O-RAN Central Unit
  • O-DU O-RAN Distributed Unit
  • FIG. 5 is a sequence diagram showing an example of the procedure of the communication control method according to this embodiment.
  • the communication control method according to this embodiment will be explained with reference to FIG. 5.
  • the "Non-RT RIC" 100 and the “Near-RT RIC” 200 send and receive messages using the A1 interface.
  • Step S11 The "Non-RT RIC" 100 sends a "Model transfer” message to the "Near-RT RIC" 200.
  • the "Near-RT RIC” 200 receives the "Model transfer” message. Based on the received "Model transfer” message, the "Near-RT RIC” 200 determines the association between each learned model for the classification of the wireless environment around the UE and the UE.
  • the "Model transfer” message is an example of a message that contains information (model association information) for associating each learned model of the classification of the radio environment around the UE with the UE.
  • An example of a "Model transfer” message is shown below.
  • Example 1 of a "Model transfer” message is an example in which the "Non-RT RIC" 100 is provided with a function for associating each learned model of the classification of the radio environment around the UE with the UE.
  • the "Model transfer” message includes information such as a model identifier (Model ID), a model learning unit identifier (Learner ID), model use information indicating the use of the model, and a UE identifier (UE ID) of the UE that uses the model for each "Model ID.”
  • Model ID model identifier
  • Learner ID model learning unit identifier
  • UE ID UE identifier
  • Example 1 of the "Model transfer” message the UE is explicitly associated with each learned model for the classification of the radio environment around the UE.
  • Example 2 of the “Model transfer” message is an example in which the "Near-RT RIC" 200 is provided with a function for associating each learned model of the classification of the radio environment around the UE with the UE.
  • the "Model transfer” message includes information such as a model identifier (Model ID), a model learning unit identifier (Learner ID), model use information indicating the use of the model, and model policy information indicating a model determination policy (model policy) for UEs that use a model for each "Model ID.”
  • An example of the model policy is a model determination policy that determines a model (Model ID) to be associated with a UE based on the RSRP value of APs around the UE.
  • An example of the model policy is a model determination policy that determines a model (Model ID) to be associated with a UE based on the location of the AP to which the UE connects.
  • the "Near-RT RIC" 200 associates each learned model of the classification of the radio environment around the UE with the UE in accordance with the model policy.
  • Step S12 The "Near-RT RIC" 200 sends a "Model transfer response” message to the "Non-RT RIC" 100.
  • the "Non-RT RIC” 100 receives the "Model transfer response” message.
  • the "Non-RT RIC” 100 determines the association between each learned model of the classification of the radio environment around the UE in the "Near-RT RIC" 200 and the UE.
  • An example of a "Model transfer response" message is shown below.
  • Example 1 of a "Model transfer response” message corresponds to a response (Ack) message corresponding to Example 1 of the "Model transfer” message.
  • the "Model transfer response” message has information on the combination of “Model ID” and “UE ID” associated in the "Near-RT RIC" 200.
  • the combination of "Model ID” and “UE ID” included in the “Model transfer response” message is information on the "UE ID” for which inference will be performed or the "UE ID” for which inference has already been performed by the trained model of the "Model ID” in the "Near-RT RIC" 200.
  • Example 2 of the “Model transfer response” message corresponds to a response (Ack) message corresponding to Example 2 of the “Model transfer” message.
  • the "Model transfer response” message includes model policy information used by the "Near-RT RIC" 200 and information on the result of the association of the "Model ID” and the “UE ID” performed by the "Near-RT RIC” 200 in accordance with the model policy.
  • Step S13 The "Non-RT RIC" 100 sends a "Model change transfer” message to the "Near-RT RIC" 200.
  • the "Near-RT RIC” 200 receives the "Model change transfer” message. Based on the received "Model change transfer” message, the "Near-RT RIC” 200 determines changes in the association between the UE and each of the learned models for the classification of the wireless environment around the UE.
  • the "Model change transfer” message is an example of a message that contains information (model association information) for associating each trained model of the classification of the radio environment around the UE with the UE.
  • An example of a "Model change transfer” message is shown below.
  • Example 1 of the “Model change transfer” message corresponds to the change notification message corresponding to Example 1 of the “Model transfer” message.
  • the "Model change transfer” message includes information notifying changes such as a "Model ID,” a “Learner ID,” model use information, and a "UE ID” of a UE that uses a model for each "Model ID.”
  • Example 1 of the "Model change transfer” message explicitly changes the association between the UE and each of the learned models for classifying the radio environment around the UE.
  • Example 2 of the “Model change transfer” message corresponds to the change notification message corresponding to Example 2 of the “Model transfer” message.
  • the "Model change transfer” message includes information notifying the model policy information that has been changed for each "Model ID.”
  • the "Near-RT RIC" 200 associates each learned model of the classification of the radio environment around the UE with the UE in accordance with the modified model policy.
  • Step S14 The "Near-RT RIC" 200 sends a "Model change transfer response" message to the "Non-RT RIC" 100.
  • the "Non-RT RIC” 100 receives the "Model change transfer response” message.
  • the "Non-RT RIC” 100 determines the changes in the association between the UE and each of the learned models for classifying the wireless environment around the UE in the "Near-RT RIC" 200.
  • An example of a "Model change transfer response" message is shown below.
  • the "Model change transfer response” message example 1 corresponds to a response (Ack) message corresponding to the "Model change transfer” message example 1.
  • the "Model transfer response” message includes information on the combination of "Model ID” and “UE ID” whose association has been changed in the "Near-RT RIC" 200.
  • Example 2 of the “Model change transfer response” message corresponds to a response (Ack) message corresponding to Example 2 of the "Model change transfer” message.
  • the "Model transfer response” message includes information on the changed model policy used by the "Near-RT RIC" 200 and information on the result of the association of the "Model ID” and the “UE ID” performed by the "Near-RT RIC" 200 in accordance with the changed model policy.
  • model association information for associating each learned model of the wireless environment classification with a UE can be transmitted from the "Non-RT RIC" 100 to the "Near-RT RIC" 200.
  • FIG. 6 is a block diagram showing an example of the configuration of a communication control system according to the fourth embodiment.
  • parts corresponding to those in Fig. 4 are assigned the same reference numerals, and their description will be omitted.
  • a "Data Pipeline" 220 (not shown in Fig. 4) that processes the learning data used for model learning narrows down the learning data.
  • the learning data include RSRP values (average, total, etc.) of APs around the UE and SINR values (average, total, etc.) of APs around the UE.
  • the "Data Pipeline” 220 is realized by the application 210 executed by the "Near-RT RIC" 200. Therefore, the “Data Pipeline” 220 is realized by the "Near-RT RIC" 200 executing the application 210.
  • FIG. 7 is a block diagram showing an example configuration of the "Data Pipeline” 220 according to this embodiment.
  • the "Data Pipeline” 220 includes a data storage unit 221 and a data control unit 222.
  • the data storage unit 221 stores the inference data d1 acquired from each model execution unit 30 (Actor for UE1-UEk) in association with the "Model ID" of the inferred model.
  • the data storage unit 221 stores all inference data d1 for each model execution unit 30 (Actor for UE1-UEk).
  • the data control unit 222 selects inference data to be used for model training from the inference data stored in the data storage unit 221 according to predetermined data selection conditions for each classification of the wireless environment around the UE (i.e., for each model ("Model ID”)).
  • the A1 interface in this embodiment is an interface that includes messages for transmitting data selection conditions from the "Non-RT RIC" 100 to the "Near-RT RIC" 200.
  • Data selection conditions include, for each model ("Model ID”), whether data collection for re-learning is necessary and the policy for determining whether data collection is necessary.
  • the data selection condition is the data collection priority for each model ("Model ID").
  • the data control unit 222 extracts inference data d2 for re-learning from the data storage unit 221 in accordance with the data collection priority for each model ("Model ID”).
  • the data control unit 222 transmits the extracted inference data d2 for each model ("Model ID") to the "Non-RT RIC" 100 using the A1 interface.
  • Model ID i.e., for each model learning unit 10 (Learner #1-#N)
  • the application 110 further implements a function for determining data collection priority.
  • inference data is not extracted from the data storage unit 221. Therefore, for models with sufficient training data, inference data d2 is not sent to the "Near-RT RIC" 100 using the A1 interface. This reduces the load on the transmission path between the "Near-RT RIC" 200 and the “Non-RT RIC" 100. It also prevents the model training unit 10 from using an excess of training data for model training, improving the learning efficiency of the model training unit 10.
  • FIG. 8 is a block diagram showing an example of the configuration of a communication control system according to the fifth embodiment.
  • the communication control system 1d shown in Fig. 8 acquires information about the radio environment around the UE (UE radio environment information) from a "Y1 Consumer," which is an external node (external node) of the O-RAN, using the Y1 interface. Therefore, the communication control system 1d includes a receiving unit (not shown) that receives the UE radio environment information using the Y1 interface.
  • a model for each classification of the radio environment around the UE is associated with the UE based on the UE radio environment information.
  • the "Non-RT RIC" 100 or the “Near-RT RIC” 200 may associate a model for each classification of the radio environment around the UE with the UE based on the UE radio environment information.
  • the "Non-RT RIC" 100 and the “Near-RT RIC” 200 use a combination of a model and a UE associated based on the UE radio environment information.
  • Examples of UE radio environment information include urban structure data, topographical data, UE-related data, and images (still images and videos) taken by cameras located near the AP.
  • the UE When urban structure data is used, the UE is associated with a model by, for example, classifying the wireless environment by clustering it based on building height data, by clustering it based on satellite image data, by building area ratio, or by building occupancy rate around the UE based on point cloud data.
  • the building occupancy rate around the UE is an indicator of whether the visibility around the UE is good.
  • UEs When using UE-related data, UEs are associated with models by, for example, classification by UE distribution density, classification by AP distribution density, or classification by traffic volume.
  • Model update method example 1 When a deterioration in the inference accuracy of the trained model is detected or predicted, a request may be made to a node outside the O-RAN to acquire the latest data on the radio environment around the UE in order to retrain the model, and the communication control system 1d may acquire the latest UE radio environment information from the node outside the O-RAN and update the model based on the acquired latest UE radio environment information. This enables model updating using the latest data on the radio environment around the UE between the node outside the O-RAN and the communication control system 1d.
  • Model update method example 2 When a node outside the O-RAN detects or predicts that the degree of update of the UE radio environment information will be equal to or greater than a threshold, the node may notify the communication control system 1d of a request for a model update, and when it determines that a model update is necessary, may transmit updated data of the UE radio environment information to the communication control system 1d. This enables a model update that follows the latest data on the radio environment around the UE between the node outside the O-RAN and the communication control system 1d.
  • the radio environment around the UE can be classified in more detail, thereby improving the accuracy of the association between models and UEs.
  • a computer program for implementing the functions of each of the above-described devices may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read and executed by a computer system.
  • computer system may include hardware such as an OS and peripheral devices.
  • computer-readable recording medium refers to writable non-volatile memory such as a flexible disk, optical magnetic disk, ROM, or flash memory, portable media such as a DVD (Digital Versatile Disc), or storage devices such as a hard disk built into a computer system.
  • the term "computer-readable recording medium” also includes a medium that stores a program for a certain period of time, such as a volatile memory (e.g., DRAM (Dynamic Random Access Memory)) within a computer system that serves as a server or client when the program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • the program may also be transmitted from a computer system that stores the program in a storage device or the like to another computer system via a transmission medium or by transmission waves within the transmission medium.
  • the "transmission medium” that transmits the program refers to a medium that has the function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may also be a program for implementing some of the functions described above, or may be a so-called differential file (differential program) that can implement the functions described above in combination with a program already stored in the computer system.
  • the present invention makes it possible to improve the learning efficiency of models and the inference accuracy of trained models in controlling wireless access networks.
  • 1...Communication control system 10...Model learning unit, 20...Storage unit, 30...Model execution unit, 40...Terminal group organization unit, 100...Non-RT RIC, 200...Near-RT RIC, 110, 210...Application, UE...User terminal, 220...Data Pipeline, 221...Data storage unit, 222...Data control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

Ｏ－ＲＡＮ仕様の無線アクセスネットワークにおいて、ユーザ端末の周辺の無線環境の分類の各々に対応して設けられるモデルに対して所定の通信制御項目を推論するための学習を行う第１制御部と、第１制御部によって学習済みのモデルを、学習済みのモデルに対応する無線環境の分類に関連付けられたユーザ端末に対して用いる第２制御部と、を備え、第２制御部は、一の無線環境の分類に対応するモデルによる推論データの中から、所定のデータ選択条件に従って、一の無線環境の分類に対応するモデルの学習に用いられる推論データを選択するデータ制御部を備え、第１制御部は、一の無線環境の分類に対応するモデルに対して、データ制御部によって選択された一の無線環境の分類の推論データを用いて学習を行う。

Description

通信制御システム及び通信制御方法
　本発明は、通信制御システム及び通信制御方法に関する。
　本願は、２０２４年３月１１日に日本に出願された特願２０２４－０３７４５５について優先権を主張し、その内容をここに援用する。
　近年、第５世代移動通信システム（５Ｇ）より以降の「Beyond 5Gシステム」では、例えばスループットや通信遅延時間や端末接続数等の通信性能をより高めることによって、例えばロボット制御やコネクティッドカーやＡＲ（Augmented Reality、拡張現実）やＶＲ（Virtual Reality、仮想現実）等の多種多様なサービスを提供することが検討されている。そのためのキー技術の一つとして、ＡＩ（Artificial Intelligence、人工知能）及びＭＬ（Machine Learning、機械学習）が注目されている。例えば無線アクセスネットワーク（Radio Access Network：ＲＡＮ）においては、有限のネットワークリソースによってネットワーク性能を最大化するために、例えばビームフォーミング制御や無線リソース割当や基地局機能配置等の様々な用途に強化学習を適用することが検討されている。
　また、Ｏ－ＲＡＮ（（Open Radio Access Network）アライアンス（Ｏ－ＲＡＮ Alliance）では、５Ｇ等の次世代の無線アクセスネットワークのオープン化及びインテリジェント化が検討されており、ＡＩ及びＭＬを用いる制御に必要なインターフェースやワークフローなどが検討されている。Ｏ－ＲＡＮには、ＲＡＮを制御するコントローラーであるＲＩＣ（RAN Intelligent controller）が定義されている。ＲＩＣとして、長周期制御を目的とする「Ｎｏｎ－ＲＴ　ＲＩＣ（Non-Real Time RAN Intelligent Controller、非リアルタイムＲＡＮインテリジェントコントローラー）」と、短周期制御を目的とする「Ｎｅａｒ－ＲＴ　ＲＩＣ（Near-Real Time RAN Intelligent Controller、ニアリアルタイムＲＡＮインテリジェントコントローラー）」とがある。
　そして、ＡＩ及びＭＬの機能を有する学習部については潤沢な計算リソースを利用可能な「Non-RT RIC」に配置し、一方、学習済みのモデルを用いて推論を行う推論部については「Near-RT RIC」に配置することで低遅延の推論を実現することが検討されている。例えば非特許文献１には、学習データの加工処理を行う「Data Pipeline」を「Near-RT RIC」に配置することが提案されている。また、非特許文献２には、「Data Pipeline」を介した学習データの収集のために、「Non-RT RIC」と「Near-RT RIC」間のインターフェースであるＡ１インターフェースにおけるプロシージャが提案されている。
　また、例えば非特許文献３には、オンライン学習において、高い学習効率を得るため分散強化学習技術が記載されている。この分散強化学習技術では、分散アーキテクチャによる並列処理として、並列実行により大量の学習データを収集すること、分散された複数の「Actor」が環境との試行錯誤を通じて学習データ（experience）を収集し、これを唯一の「Learner」が学習すること、唯一の「Learner」は学習した唯一のモデルを定期的に各「Actor」に供給して各「Actor」に共通のモデルを更新していくこと、などを特徴としている。
「Discussion on Data Collection for Training in Non-RT RIC」, KDDI, CMCC, O-RAN WG2, July 25 2023 「Study of AI/ML-Related Procedures for RAN Slice SLA Assurance Use Case」, KDDI, CMCC, O-RAN WG2, June 21, 2023 D. Horgan, et al. 「Distributed Prioritized Experience Replay」, ICLR, 2018
　ＲＡＮの制御に分散強化学習技術を適用する場合、オンライン学習の処理負荷を下げるため、例えばニューラルネットワーク等のモデルの小サイズ化や学習データの少量化などが考えられる。しかしながら、大規模なＲＡＮに対しては、モデルサイズや学習データ量を縮小すると、ユーザ端末（User Equipment：ＵＥ）毎に異なり得る多様な無線環境を十分に学習できず、これにより、学習済みモデルの品質が低下し、学習済みモデルによる推論の精度が低下する可能性があった。
　本発明は、このような事情を考慮してなされたものであり、その目的は、無線アクセスネットワーク（ＲＡＮ）の制御においてモデルの学習効率や学習済みモデルによる推論精度の向上を図ることにある。
　本発明の一態様は、Ｏ－ＲＡＮ（Open Radio Access Network）仕様の無線アクセスネットワークにおいて、ユーザ端末の周辺の無線環境の分類の各々に対応して設けられるモデルに対して所定の通信制御項目を推論するための学習を行う第１制御部と、前記第１制御部によって学習済みのモデルを、前記学習済みのモデルに対応する無線環境の分類に関連付けられたユーザ端末に対して用いる第２制御部と、を備え、前記第２制御部は、一の無線環境の分類に対応するモデルによる推論データの中から、所定のデータ選択条件に従って、前記一の無線環境の分類に対応するモデルの学習に用いられる推論データを選択するデータ制御部を備え、前記第１制御部は、前記一の無線環境の分類に対応するモデルに対して、前記データ制御部によって選択された前記一の無線環境の分類の推論データを用いて前記学習を行う、通信制御システムである。
　本発明の一態様は、上記の通信制御システムにおいて、前記第１制御部は、「Ｎｏｎ－ＲＴ　ＲＩＣ（Non-Real Time RAN Intelligent Controller）」を用いて実現され、前記第２制御部は、「Ｎｅａｒ－ＲＴ　ＲＩＣ（Near-Real Time RAN Intelligent Controller）」を用いて実現される、通信制御システムである。
　本発明の一態様は、Ｏ－ＲＡＮ（Open Radio Access Network）仕様の無線アクセスネットワークにおいて、ユーザ端末の周辺の無線環境の分類の各々に対応して設けられるモデルに対して所定の通信制御項目を推論するための学習を行う第１制御部と、前記第１制御部によって学習済みのモデルを、前記学習済みのモデルに対応する無線環境の分類に関連付けられたユーザ端末に対して用いる第２制御部と、を備え、前記第２制御部は、一の無線環境の分類に対応するモデルによる推論データの中から、所定のデータ選択条件に従って、前記一の無線環境の分類に対応するモデルの学習に用いられる推論データを選択し、
　前記第１制御部は、前記一の無線環境の分類に対応するモデルに対して、前記第２制御部によって選択された前記一の無線環境の分類の推論データを用いて前記学習を行う、通信制御方法である。
　本発明によれば、無線アクセスネットワーク（ＲＡＮ）の制御においてモデルの学習効率や学習済みモデルによる推論精度の向上を図ることができるという効果が得られる。
第１実施形態に係る通信制御システムの構成例を示すブロック図である。 第１実施形態に係る通信制御方法の手順の例を示すフローチャートである。 第２実施形態に係る通信制御システムの構成例を示すブロック図である。 第３実施形態に係る通信制御システムの構成例を示すブロック図である。 第３実施形態に係る通信制御方法の手順の例を示すシーケンス図である。 第４実施形態に係る通信制御システムの構成例を示すブロック図である。 第４実施形態に係る「Data Pipeline」の構成例を示すブロック図である。 第５実施形態に係る通信制御システムの構成例を示すブロック図である。
　以下、図面を参照し、本発明の実施形態について説明する。
［第１実施形態］
　図１は、第１実施形態に係る通信制御システムの構成例を示すブロック図である。図１において、通信制御システム１は、複数のモデル学習部１０（Learner＃１－＃Ｎ、Ｎは２以上の整数）と、モデル学習部１０の各々に対応して設けられる格納部２０（Repository＃１－＃Ｎ）と、ユーザ端末（ＵＥ１－ＵＥｋ）の各々に対応して設けられるモデル実行部３０（Actor for UE1－UEk）とを備える。
　ＵＥ１－ＵＥｋは、ＵＥ周辺の無線環境の分類に関連付けられている。ＵＥ周辺の無線環境の分類は、例えば、ＵＥ周辺のＡＰ（アクセスポイント）の信号強度が「高い」又は「低い」である。この場合、ＵＥ周辺のＡＰの信号強度が高いか又は低いかを判定するための信号強度閾値が定められる。ＵＥ１－ＵＥｋのうち、自己の周辺のＡＰの信号強度が信号強度閾値以上であるＵＥは、ＵＥ周辺のＡＰの信号強度が「高い」分類に関連付けられる。一方、ＵＥ１－ＵＥｋのうち、自己の周辺のＡＰの信号強度が信号強度閾値未満であるＵＥは、ＵＥ周辺のＡＰの信号強度が「低い」分類に関連付けられる。これにより、ＵＥ周辺のＡＰの信号強度が「高い」分類に関連付けられたＵＥ群と、ＵＥ周辺のＡＰの信号強度が「低い」分類に関連付けられたＵＥ群とが編成される。
　なお、ＵＥ周辺の無線環境の分類として、例えば、ＵＥ周辺のＡＰのＲＳＲＰ（Reference Signal Received Power、基準信号受信電力）の値（平均、合計など）による分類や、ＵＥ周辺のＡＰのＳＩＮＲ（Signal to Interference Noise power Ratio、信号対干渉雑音電力比）の値（平均、合計など）による分類や、ＵＥの移動速度による分類や、ＵＥが接続しているＡＰの地理的情報による分類などが挙げられる。ＡＰの地理的情報としては、例えば、都市構造や、ＵＥ関連や、ＡＰ付近に在るカメラによる画像（静止画、動画）などが挙げられる。
　都市構造による分類は、例えば、建物高さデータに基づいて無線環境をクラスタリングした分類や、衛星画像データに基づいて無線環境をクラスタリングした分類や、建物の面積率による分類や、点群データに基づいてＵＥ周辺の建物占有率による分類などが挙げられる。ＵＥ周辺の建物占有率は、ＵＥ周辺の見通しがよいかの指標になる。
　ＵＥ関連による分類は、例えば、ＵＥの分布の密度による分類や、ＡＰの分布の密度による分類や、交通量による分類などが挙げられる。
　モデル学習部１０は、ＵＥ周辺の無線環境の分類の各々に対応して設けられる。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）と、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）とが設けられる。
　格納部２０は、モデル学習部１０の各々に対応して設けられる。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応する格納部２０（Repository＃１）と、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応する格納部２０（Repository＃２）とが設けられる。
　モデル学習部１０は、自己に対応する格納部２０を用いてモデルの学習を行う。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）は、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応する格納部２０（Repository＃１）を用いてモデルの学習を行う。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）は、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応する格納部２０（Repository＃２）を用いてモデルの学習を行う。本実施形態では、モデルの学習方法として強化学習を用いる。
　モデル実行部３０（Actor for UE1－UEk）は、ユーザ端末（ＵＥ１－ＵＥｋ）の各々に対応して設けられる。一のモデル学習部１０によって学習済みのモデルは、当該一のモデル学習部１０に対応する無線環境の分類に関連付けられたユーザ端末に対応するモデル実行部３０に供給される。
　例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）によって学習済みのモデル（Model＃１）は、ＵＥ周辺のＡＰの信号強度「高い」の分類に関連付けられたＵＥ１及びＵＥｋに各々対応するモデル実行部３０（Actor for UE1、Actor for UEk）に供給される。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）によって学習済みのモデル（Model＃２）は、ＵＥ周辺のＡＰの信号強度「低い」の分類に関連付けられたＵＥ２に対応するモデル実行部３０（Actor for UE2）に供給される。
　モデル実行部３０は、モデル学習部１０によって学習済みのモデル（学習済みモデル）を実行する。一のモデル実行部３０は、学習済みモデルを実行することによって、当該一のモデル実行部３０に対応するＵＥ（対象ＵＥ）に対して行動（Action）を起こし、その行動の結果として状態（States）及び報酬（Reward）を対象ＵＥから得る。
　例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル実行部３０（Actor for UE1、Actor for UEk）は、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）の学習済みモデル（Model＃１）を実行することによって、対象ＵＥ（UE1、UEk）に対して行動を起こし、その行動の結果として状態及び報酬を対象ＵＥ（UE1、UEk）から得る。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル実行部３０（Actor for UE2）は、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）の学習済みモデル（Model＃２）を実行することによって、対象ＵＥ（UE2）に対して行動を起こし、その行動の結果として状態及び報酬を対象ＵＥ（UE2）から得る。
　モデル実行部３０において、学習済みモデルは、対象ＵＥに対して起こした行動によって得られた結果の状態及び報酬に基づいて推論を行う。一のモデル実行部３０の学習済みモデルによる推論の結果を示す推論データ（Experience）は、当該一のモデル実行部３０に対応する格納部２０に格納される。
　例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル実行部３０（Actor for UE1、Actor for UEk）の学習済みモデル（Model＃１）による推論の結果を示す推論データ（Experience）は、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応する格納部２０（Repository＃１）に格納される。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル実行部３０（Actor for UE2）の学習済みモデル（Model＃２）による推論の結果を示す推論データ（Experience）は、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応する格納部２０（Repository＃２）に格納される。
　一のモデル学習部１０は、当該一のモデル学習部１０に対応する無線環境の分類の推論データを用いて、所定の通信制御項目を推論するモデルの学習（強化学習）を行う。
　例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）は、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応する格納部２０（Repository＃１）に格納された推論データ（Experience）を用いて、所定の通信制御項目を推論するモデルの学習を行う。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）は、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応する格納部２０（Repository＃２）に格納された推論データ（Experience）を用いて、所定の通信制御項目を推論するモデルの学習を行う。
　本実施形態に係る通信制御項目として、例えば、ＵＥ周辺のＡＰ（アクセスポイント）のクラスタ（ＡＰクラスタ）が挙げられる。通信制御項目「ＡＰクラスタ」の場合、モデルが用いる状態として、例えば、現在のＡＰクラスタや、ＳＬＡ（Service Level Agreement、サービス品質保証）や、ＵＥ周辺のＡＰのＲＳＲＰの値や、ＵＥ周辺のＡＰのＳＩＮＲの値などが挙げられる。通信制御項目「ＡＰクラスタ」の場合、モデルが推論する事項（どのような行動を起こしたらよいか）として、例えば、ＳＬＡが不十分であるときに起こすべき行動やＳＬＡが過剰であるときに起こすべき行動などが挙げられる。例えば、ＳＬＡが不十分であるときにはＡＰクラスタに属するＡＰの数を増やす、一方、ＳＬＡが過剰であるときにはＡＰクラスタに属するＡＰの数を減らす、ことが挙げられる。
　本実施形態に係る通信制御項目として、例えば、干渉抑制に用いるＡＰの選択が挙げられる。通信制御項目「干渉抑制に用いるＡＰの選択」の場合、モデルが用いる状態として、例えば、現在のＡＰクラスタや、干渉抑制に用いるＡＰのリスト、ＳＬＡや、ＵＥ周辺のＡＰのＲＳＲＰの値や、ＵＥ周辺のＡＰのＳＩＮＲの値などが挙げられる。通信制御項目「干渉抑制に用いるＡＰの選択」の場合、モデルが推論する事項（どのような行動を起こしたらよいか）として、例えば、ＳＬＡが不十分であるときに起こすべき行動やＳＬＡが過剰であるときに起こすべき行動などが挙げられる。例えば、ＳＬＡが不十分であるときには干渉抑制に用いるＡＰの数を増やす、一方、ＳＬＡが過剰であるときには干渉抑制に用いるＡＰの数を減らす、ことが挙げられる。
　本実施形態に係る通信制御項目として、例えば、ｖＤＵ（virtual Distributed Unit）の配置が挙げられる。通信制御項目「ｖＤＵの配置」の場合、モデルが用いる状態として、例えば、現在のｖＤＵの仮想基盤上の配置（サーバの識別子（サーバＩＤ）や拠点ＩＤ）や、ＳＬＡや、ＵＥ周辺のＡＰのＲＳＲＰの値や、ＵＥ周辺のＡＰのＳＩＮＲの値や、サーバの各種性能などが挙げられる。通信制御項目「ｖＤＵの配置」の場合、モデルが推論する事項（どのような行動を起こしたらよいか）として、例えば、ＵＥが選択するｖＤＵの変更が挙げられる。
　本実施形態に係る強化学習における報酬として、例えば、通信速度（スループット）とＳＬＡとの差分が挙げられる。具体例として、「報酬＝（性能上のスループット）－（ＳＬＡで決められたスループット）」が挙げられる。他の具体例として、性能上のスループットがＳＬＡで決められたスループット以上である場合に報酬「１」とし、性能上のスループットがＳＬＡで決められたスループット未満である場合に報酬「０」とすることが挙げられる。
　図２は、本実施形態に係る通信制御方法の手順の例を示すフローチャートである。図２を参照して本実施形態に係る通信制御方法を説明する。
（ステップＳ１）　ＵＥ周辺の無線環境の分類毎に、モデル学習部１０による学習済みモデルをモデル実行部３０へ供給する。なお、ニューラルネットワーク等の初期モデルは、予め、通信制御システム１に設定される。モデル学習部１０によるモデルの学習の初期段階では、初期モデルが供給される。
（ステップＳ２）　ＵＥ周辺の無線環境の分類の各々に対応するモデル実行部３０は、自己の学習済みモデルを実行する。これにより、モデル実行部３０は、対象ＵＥに対して行動を起こし、その行動の結果として状態及び報酬を対象ＵＥから得る。モデル実行部３０は、その状態及び報酬を用いて自己の学習済みモデルから推論データを得る。ＵＥ周辺の無線環境の分類毎に、推論データは格納部２０へ送信される。
（ステップＳ３）　ＵＥ周辺の無線環境の分類毎に、格納部２０は、モデル実行部３０から送信された推論データを格納する。
（ステップＳ４）　ＵＥ周辺の無線環境の分類毎に、モデル学習部１０は、格納部２０に格納された推論データを用いてモデルの学習（強化学習）を行う。
（ステップＳ５）　処理終了の場合は図２の処理を終了する。一方、処理継続の場合はステップＳ１に戻る。
　本実施形態によれば、ＵＥ周辺の無線環境の分類毎にモデルの学習が行われるので、モデルの学習効率が向上する。また、ＵＥ周辺の無線環境の分類毎に同じ学習済みモデルを用いて推論されるので、推論精度が向上する。これにより、ＲＡＮの制御においてモデルの学習効率や学習済みモデルによる推論精度の向上を図る効果が得られる。
［第２実施形態］
　図３は、第２実施形態に係る通信制御システムの構成例を示すブロック図である。図３において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。図３において通信制御システム１ａは、図１の通信制御システム１に対してさらに端末群編成部４０を備える。
　端末群編成部４０は、無線環境の分類毎にＵＥ群を編成する。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、端末群編成部４０は、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するＵＥ群＃１と、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するＵＥ群＃２とを編成する。
　端末群編成部４０は、各ＵＥの周辺の無線環境の変化に応じて動的にＵＥ群の編成を変更する。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、端末群編成部４０は、各ＵＥの周辺のＡＰの信号強度の変化に応じて、動的に、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するＵＥ群＃１及びＵＥ周辺のＡＰの信号強度「低い」の分類に対応するＵＥ群＃２の編成を変更する。
　端末群編成部４０によって編成されたＵＥ群は、ＵＥ周辺の無線環境の分類毎のモデルと、ＵＥとの関連付けに用いられる。例えば、ＵＥ周辺の無線環境の分類がＵＥ周辺のＡＰの信号強度「高い」、「低い」の２つの分類である場合、ＵＥ周辺のＡＰの信号強度「高い」の分類に対応するＵＥ群＃１に対してＵＥ周辺のＡＰの信号強度「高い」の分類に対応するモデル学習部１０（Learner＃１）の学習済みモデル（Model＃１）が関連付けされる。一方、ＵＥ周辺のＡＰの信号強度「低い」の分類に対応するＵＥ群＃２に対してＵＥ周辺のＡＰの信号強度「低い」の分類に対応するモデル学習部１０（Learner＃２）の学習済みモデル（Model＃２）が関連付けされる。
　本実施形態によれば、各ＵＥの周辺の無線環境の変化に応じて動的にＵＥ群の編成が変更されるので、ＵＥが高速で移動している場合など、ＵＥ周辺の無線環境が変化するときにも適応可能である。
［第３実施形態］
　図４は、第３実施形態に係る通信制御システムの構成例を示すブロック図である。図４において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。図４に示される通信制御システム１ｂは、図１の通信制御システム１を、Ｏ－ＲＡＮ仕様の無線アクセスネットワークに適用する場合の構成例である。
　本実施形態では、「Ｎｏｎ－ＲＴ　ＲＩＣ（Non-Real Time RAN Intelligent Controller、非リアルタイムＲＡＮインテリジェントコントローラー）」１００（第１制御部）によってモデルの学習を行う、一方、「Ｎｅａｒ－ＲＴ　ＲＩＣ（Near-Real Time RAN Intelligent Controller、ニアリアルタイムＲＡＮインテリジェントコントローラー）」２００（第２制御部）によって学習済みモデルによる推論を行う。
　図４の通信制御システム１ｂにおいて、モデル学習部１０及び格納部２０は、「Non-RT RIC」１００で実行されるアプリケーション１１０によって実現される。したがって、「Non-RT RIC」１００がアプリケーション１１０を実行することによって、モデル学習部１０及び格納部２０が実現される。
　図４の通信制御システム１ｂにおいて、モデル実行部３０は、「Near-RT RIC」２００で実行されるアプリケーション２１０によって実現される。したがって、「Near-RT RIC」２００がアプリケーション２１０を実行することによって、モデル実行部３０が実現される。
　「Non-RT RIC」１００と「Near-RT RIC」２００とは、Ａ１インターフェースを用いて情報の伝達を行う。
　モデル実行部３０は、Ｏ－ＲＡＮの基地局（Ｏ－ＣＵ（O-RAN Central Unit）及びＯ－ＤＵ（O-RAN Distributed Unit））３００（３００－１，３００－２）を介して、ＵＥとの間で情報（行動（Action）、状態（States）、報酬（Reward）等）の伝達を行う。
　図５は、本実施形態に係る通信制御方法の手順の例を示すシーケンス図である。図５を参照して本実施形態に係る通信制御方法を説明する。図５において、「Non-RT RIC」１００と「Near-RT RIC」２００とは、Ａ１インターフェースを用いてメッセージを送受する。
（ステップＳ１１）　「Non-RT RIC」１００は、「Model transfer」メッセージを「Near-RT RIC」２００へ送信する。「Near-RT RIC」２００は、当該「Model transfer」メッセージを受信する。「Near-RT RIC」２００は、受信した「Model transfer」メッセージに基づいて、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとの関連付けを把握する。
　「Model transfer」メッセージは、ＵＥ周辺の無線環境の分類の各々の学習済みモデルをＵＥに関連付けるための情報（モデル関連付け情報）を有するメッセージの一例である。「Model transfer」メッセージの例を以下に示す。
（「Model transfer」メッセージの例１）
　「Model transfer」メッセージの例１は、ＵＥ周辺の無線環境の分類の各々の学習済みモデルをＵＥに関連付ける機能が「Non-RT RIC」１００に設けられる場合の例である。「Model transfer」メッセージは、モデル識別子（Model ID）、モデル学習部識別子（Learner ID）、モデルの用途を示すモデル用途情報、「Model ID」毎にモデルを利用するＵＥのＵＥ識別子（UE ID）などの情報を有する。
　「Model transfer」メッセージの例１によれば、明示的に、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとが関連付けられる。
（「Model transfer」メッセージの例２）
　「Model transfer」メッセージの例２は、ＵＥ周辺の無線環境の分類の各々の学習済みモデルをＵＥに関連付ける機能が「Near-RT RIC」２００に設けられる場合の例である。「Model transfer」メッセージは、モデル識別子（Model ID）、モデル学習部識別子（Learner ID）、モデルの用途を示すモデル用途情報、「Model ID」毎にモデルを利用するＵＥに対するモデル決定上の方針（モデルポリシー）を示すモデルポリシー情報などの情報を有する。モデルポリシーとして、例えば、ＵＥの周辺のＡＰのＲＳＲＰの値に基づいて当該ＵＥに関連付けるモデル（Model ID）を決定するという、モデル決定上の方針が挙げられる。モデルポリシーとして、例えば、ＵＥが接続するＡＰの位置に基づいて当該ＵＥに関連付けるモデル（Model ID）を決定するという、モデル決定上の方針が挙げられる。
　「Model transfer」メッセージの例２によれば、「Near-RT RIC」２００が、モデルポリシーに従って、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとを関連付ける。
（ステップＳ１２）　「Near-RT RIC」２００は、「Model transfer response」メッセージを「Non-RT RIC」１００へ送信する。「Non-RT RIC」１００は、当該「Model transfer response」メッセージを受信する。「Non-RT RIC」１００は、受信した「Model transfer response」メッセージに基づいて、「Near-RT RIC」２００におけるＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとの関連付けを把握する。「Model transfer response」メッセージの例を以下に示す。
（「Model transfer response」メッセージの例１）
　「Model transfer response」メッセージの例１は、「Model transfer」メッセージの例１に対応する応答（Ack）メッセージに相当する。「Model transfer response」メッセージは、「Near-RT RIC」２００において関連付けられた「Model ID」と「UE ID」の組合せの情報を有する。「Model transfer response」メッセージが有する「Model ID」と「UE ID」の組合せは、「Near-RT RIC」２００において「Model ID」の学習済みモデルによって、推論が行われる「UE ID」又は既に推論が行われた「UE ID」の情報である。
（「Model transfer response」メッセージの例２）
　「Model transfer response」メッセージの例２は、「Model transfer」メッセージの例２に対応する応答（Ack）メッセージに相当する。「Model transfer response」メッセージは、「Near-RT RIC」２００が利用したモデルポリシー情報と、「Near-RT RIC」２００がモデルポリシーに従って行った「Model ID」と「UE ID」の関連付けの結果の情報とを有する。
（ステップＳ１３）　「Non-RT RIC」１００は、「Model change transfer」メッセージを「Near-RT RIC」２００へ送信する。「Near-RT RIC」２００は、当該「Model change transfer」メッセージを受信する。「Near-RT RIC」２００は、受信した「Model change transfer」メッセージに基づいて、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとの関連付けの変更を把握する。
　「Model change transfer」メッセージは、ＵＥ周辺の無線環境の分類の各々の学習済みモデルをＵＥに関連付けるための情報（モデル関連付け情報）を有するメッセージの一例である。「Model change transfer」メッセージの例を以下に示す。
（「Model change transfer」メッセージの例１）
　「Model change transfer」メッセージの例１は、「Model transfer」メッセージの例１に対応する変更通知メッセージに相当する。「Model change transfer」メッセージは、「Model ID」、「Learner ID」、モデル用途情報、「Model ID」毎にモデルを利用するＵＥの「UE ID」などの変更を通知する情報を有する。
　「Model change transfer」メッセージの例１によれば、明示的に、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとの関連付けが変更される。
（「Model change transfer」メッセージの例２）
　「Model change transfer」メッセージの例２は、「Model transfer」メッセージの例２に対応する変更通知メッセージに相当する。「Model change transfer」メッセージは、「Model ID」毎に変更されたモデルポリシー情報を通知する情報を有する。
　「Model transfer」メッセージの例２によれば、「Near-RT RIC」２００が、変更されたモデルポリシーに従って、ＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとを関連付ける。
（ステップＳ１４）　「Near-RT RIC」２００は、「Model change transfer response」メッセージを「Non-RT RIC」１００へ送信する。「Non-RT RIC」１００は、当該「Model change transfer response」メッセージを受信する。「Non-RT RIC」１００は、受信した「Model change transfer response」メッセージに基づいて、「Near-RT RIC」２００におけるＵＥ周辺の無線環境の分類の各々の学習済みモデルとＵＥとの関連付けの変更を把握する。「Model change transfer response」メッセージの例を以下に示す。
（「Model change transfer response」メッセージの例１）
　「Model change transfer response」メッセージの例１は、「Model change transfer」メッセージの例１に対応する応答（Ack）メッセージに相当する。「Model transfer response」メッセージは、「Near-RT RIC」２００において関連付けが変更された「Model ID」と「UE ID」の組合せの情報を有する。
（「Model change transfer response」メッセージの例２）
　「Model change transfer response」メッセージの例２は、「Model change transfer」メッセージの例２に対応する応答（Ack）メッセージに相当する。「Model transfer response」メッセージは、「Near-RT RIC」２００が利用した変更されたモデルポリシー情報と、「Near-RT RIC」２００が変更されたモデルポリシーに従って行った「Model ID」と「UE ID」の関連付けの結果の情報とを有する。
　本実施形態によれば、「Non-RT RIC」１００と「Near-RT RIC」２００を利用し、「Non-RT RIC」１００でモデルの学習を行い、「Near-RT RIC」２００で学習済みモデルによる推論を行う場合に、無線環境の分類の各々の学習済みモデルをＵＥに関連付けるためのモデル関連付け情報を、「Non-RT RIC」１００から「Near-RT RIC」２００へ伝達することができる。
［第４実施形態］
　図６は、第４実施形態に係る通信制御システムの構成例を示すブロック図である。図６において図４の各部に対応する部分には同一の符号を付け、その説明を省略する。図６に示される通信制御システム１ｃでは、モデルの学習に使用される学習データの加工処理を行う「Data Pipeline」２２０（図４には図示せず）が学習データの絞り込みを行う。学習データとして、例えば、ＵＥ周辺のＡＰのＲＳＲＰの値（平均、合計など）や、ＵＥ周辺のＡＰのＳＩＮＲの値（平均、合計など）などが挙げられる。
　図６の通信制御システム１ｃにおいて、「Data Pipeline」２２０は、「Near-RT RIC」２００で実行されるアプリケーション２１０によって実現される。したがって、「Near-RT RIC」２００がアプリケーション２１０を実行することによって、「Data Pipeline」２２０が実現される。
　図７は、本実施形態に係る「Data Pipeline」２２０の構成例を示すブロック図である。図７において、「Data Pipeline」２２０は、データ記憶部２２１とデータ制御部２２２とを備える。
　データ記憶部２２１は、各モデル実行部３０（Actor for UE1－UEk）から取得した推論データｄ１を、推論したモデルの「Model ID」に関連付けて格納する。データ記憶部２２１には、各モデル実行部３０（Actor for UE1－UEk）の全ての推論データｄ１が格納される。
　データ制御部２２２は、ＵＥ周辺の無線環境の分類毎に（つまり、モデル（「Model ID」）毎に）、データ記憶部２２１に格納された推論データの中から、所定のデータ選択条件に従ってモデルの学習に用いられる推論データを選択する。
　データ選択条件は、Ａ１インターフェースを用いて「Non-RT RIC」１００から「Near-RT RIC」２００へ伝達される。したがって、本実施形態に係るＡ１インターフェースは、「Non-RT RIC」１００から「Near-RT RIC」２００へデータ選択条件を伝達するためのメッセージを含むインターフェースである。
　データ選択条件は、モデル（「Model ID」）毎に、再学習のためのデータ収集の要否や、データ収集の要否の判断ポリシーなどである。
　例えば、データ選択条件は、モデル（「Model ID」）毎に、データ収集優先度である。データ制御部２２２は、モデル（「Model ID」）毎に、データ収集優先度に従って、データ記憶部２２１から、再学習のための推論データｄ２を抽出する。データ制御部２２２は、モデル（「Model ID」）毎に、抽出した推論データｄ２を、Ａ１インターフェースを用いて「Non-RT RIC」１００へ送信する。
　データ収集優先度は、モデル（「Model ID」）毎に（つまり、モデル学習部１０（Learner＃１－＃Ｎ）毎に）、再学習のためのデータの必要性が判断されて決定される。したがって、本実施形態に係るアプリケーション１１０は、データ収集優先度を決定する機能をさらに実現する。
　データ収集優先度として、例えば、学習データが不足しているモデルについては、データ記憶部２２１から、当該モデル（「Model ID」）に関連付けられた全ＵＥの全推論データを抽出する。したがって、学習データが不足しているモデルについては、データ記憶部２２１において当該モデル（「Model ID」）に関連付けられた全ＵＥの全推論データが推論データｄ２として、Ａ１インターフェースを用いて「Non-RT RIC」１００へ送信される。
　一方、学習データが十分あるモデルについては、データ記憶部２２１から推論データを抽出しない。したがって、学習データが十分あるモデルについては、推論データｄ２がＡ１インターフェースを用いて「Non-RT RIC」１００へ送信されない。これにより、「Near-RT RIC」２００と「Non-RT RIC」１００間の伝送路の負荷を軽減することができる。また、モデル学習部１０がモデルの学習に用いる学習データが過剰になることを防ぎ、モデル学習部１０における学習効率を向上させることができる。
　本実施形態によれば、「Non-RT RIC」１００と「Near-RT RIC」２００を利用し、「Non-RT RIC」１００でモデルの学習を行い、「Near-RT RIC」２００で学習済みモデルによる推論を行う場合に、「Near-RT RIC」２００と「Non-RT RIC」１００間の伝送路の負荷を軽減したり、モデル学習部１０における学習効率を向上させたりすることができる。
［第５実施形態］
　図８は、第５実施形態に係る通信制御システムの構成例を示すブロック図である。図８において図４の各部に対応する部分には同一の符号を付け、その説明を省略する。図８に示される通信制御システム１ｄは、Ｏ－ＲＡＮの外部のノード（外部Node）である「Y1 Consumer」から、Ｙ１インターフェースを用いて、ＵＥ周辺の無線環境に関する情報（ＵＥ無線環境情報）を取得する。したがって、通信制御システム１ｄは、Ｙ１インターフェースを用いてＵＥ無線環境情報を受信する受信部（図示せず）を備える。
　本実施形態では、ＵＥ無線環境情報に基づいて、ＵＥ周辺の無線環境の分類毎のモデルとＵＥとの関連付けが行われる。例えば、「Non-RT RIC」１００又は「Near-RT RIC」２００が、ＵＥ無線環境情報に基づいて、ＵＥ周辺の無線環境の分類毎のモデルとＵＥとの関連付けを行ってもよい。「Non-RT RIC」１００及び「Near-RT RIC」２００は、ＵＥ無線環境情報に基づいて関連付けられたモデルとＵＥの組合せを用いる。
　ＵＥ無線環境情報として、例えば、都市構造データや、地形データや、ＵＥ関連データや、ＡＰ付近に在るカメラによる画像（静止画、動画）などが挙げられる。
　都市構造データを用いる場合、例えば、建物高さデータに基づいて無線環境をクラスタリングした分類や、衛星画像データに基づいて無線環境をクラスタリングした分類や、建物の面積率による分類や、点群データに基づいてＵＥ周辺の建物占有率による分類などでＵＥをモデルに関連付ける。ＵＥ周辺の建物占有率は、ＵＥ周辺の見通しがよいかの指標になる。
　ＵＥ関連データを用いる場合、例えば、ＵＥの分布の密度による分類や、ＡＰの分布の密度による分類や、交通量による分類などでＵＥをモデルに関連付ける。
　本実施形態に係るモデル更新方法の例を以下に示す。
（モデル更新方法の例１）
　学習済みモデルの推論精度の悪化を検知または予想した場合、モデルの再学習のために、Ｏ－ＲＡＮの外部のノードに対してＵＥ周辺の無線環境に関する最新のデータ取得をリクエストし、通信制御システム１ｄがＯ－ＲＡＮの外部のノードから最新のＵＥ無線環境情報を取得し、取得した最新のＵＥ無線環境情報に基づいてモデルの更新を行ってもよい。これにより、Ｏ－ＲＡＮの外部のノードと通信制御システム１ｄとの間において、ＵＥ周辺の無線環境に関する最新のデータを用いたモデル更新が可能となる。
（モデル更新方法の例２）
　Ｏ－ＲＡＮの外部のノードにおいて、ＵＥ無線環境情報の更新の度合いが閾値以上となることを検知または予想した場合、モデルの更新のリクエストを通信制御システム１ｄに対して通知し、モデルの更新が必要と判断されたときは、ＵＥ無線環境情報の更新データを通信制御システム１ｄに送信してもよい。これにより、Ｏ－ＲＡＮの外部のノードと通信制御システム１ｄとの間において、ＵＥ周辺の無線環境に関する最新のデータに追従したモデル更新が可能となる。
　本実施形態によれば、Ｏ－ＲＡＮの外部のノードから取得したＵＥ無線環境情報を用いることによって、ＵＥ周辺の無線環境をより詳細に分類することができるので、モデルとＵＥの関連付けの精度を向上させる効果が得られる。
　上述した各実施形態によれば、ＲＡＮの制御においてモデルの学習効率や学習済みモデルによる推論精度の向上を図る効果が得られる。なお、上述した各実施形態は適宜組み合わせてもよい。
　なお、これにより、例えば無線ネットワークにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　本発明によれば、無線アクセスネットワークの制御においてモデルの学習効率や学習済みモデルによる推論精度の向上を図ることができる。
１…通信制御システム、１０…モデル学習部、２０…格納部、３０…モデル実行部、４０…端末群編成部、１００…Non-RT RIC、２００…Near-RT RIC、１１０，２１０…アプリケーション、ＵＥ…ユーザ端末、２２０…Data Pipeline、２２１…データ記憶部、２２２…データ制御部

Claims (3)

  1. 　Ｏ－ＲＡＮ（Open Radio Access Network）仕様の無線アクセスネットワークにおいて、
    　ユーザ端末の周辺の無線環境の分類の各々に対応して設けられるモデルに対して所定の通信制御項目を推論するための学習を行う第１制御部と、
    　前記第１制御部によって学習済みのモデルを、前記学習済みのモデルに対応する無線環境の分類に関連付けられたユーザ端末に対して用いる第２制御部と、を備え、
    　前記第２制御部は、一の無線環境の分類に対応するモデルによる推論データの中から、所定のデータ選択条件に従って、前記一の無線環境の分類に対応するモデルの学習に用いられる推論データを選択するデータ制御部を備え、
    　前記第１制御部は、前記一の無線環境の分類に対応するモデルに対して、前記データ制御部によって選択された前記一の無線環境の分類の推論データを用いて前記学習を行う、
    　通信制御システム。
  2. 　前記第１制御部は、「Ｎｏｎ－ＲＴ　ＲＩＣ（Non-Real Time RAN Intelligent Controller）」を用いて実現され、
    　前記第２制御部は、「Ｎｅａｒ－ＲＴ　ＲＩＣ（Near-Real Time RAN Intelligent Controller）」を用いて実現される、
    　請求項１に記載の通信制御システム。
  3. 　Ｏ－ＲＡＮ（Open Radio Access Network）仕様の無線アクセスネットワークにおいて、
    　ユーザ端末の周辺の無線環境の分類の各々に対応して設けられるモデルに対して所定の通信制御項目を推論するための学習を行う第１制御部と、
    　前記第１制御部によって学習済みのモデルを、前記学習済みのモデルに対応する無線環境の分類に関連付けられたユーザ端末に対して用いる第２制御部と、を備え、
    　前記第２制御部は、一の無線環境の分類に対応するモデルによる推論データの中から、所定のデータ選択条件に従って、前記一の無線環境の分類に対応するモデルの学習に用いられる推論データを選択し、
    　前記第１制御部は、前記一の無線環境の分類に対応するモデルに対して、前記第２制御部によって選択された前記一の無線環境の分類の推論データを用いて前記学習を行う、
    　通信制御方法。
PCT/JP2024/040320 2024-03-11 2024-11-13 通信制御システム及び通信制御方法 Pending WO2025191925A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024037455A JP2025138393A (ja) 2024-03-11 2024-03-11 通信制御システム及び通信制御方法
JP2024-037455 2024-03-11

Publications (1)

Publication Number Publication Date
WO2025191925A1 true WO2025191925A1 (ja) 2025-09-18

Family

ID=97063495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/040320 Pending WO2025191925A1 (ja) 2024-03-11 2024-11-13 通信制御システム及び通信制御方法

Country Status (2)

Country Link
JP (1) JP2025138393A (ja)
WO (1) WO2025191925A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220116799A1 (en) * 2020-03-20 2022-04-14 Samsung Electronics Co., Ltd. Method and device for o-ran-based performance optimization and configuration
WO2024038554A1 (ja) * 2022-08-18 2024-02-22 日本電気株式会社 制御システム、制御装置、制御方法、及び非一時的なコンピュータ可読媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220116799A1 (en) * 2020-03-20 2022-04-14 Samsung Electronics Co., Ltd. Method and device for o-ran-based performance optimization and configuration
WO2024038554A1 (ja) * 2022-08-18 2024-02-22 日本電気株式会社 制御システム、制御装置、制御方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP2025138393A (ja) 2025-09-25

Similar Documents

Publication Publication Date Title
CN113254197B (zh) 一种基于深度强化学习的网络资源调度方法及系统
Wang et al. Intelligent cognitive radio in 5G: AI-based hierarchical cognitive cellular networks
Huang et al. Scalable orchestration of service function chains in NFV-enabled networks: A federated reinforcement learning approach
Hou et al. Hierarchical task offloading for vehicular fog computing based on multi-agent deep reinforcement learning
Majidi et al. HFDRL: An intelligent dynamic cooperate cashing method based on hierarchical federated deep reinforcement learning in edge-enabled IoT
CN116095720A (zh) 基于深度强化学习的网络业务接入和切片资源配置方法
Sun et al. A resource allocation scheme for edge computing network in smart city based on attention mechanism
CN112672402B (zh) 超密集异构无线网络中基于网络推荐的接入选择方法
WO2022224536A1 (ja) 基地局機能配置制御装置、基地局機能配置制御方法及びコンピュータプログラム
Wu et al. Dynamic handoff policy for RAN slicing by exploiting deep reinforcement learning
CN113396573B (zh) 计算服务的迁移
JP7617804B2 (ja) 基地局機能配置制御装置、基地局機能配置制御方法及びコンピュータプログラム
WO2025191925A1 (ja) 通信制御システム及び通信制御方法
WO2025191924A1 (ja) 通信制御システム及び通信制御方法
WO2025191929A1 (ja) 通信制御システム及び通信制御方法
WO2025191927A1 (ja) 通信制御システム及び通信制御方法
JP7625106B2 (ja) 基地局機能配置制御装置、基地局機能配置制御方法及びコンピュータプログラム
CN118283625A (zh) 一种基于改进多智能体强化学习的接入网切片资源分配方法
CN120513649A (zh) 用于在无线通信系统中发送和接收能力信息的方法和设备
AlQerm et al. I-HARF: Intelligent and hierarchical framework for adaptive resource facilitation in edge-IoT systems
US12144061B2 (en) Clustering of user entities in a cellular network
CN116418677A (zh) 一种数据处理方法及系统、设备、存储介质
WO2023217363A1 (en) Distributed learning processes
Sreenivasulu et al. Deep learning based efficient channel allocation algorithm for next generation cellular networks
JP7617805B2 (ja) 基地局機能配置制御装置、基地局機能配置制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24929491

Country of ref document: EP

Kind code of ref document: A1