WO2023179604A1 - 信息处理方法、装置、相关设备及存储介质 - Google Patents

信息处理方法、装置、相关设备及存储介质 Download PDF

Info

Publication number
WO2023179604A1
WO2023179604A1 PCT/CN2023/082765 CN2023082765W WO2023179604A1 WO 2023179604 A1 WO2023179604 A1 WO 2023179604A1 CN 2023082765 W CN2023082765 W CN 2023082765W WO 2023179604 A1 WO2023179604 A1 WO 2023179604A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
network element
model
message
network
Prior art date
Application number
PCT/CN2023/082765
Other languages
English (en)
French (fr)
Inventor
刘乐
李爱华
陈超
史嫄嫄
Original Assignee
中国移动通信有限公司研究院
中国移动通信集团有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国移动通信有限公司研究院, 中国移动通信集团有限公司 filed Critical 中国移动通信有限公司研究院
Publication of WO2023179604A1 publication Critical patent/WO2023179604A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Definitions

  • the present disclosure relates to the field of wireless communications, and in particular, to an information processing method, device, related equipment and storage medium.
  • 5G fifth generation mobile communication technology
  • 5G fifth generation mobile communication technology
  • NWDAF Network Data Analytics Function
  • embodiments of the present disclosure provide an information processing method, device, related equipment and storage medium.
  • the embodiment of the present disclosure provides an information processing method, applied to the first network element, including:
  • the first information includes network data after the second information is consumed;
  • the second information includes the analysis results provided by the first network element through the model;
  • Third information is determined based on the first information and/or the second information; the third information includes performance of the model.
  • the first information includes network data after the second information is consumed by the second network element; the obtaining the first information includes:
  • the first information is obtained from the second network element through a network function (NF) with a data collection function.
  • NF network function
  • obtaining the first information directly from the second network element includes:
  • obtaining the first information from the second network element through the NF with the data collection function includes:
  • determining the third information based on the first information and/or the second information includes at least one of the following:
  • the third information is determined by calculating the first information and/or the second information.
  • the first information includes network data after the second information is consumed by the second network element; the first information also includes fourth information, and the fourth information includes the second information consumed by the second network element. The result of the second information;
  • the network data after the second information is consumed by the second network element includes at least one of the following:
  • the third information includes at least one of the following:
  • the method also includes:
  • fifth information is sent to a third network element, and the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to Train the model.
  • sending the fifth information to the third network element includes:
  • the fifth information is sent to the third network element through the NF with the data collection function.
  • the method also includes:
  • Sixth information is obtained from the third network element, and the sixth information enables the first network element to obtain a retrained model.
  • the sixth information includes one of the following:
  • obtaining the sixth information from the third network element includes:
  • the sixth information is obtained from the third network element through the NF with the data collection function.
  • the fifth information includes the first information and/or the third information; the first information and/or the third information are used for the third network element to retrain the Model.
  • Embodiments of the present disclosure also provide an information processing method, applied to the third network element, including:
  • Receive fifth information sent by the first network element is used to instruct the third network element to retrain the model; the third network element is at least used to train the model; the first network element is at least for providing analytical results through said model;
  • receiving the fifth information sent by the first network element includes:
  • the fifth information sent by the first network element is received through the NF with the data collection function.
  • the method also includes:
  • the sixth information includes one of the following:
  • sending the sixth information to the first network element includes:
  • the sixth information is sent to the first network element through the NF with the data collection function.
  • the fifth information includes the first information and/or the third information;
  • the retraining of the model includes:
  • the first information includes network data after the second information is consumed by the second network element; the first information also includes fourth information, and the fourth information includes the second information consumed by the second network element. The result of the second information;
  • the network data after the second information is consumed by the second network element includes at least one of the following:
  • the third information includes at least one of the following:
  • Embodiments of the present disclosure also provide an information processing method, applied to the second network element, including:
  • the first information includes network data after the second information is consumed by the second network element; the second information includes the analysis results provided by the first network element through the model ; The first information is used for the first network element to determine third information, and the third information includes the performance of the model.
  • sending the first information to the first network element includes:
  • the first information is sent to the first network element through the NF with the data collection function.
  • sending the first information directly to the first network element includes:
  • sending the first information to the first network element through the NF with the data collection function includes:
  • the third message or the fourth message is sent by the first network element; the third message is used to request the first information; and the fourth message is used to subscribe to the first information.
  • the first information also includes fourth information, and the fourth information includes the result of the second network element consuming the second information;
  • the network data after the second information is consumed by the second network element includes at least one of the following:
  • the third information includes at least one of the following:
  • An embodiment of the present disclosure also provides an information processing device, which is provided on the first network element and includes:
  • An acquisition unit configured to acquire first information; the first information includes network data after the second information is consumed; the second information includes the analysis results provided by the first network element through the model;
  • a first processing unit configured to determine third information according to the first information and/or the second information; the third information includes the performance of the model.
  • An embodiment of the present disclosure also provides an information processing device, which is provided on the third network element and includes:
  • the first receiving unit is configured to receive fifth information sent by the first network element, where the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to train the model; The first network element is at least used to provide analysis results through the model;
  • a second processing unit for retraining the model.
  • An embodiment of the present disclosure also provides an information processing device, which is provided on the second network element and includes:
  • the second sending unit is configured to send the first information to the first network element; the first information includes network data after the second information is consumed by the second network element; the second information includes the first network The analysis result provided by the element through the model; the first information is used for the first network element to determine the third information, The third information includes performance of the model.
  • An embodiment of the present disclosure also provides a first network element, including: a first communication interface and a first processor; wherein,
  • the first communication interface is used to obtain first information; the first information includes network data after the second information is consumed; the second information includes the analysis results provided by the first network element through the model;
  • the first processor is configured to determine third information according to the first information and/or the second information; the third information includes performance of the model.
  • An embodiment of the present disclosure also provides a third network element, including: a second communication interface and a second processor; wherein,
  • the second communication interface is used to receive the fifth information sent by the first network element, and the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to train the Model; the first network element is at least used to provide analysis results through the model;
  • the second processor is used to retrain the model.
  • An embodiment of the present disclosure also provides a second network element, including: a third communication interface and a third processor; wherein,
  • the third communication interface is used to send first information to the first network element; the first information includes network data after the second information is consumed by the second network element; the second information includes the second information An analysis result provided by a network element through a model; the first information is used for the first network element to determine third information, and the third information includes the performance of the model.
  • An embodiment of the present disclosure also provides a first network element, including: a first processor and a first memory for storing a computer program capable of running on the processor,
  • the first processor is configured to execute the steps of any method on the first network element side when running the computer program.
  • An embodiment of the present disclosure also provides a third network element, including: a second processor and a second memory for storing a computer program that can run on the processor,
  • the second processor is configured to execute the steps of any method on the third network element side when running the computer program.
  • Embodiments of the present disclosure also provide a second network element, including: a third processor and a device for storing energy tertiary memory sufficient for computer programs to run on the processor,
  • the third processor is configured to execute the steps of any method on the second network element side when running the computer program.
  • Embodiments of the present disclosure also provide a storage medium on which a computer program is stored.
  • the steps of any method on the first network element side are implemented, or any method on the third network element side is implemented.
  • the steps of a method, or the steps of implementing any of the above methods on the second network element side are implemented.
  • the first network element obtains the first information; the first information includes network data after the second information is consumed; the second information includes the The analysis results provided by the first network element through the model; third information is determined based on the first information and/or the second information; the third information includes the performance of the model.
  • the first network element when the first network element provides analysis services through the model, the first network element can execute the analysis based on the information related to the analysis service (i.e., the first information) and/or the analysis results of the analysis service ( That is, the second information) determines the performance of the model. Since the performance of the model can reflect the analysis accuracy of the analysis service, the first network element can perceive the analysis accuracy of the analysis service provided by itself, and then the analysis based on the analysis service can be accurate.
  • the model can be further trained to improve the analysis accuracy of the analysis service.
  • FIG. 1 is a schematic diagram of the NWDAF analysis service architecture in related technologies
  • FIG. 2 is a schematic diagram of the NWDAF analysis service opening process in related technologies
  • FIG. 3 is a schematic flowchart of an information processing method according to an embodiment of the present disclosure
  • FIG. 4 is a schematic flowchart of another information processing method according to an embodiment of the present disclosure.
  • Figure 5 is a schematic flowchart of improving the accuracy of NWDAF analysis according to an application embodiment of the present disclosure
  • Figure 6 is a schematic flowchart of another method of improving the accuracy of NWDAF analysis according to the application embodiment of the present disclosure
  • Figure 7 is a schematic structural diagram of an information processing device according to an embodiment of the present disclosure.
  • Figure 8 is a schematic structural diagram of another information processing device according to an embodiment of the present disclosure.
  • Figure 9 is a schematic structural diagram of a third information processing device according to an embodiment of the present disclosure.
  • Figure 10 is a schematic structural diagram of the first network element according to the embodiment of the present disclosure.
  • Figure 11 is a schematic structural diagram of a third network element according to an embodiment of the present disclosure.
  • Figure 12 is a schematic structural diagram of the second network element according to the embodiment of the present disclosure.
  • Figure 13 is a schematic structural diagram of an information processing system according to an embodiment of the present disclosure.
  • NWDAF's analysis service opening process may include the following steps:
  • Step 201 Any NF sends an analysis request/subscription to the NWDAF (English can be expressed as NWDAF containing AnLF) containing the analytical logic function (Analytics Logical Function, AnLF), and then performs step 202;
  • NWDAF Terms can be expressed as NWDAF containing AnLF
  • AnLF Analytics Logical Function
  • any NF can be understood as a consumer of NWDAF analysis services, such as Access and Mobility Management Function (AMF), Session Management Function (SMF), Policy Control Function (Policy Control Function) , PCF) etc.
  • AMF Access and Mobility Management Function
  • SMF Session Management Function
  • Policy Control Function Policy Control Function
  • PCF Policy Control Function
  • NWDAF containing AnLF can also be expressed as NWDAF AnLF, which is used to provide inference services (i.e. analysis services, such as prediction, decision-making, etc.) to consumer NF, and perform machine learning (Machine Learning, ML) model inference (i.e. obtain analysis service analysis results).
  • Any NF can request/subscribe to NWDAF AnLF the analysis service of a specified analysis identifier (such as Analytics ID) by calling the service operation opened by NWDAF, for its own decision-making or to trigger other NFs to execute related strategies.
  • Step 202 NWDAF AnLF calls the model, and then executes step 203;
  • NWDAF AnLF can be based on the analysis request/subscription of consumer NF, calling the specified ML model from NWDAF (English can be expressed as NWDAF containing MTLF) containing model training logic function (Model Training Logical Function, MTLF) for subsequent inference. Analyze the results, that is, request/subscribe the ML model with the specified Analytics ID to the NWDAF containing MTLF.
  • NWDAF ML model
  • MTLF Model Training Logical Function
  • NWDAF containing MTLF can also be expressed as NWDAF MTLF, which is a network element that performs ML model training and can provide the ML model with a specified Analytics ID to NWDAF AnLF for deploying or updating the trained ML model to NWDAF AnLF.
  • NWDAF MTLF is a network element that performs ML model training and can provide the ML model with a specified Analytics ID to NWDAF AnLF for deploying or updating the trained ML model to NWDAF AnLF.
  • Step 203 NWDAF AnLF collects data, and then executes step 204;
  • NWDAF AnLF can use data collection coordination function (Data Collection Coordinator Function, DCCF), analytical data storage function (Analytics Data Repository Function, ADRF), message framework adapter function (Massaging Framework Adaptor Function, MFAF) and other data collection functions.
  • DCCF Data Collection Coordinator Function
  • ADRF Analytics Data Repository Function
  • MFAF Massaging Framework Adaptor Function
  • NF collects input data required for reasoning using ML models from data sources, or directly collects input data from data sources; the specific type of input data for ML models can be determined based on specific use cases (Use Case); data sources can include NF, Application Function (Application Function, AF), Operation Administration and Maintenance (OAM), Network Repository Function (NRF), terminal (also called User Equipment (UE)), etc., can Provide required data to NWDAF.
  • DCCF Data Collection Coordinator Function
  • ADRF Analytics Data Repository Function
  • MFAF Massaging Framework Adaptor Function
  • NF collects input data required for reasoning using ML models from data sources,
  • Step 204 NWDAF AnLF inference obtains the analysis results, and then executes step 205;
  • NWDAF AnLF inputs the data collected in step 203 into the ML model, performs inference (i.e., data analysis) through the ML model, and obtains the analysis results output by the ML model; the specific type of inference output data (i.e., the analysis results output by the ML model) can also be Determined based on specific Use Case.
  • Step 205 NWDAF AnLF feeds back/notifies any NF of the analysis results.
  • NWDAF AnLF feeds back/notifies the analysis results to the consumer NF for decision-making by the consumer NF or triggers other NFs to execute related strategies.
  • NWDAF MTLF only provides the ML model of the specified Analytics ID based on the request/subscription of NWDAF AnLF. Neither NWDAF MTLF nor NWDAF AnLF can perceive the accurate analysis of NWDAF AnLF using the ML model (i.e. providing analysis services). There is no relevant mechanism to improve the analysis accuracy of analysis services. In some cases, the analysis accuracy of NWDAF AnLF when using ML models is not stable. For example, due to the difference between training data and inference data, there may be a difference in the analysis accuracy of NWDAF MTLF and NWDAF AnLF, which may cause NWDAF The analytical accuracy of AnLF is lower than that of NWDAF MTLF.
  • NWDAF AnLF and NWDAF MTLF cannot sense whether the analysis results of the analysis service are used for consumer NF's decision-making, that is, NWDAF AnLF and NWDAF MTLF cannot sense whether the analysis accuracy of NWDAF AnLF's analysis using the ML model meets the requirements of consumer NF. Once the analysis accuracy cannot meet the specified requirements of the consumer NF, it will cause the consumer NF to make wrong decisions.
  • the first network element when the first network element (such as NWDAF AnLF) provides analysis services through the model, the first network element can perform analysis based on the analysis service-related information (denoted as first information) and/or the analysis results of the analysis service (referred to as second information in subsequent descriptions) determine the performance of the model. Since the performance of the model can reflect the analysis accuracy of the analysis service, the first network element can sense The analysis accuracy of the analysis service provided by itself can further train the model based on the analysis accuracy of the analysis service. For example, if the analysis accuracy of the analysis service cannot meet the specified requirements of the consumer NF, the model can be retrained to improve the analysis service. accuracy of analysis.
  • Embodiments of the present disclosure provide an information processing method, applied to the first network element, as shown in Figure 3.
  • the method includes:
  • Step 301 Obtain the first information
  • the first information includes the network data after the second information is consumed;
  • the second information includes the analysis results provided by the first network element through the model;
  • Step 302 Determine third information according to the first information and/or the second information; the third information includes the performance of the model.
  • the first network element may include at least one of the following: NWDAF, NWDAF AnLF, inference platform, inference module, inference function, etc.
  • NWDAF NWDAF
  • NWDAF AnLF inference platform
  • inference module inference function
  • the embodiments of the present disclosure do not limit this, as long as the analysis results can be provided through the model. , that is, it suffices to be able to provide analysis services; the provision of analysis services can be understood as derived (English can be expressed as derives) analysis services.
  • the first information may also be called analysis execution information, analysis execution results, etc.
  • the second information may also be called analysis information, analysis results, etc.
  • the third information may also be called model performance information. etc.; the embodiments of this disclosure do not limit the nouns, as long as their functions are realized.
  • the first information may be generated by the network element related to the analysis service (referred to as the second network element in the subsequent description) performing related operations based on the second information; in other words, the first information
  • the information may include network data after the second information is consumed by the second network element.
  • the analysis results provided by the first network element through the model refer to the analysis results generated by the first network element providing analysis services through the model.
  • the first information may include network data after the second information is consumed by the second network element.
  • the first information may also include fourth information, and the fourth information includes the result of the second network element consuming the second information;
  • the network data after the second information is consumed by the second network element includes at least one of the following:
  • the result of the second network element consuming the second information may include: whether the second network element uses (ie applies) the second information to perform related operations.
  • the first information includes network data after the second information is consumed by the second network element, which can also be understood as network data after the second network element obtains the second information; in other words, in Before step 301, the second network element will obtain the second information.
  • the second network element may request an analysis service of a specified type (such as a specified Analytics ID) from the first network element, and the first network element performs data inference through the model corresponding to the specified type to obtain the and sending the second information to the second network element; after obtaining the second information, the second network element performs relevant operations based on the second information, thereby generating the second network element. a message.
  • a specified type such as a specified Analytics ID
  • the specific content contained in the first information, the second information, the fourth information and the network data can be based on needs (such as the service request/service request sent by the consumer NF to the first network element).
  • the Use Case corresponding to the Analytics ID in the subscription, etc.) is determined.
  • the second network element may include a first NF (ie, consumer NF) and/or a second NF; the first NF is at least used to consume the second information by performing relevant operations; the The second NF is at least used to be triggered by the first NF to perform related operations during the process of the first NF consuming the second information.
  • a first NF ie, consumer NF
  • a second NF the first NF is at least used to consume the second information by performing relevant operations
  • the second NF is at least used to be triggered by the first NF to perform related operations during the process of the first NF consuming the second information.
  • the first NF can also be called analytics consumer (English can be expressed as Analytics Consumer), consumer NF, etc.; the second NF can also be understood as other than analytics consumers.
  • the second network element may include: a first NF, and/or at least a second NF.
  • the related operations performed by the first NF and/or the second NF based on the second information may include: executing a preset policy, etc.
  • the first NF is SMF
  • the Analytics ID in the service request/subscription sent by SMF to the first network element indicates that the analysis service required by SMF is "NF load information (NF load information)"
  • NF load information NF load information
  • UPF User Plane Function
  • the SMF can select UPF based on the second information.
  • the fourth information It may include whether the SMF uses the second information to select UPF, or information related to the selected UPF, etc.
  • the network data after the second information is consumed by the second network element may include NF load, NF status, NF resource usage, etc. .
  • the first network element can directly obtain the first information from the second network element, or can obtain the first information from the second network element through some NF with data collection function. Describe the first information.
  • step 301 may include:
  • the first information is obtained from the second network element through the NF with the data collection function.
  • the NF with the data collection function may include at least one of DCCF, MFAF, and ADRF.
  • DCCF, MFAF and ADRF also have data transmission, data storage and other functions.
  • NF with data collection function can decouple data sources and data consumers, so that the required data can be provided to data consumers more efficiently; in other words, through NF with data collection function, it can Reduce the additional signaling load (such as the transmission of the first information) caused by changes in network architecture and network element functions relative to related technologies in the embodiments of the present disclosure.
  • the first network element can request-response (English can be expressed as Request-Response) interaction mechanism to obtain the first information directly from the second network element.
  • obtaining the first information directly from the second network element may include:
  • the message can be understood as signaling; sending the first information based on the first message can be understood as responding based on the first message, that is, the first network element and the second network element request- The responsive interaction mechanism communicates.
  • the first network element can also directly obtain the first information from the second network element through a subscription-notify (English can be expressed as Subscribe-Notify) interaction mechanism.
  • a subscription-notify English can be expressed as Subscribe-Notify
  • obtaining the first information directly from the second network element may include:
  • sending the first information based on the second message can be understood as notification based on the second message, that is, the first network element and the second network element communicate through a subscription-notification interaction mechanism.
  • the first network element and the NF with the data collection function can communicate through request-response. Interaction mechanism for communication.
  • obtaining the first information from the second network element through an NF with a data collection function may include:
  • the NF with the data collection function can obtain the first information from the second network element through a request-response interaction mechanism. Specifically, the NF with the data collection function may send an eleventh message to the second network element, where the eleventh message is used to request the first information; and after receiving the information from the second network element Based on the eleventh After the first information is sent by the message, the first information is sent to the first network element based on the third message.
  • the first network element and the NF with the data collection function can communicate through subscription-notification. Interaction mechanism for communication.
  • obtaining the first information from the second network element through an NF with a data collection function may include:
  • the NF with the data collection function may also obtain the first information from the second network element through a subscription-notification interaction mechanism. Specifically, the NF with the data collection function may send a twelfth message to the second network element, the twelfth message is used to subscribe to the first information; and after receiving the second network element After sending the first information based on the twelfth message, the first information is sent to the first network element based on the fourth message.
  • step 302 may include at least one of the following:
  • the third information is determined by performing calculation on the first information and/or the second information (English can be expressed as calculate).
  • the third information may include at least one of the following:
  • TP True Positive
  • TN True Negative
  • FP False Positive
  • FN False Negative
  • step 302 can be determined according to requirements (such as the Use Case corresponding to the Analytics ID in the service request/subscription sent by the consumer NF to the first network element, etc.).
  • requirements such as the Use Case corresponding to the Analytics ID in the service request/subscription sent by the consumer NF to the first network element, etc.
  • Accuracy can represent the proportion of samples that correctly predict the network load will become higher and the network load will decrease to all network load samples; Precision can represent the proportion of samples that correctly predict the network load will become high. The proportion of samples that predict network load; Recall can represent the proportion of samples that correctly predict that network load will increase to all samples that network load will increase.
  • the first network element determines the third information, it can determine whether the performance of the model meets the preset conditions based on the third information, that is, determine whether the performance of the model meets the preset conditions. Whether the model needs to be retrained; and if the model needs to be retrained (that is, the performance of the model does not meet the preset conditions), indicate (can also be understood as triggering) other networks that are at least used to train the model. network element (referred to as the third network element in subsequent descriptions) to retrain the model.
  • the method may further include:
  • fifth information is sent to a third network element, and the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to Train the model.
  • the third network element may include at least one of the following: NWDAF, NWDAF MTLF, training platform, training module, training function, etc.
  • NWDAF NWDAF
  • NWDAF MTLF training platform
  • training module training module
  • training function etc.
  • the embodiments of the present disclosure do not limit this. It only needs to be able to support ML model training.
  • retraining the model can be understood as updating, optimizing, further training, etc. of the model.
  • the first network element can determine whether the model needs to be retrained by determining whether the performance of the model meets the preset conditions. When the performance of the model meets the preset conditions, determine The model does not need to be retrained; when the performance of the model does not meet the preset conditions, it is determined that the model needs to be retrained.
  • the preset condition may include at least one of the following:
  • Preset indicators i.e. thresholds for the Accuracy of the model
  • the performance of the model meets the preset conditions, which may include at least one of the following:
  • the Accuracy of the model is greater than or equal to the corresponding preset indicator
  • the Precision of the model is greater than or equal to the corresponding preset indicator
  • the performance of the model does not meet the preset conditions, which may include at least one of the following:
  • the Accuracy of the model is less than the corresponding preset indicator
  • the Precision of the model is less than the corresponding preset indicator
  • the preset conditions include at least two preset indicators
  • the performance of the model does not meet any of the at least two preset indicators, it can be determined that the performance of the model does not meet the preset condition.
  • the first network element can obtain the preset conditions from the local or the second network element, where the preset conditions obtained from the second network element can be understood as the requirements specified by the consumer NF. ;
  • the consumer NF may send the preset condition to the first network element when requesting/subscribing to the analysis service from the first network element.
  • the third network element can determine the model Need to retrain and start retraining the model. After the model is retrained, the third network element can send relevant information of the retrained model to the first network element, so that the first network element can obtain the retrained model and use the retrained model. Models provide analytical services.
  • the method may further include:
  • Sixth information is obtained from the third network element, and the sixth information enables the first network element to obtain a retrained model.
  • the sixth information may include one of the following:
  • the file address of the retrained model (English can be expressed as file address);
  • the sixth information can also be called model information (English can be expressed as model information), etc.
  • model information English can be expressed as model information
  • the embodiment of the present disclosure does not limit the noun, as long as it can provide the first network element with a retrained model. .
  • the file address of the retrained model may include a fully qualified domain name (Fully Qualified Domain Name, FQDN), a uniform resource locator (Uniform Resource Locator, URL), etc.; the corresponding parameters of the retrained model may be Including hyperparameters (such as weights, etc.), metadata (English can be expressed as meta data), etc.; the specific content of the sixth information can be set according to needs (such as network deployment conditions), and the embodiment of the present disclosure does not limit this.
  • FQDN Fully Qualified Domain Name
  • URL Uniform Resource Locator
  • the first network element may directly transmit data with the third network element, or may transmit data with the third network element through an NF with a data collection function.
  • sending the fifth information to the third network element may include:
  • the fifth information is sent to the third network element through the NF with the data collection function.
  • obtaining the sixth information from the third network element may include:
  • the sixth information is obtained from the third network element through the NF with the data collection function.
  • the first network element, the NF with data collection function and the third Network elements can communicate with each other through a request-response interaction mechanism.
  • the first network element when the first network element directly sends the fifth information to the third network element, it may send a fifth message to the third network element, where the fifth message is used to request a retrained model.
  • the fifth message carries the fifth information; after receiving the fifth message, the third network element can start to retrain the model, and after the model is retrained, based on the third
  • the fifth message sends sixth information to the first network element.
  • the first network element When the first network element sends the fifth information to the third network element through the NF with the data collection function, it can send a seventh message to the NF with the data collection function, and the seventh message is used to request In the retrained model, the seventh message carries the fifth information; after receiving the seventh message, the NF with the data collection function can send a ninth message to the third network element.
  • the ninth message is used to request a retrained model, and the ninth message carries the fifth information; after receiving the ninth message, the third network element can start to retrain the model, and in the model After the retraining is completed, sixth information is sent to the NF with the data collection function based on the ninth message, so that the NF with the data collection function sends the information to the first network element based on the seventh message. Describe the sixth information.
  • the first network element, the NF with the data collection function, and the third network element can communicate through a subscription-notification interaction mechanism.
  • the first network element when the first network element directly sends the fifth information to the third network element, it may send a sixth message to the third network element, where the sixth message is used to subscribe to the retrained model.
  • the sixth message carries the fifth information; after receiving the sixth message, the third network element can start to retrain the model, and after the model is retrained, based on the third The sixth message sends sixth information to the first network element.
  • the first network element may send an eighth message to the NF with the data collection function, and the eighth message is used for subscription
  • the eighth message carries the fifth information; after receiving the eighth message, the NF with the data collection function can send a tenth message to the third network element.
  • the tenth message is used to subscribe to the retrained model, and the tenth message carries the fifth information; after receiving the tenth message, the third network element can start to retrain the model, and in the model After the retraining is completed, based on the tenth message, the NF with the data collection function is Send sixth information, so that the NF with the data collection function sends the sixth information to the first network element based on the eighth message.
  • the model The performance of the model that does not meet the preset conditions may not be a real-time event; in other words, regardless of whether the performance of the model meets the preset conditions, the first network element can subscribe to the third network element for retraining.
  • the third network element may retrain the model periodically or triggeringly (such as a preset event), and periodically send the sixth information to the first network element.
  • the data used by the third network element to retrain the model may include at least one of the following:
  • the third network element needs to use the first information and/or the third information to retrain the model
  • the first network element needs to use the first information and/or the third information to retrain the model.
  • the third information is sent to the third network element.
  • the fifth information includes the first information and/or the third information; the first information and/or the third information are used for the third network element to retrain the model.
  • the third network element may retrain the model using at least one of the data collected from the data source, the first information, and the third information.
  • embodiments of the present disclosure also provide an information processing method, applied to the third network element.
  • the method includes:
  • Step 401 Receive the fifth information sent by the first network element, the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to train the model; the first The network element is at least used to provide analysis results through the model;
  • Step 402 Retrain the model.
  • receiving the fifth information sent by the first network element may include:
  • the fifth information sent by the first network element is received through the NF with the data collection function.
  • the method may further include:
  • sending the sixth information to the first network element may include:
  • the sixth information is sent to the first network element through the NF with the data collection function.
  • the fifth information includes the first information and/or the third information; the retraining of the model may include:
  • embodiments of the present disclosure also provide an information processing method, applied to the second network element, the method includes:
  • the first information includes network data after the second information is consumed by the second network element; the second information includes the analysis results provided by the first network element through the model ; The first information is used for the first network element to determine third information, and the third information includes the performance of the model.
  • sending the first information to the first network element may include:
  • the first information is sent to the first network element through the NF with the data collection function.
  • sending the first information directly to the first network element may include:
  • sending the first information to the first network element through the NF with a data collection function may include:
  • the twelfth message is used to subscribe to the first information; send the NF with the data collection function based on the twelfth message.
  • First information for the NF with the data collection function to send the first information to the first network element based on the third message or the fourth message;
  • the third message or the fourth message is sent by the first network element; the third message is used to request the first information; and the fourth message is used to subscribe to the first information.
  • the first network element obtains the first information; the first information includes network data after the second information is consumed; the second information includes the first network element provided through the model The analysis results; determine third information according to the first information and/or the second information; the third information includes the performance of the model.
  • the first network element when the first network element provides analysis services through the model, the first network element can execute the analysis based on the information related to the analysis service (i.e., the first information) and/or the analysis results of the analysis service (That is, the second information) determines the performance of the model. Since the performance of the model can reflect the analysis accuracy of the analysis service, the first network element can perceive the analysis accuracy of the analysis service provided by itself, and then the analysis based on the analysis service can be accurate. The model can be further trained to improve the analysis accuracy of the analysis service.
  • the NWDAF AnLF (i.e., the above-mentioned first network element) supports slave
  • the consumer NF i.e., the above-mentioned second network element
  • collects analysis execution information i.e., the above-mentioned first information
  • the consumer NF supports feedback of analysis execution information to the NWDAF AnLF
  • the analysis execution information may include the analysis results of the consumer NF based on the NWDAF feedback (That is, the above-mentioned second information) information for making a decision (that is, the above-mentioned fourth information), and information related to changes in network status caused by the decision (that is, the network data after the above-mentioned second information is consumed).
  • NWDAF AnLF supports performance evaluation of the ML model (i.e., the above-mentioned model) based on the analysis execution information of the consumer NF and the analysis results previously fed back to the consumer NF, and obtains model performance information (i.e., the above-mentioned third information); NWDAF MTLF (i.e., the above-mentioned third network element) supports collecting model performance information from NWDAF AnLF, and NWDAF AnLF supports feedback of model performance information to NWDAF MTLF.
  • ML model i.e., the above-mentioned model
  • model performance information i.e., the above-mentioned third information
  • NWDAF MTLF i.e., the above-mentioned third network element
  • NWDAF MTLF supports further collection of data to retrain the ML model based on model performance information.
  • the further collection of data i.e., the input data for retraining the ML model
  • NWDAF AnLF model performance information obtained from performance evaluation of ML models.
  • the process of improving the accuracy of NWDAF analysis may include the following steps:
  • Step 501 NWDAF AnLF collects and analyzes execution information, and then executes step 502;
  • Step 502 NWDAF AnLF performs model performance evaluation, and then executes step 503;
  • Step 503 NWDAF AnLF sends model performance information to NWDAF MTLF, and then executes step 504;
  • Step 504 NWDAF MTLF further trains the model (ie, retrains the ML model), and then executes step 505;
  • Step 505 NWDAF MTLF sends the model (i.e., the above-mentioned sixth information) to NWDAF AnLF.
  • NWDAF AnLF can directly initiate a data subscription process to the consumer NF, or initiate data to the consumer NF through an NF with data collection function (such as at least one of DCCF, MFAF, and ADRF).
  • NWDAF AnLF can perform performance evaluation on the ML model based on the collected analysis execution information and the previously provided analysis results (ie, the analysis results in step 205), and obtain model performance information, such as Accuracy, Precision, Recall, etc.
  • NWDAF AnLF can determine whether the model performance information of the ML model meets the requirements (i.e., the above-mentioned preset conditions). If the model performance information does not meet the requirements, NWDAF AnLF can feed back the model performance information (i.e., the above-mentioned fifth information) to NWDAF MTLF. ).
  • NWDAF MTLF retrains the ML model using at least one of the following data:
  • NWDAF AnLF model performance information obtained from performance evaluation of ML models.
  • analysis execution information and/or model performance information can be directly transmitted from NWDAF AnLF to NWDAF MTLF, or data can be transmitted through NF with data acquisition function.
  • NWDAF MTLF deploys the trained ML model to NWDAF AnLF for subsequent opening of analysis services.
  • the opening process of NF load analysis service may include the following steps:
  • the consumer of the NF load analysis service may be an SMF.
  • the SMF subscribes to or requests the load analysis of the relevant UPF from the NWDAF.
  • the SMF receives the UPF load analysis result of the NWDAF notification or response.
  • UPF selection can be performed in combination with other UPF selection policy conditions (such as the location of the UE, etc.).
  • Step 602 Data Collection, then execute step 603;
  • NWDAF AnLF collects data from NF, AF, OAM, NRF, UE and other data sources Used for load analysis of the specified NF; if a NF with data collection function is deployed, NWDAF AnLF collects the required analysis data through the NF with data collection function.
  • the required analysis data can include NF load, NF status, NF resource usage, NF resource configuration, UPF traffic usage report, UE moving speed, UE moving direction, UE attribute information, etc.
  • Step 603 NWDAF AnLF derives the requested analysis services (English can be expressed as NWDAF derives requested analytics), and then executes step 604;
  • NWDAF AnLF performs analysis based on the data collected in step 602, that is, using the ML model to perform data inference and obtain the analysis results output by the ML model; the analysis results can include NF ID, NF type, NF status, NF resource usage, and NF load. , NF peak load, analysis confidence, etc.
  • Step 604 NWDAF AnLF sends Nnwdaf_AnalyticsInfo_Request response or Nnwdaf_AnalyticsSubscription_Subscribe response (NF id, NF load information) to the consumer NF to feed back the analysis results to the consumer, and then execute step 605;
  • Step 605 In the subscription mode, continue to provide analysis services
  • NWDAF AnLF will continue to provide analysis data (i.e., analysis results) to the consumer NF.
  • analysis data i.e., analysis results
  • the analysis triggering situation can be based on preset cycles or event changes.
  • the NWDAF analysis accuracy can be improved by executing steps 606 to 610, that is, the analysis accuracy of the NF load analysis service can be improved:
  • Step 606 NWDAF AnLF and consumer NF collect/feedback the analysis execution information, and then execute step 607;
  • Step 607 NWDAF AnLF evaluates model performance, and then executes step 608;
  • Step 608 NWDAF AnLF feeds back the model performance (i.e., the fifth information mentioned above) to NWDAF MTLF, and then executes step 609;
  • Step 609 NWDAF MTLF further trains the model, and then executes step 610;
  • Step 610 NWDAF MTLF deploys the model to NWDAF AnLF (ie, the sixth information above).
  • NWDAF AnLF can initiate a data subscription process to the consumer NF, and collect analysis and execution information from the consumer NF; if an NF with a data collection function is deployed, the NWDAF AnLF can have the data collection function by NF acquisition analysis execution information.
  • the analysis execution information may include the local execution information of the consumer NF and/or the information that the consumer NF triggers other NF execution operations, such as whether to use the analysis results, the transformation data of related information (such as network status) after using the analysis results, etc.
  • the analysis execution information may include NF load, NF status, NF resource usage, etc.
  • NWDAF AnLF can evaluate the performance (such as Accuracy, Precision, Recall, etc.) of the ML model based on the analysis execution information and the previously provided analysis results (ie, the analysis results in step 604 and step 605).
  • step 608 if the performance of the ML model does not meet the requirements (i.e., the above-mentioned preset condition), NWDAF AnLF feeds back the model performance information (i.e., the above-mentioned fifth information) to NWDAF MTLF.
  • the model performance information i.e., the above-mentioned fifth information
  • NWDAF MTLF further trains the ML model using at least one of the following data:
  • the training data required to further train the ML model may include NF load, NF status, NF resource usage, NF resource configuration, UPF traffic usage report and other information.
  • analysis execution information and/or model performance information can be directly transmitted from NWDAF AnLF to NWDAF MTLF, or transmitted to NWDAF MTLF through NF with data acquisition function.
  • NWDAF MTLF deploys the further trained ML model to NWDAF AnLF for subsequent opening of NF load analysis services.
  • NWDAF i.e. AnLF and MTLF
  • NWDAF can perceive the performance of the ML model (i.e. the analysis accuracy of the analysis service);
  • NWDAF AnLF at least evaluates the performance of the ML model based on the analysis execution information fed back by consumer NF.
  • NWDAF MTLF can further train the ML model based on the model performance information of the ML model, thereby improving the performance of the ML model, that is, improving subsequent open The analytical accuracy of the Analytical Services;
  • the embodiment of the present disclosure also provides an information processing device, which is provided on the first network element. As shown in Figure 7, the device includes:
  • the acquisition unit 701 is used to acquire first information; the first information includes network data after the second information is consumed; the second information includes the analysis results provided by the first network element through the model;
  • the first processing unit 702 is configured to determine third information according to the first information and/or the second information; the third information includes the performance of the model.
  • the acquisition unit 701 is specifically used to:
  • the first information is obtained from the second network element through the NF with the data collection function.
  • the acquisition unit 701 is also used to:
  • the acquisition unit 701 is also used to:
  • the first processing unit 702 is also configured to perform at least one of the following operations:
  • the third information is determined by calculating the first information and/or the second information.
  • the first processing unit 702 is also configured to determine whether the model needs to be retrained based on the third information
  • the acquisition unit 701 is further configured to send fifth information to a third network element when the model needs to be retrained, where the fifth information is used to instruct the third network element to retrain the model;
  • the third network element is at least used to train the model.
  • the acquisition unit 701 is also used to:
  • the fifth information is sent to the third network element through the NF with the data collection function.
  • the obtaining unit 701 is further configured to obtain sixth information from the third network element, where the sixth information can enable the first network element to obtain a retrained model.
  • the acquisition unit 701 is also used to:
  • the sixth information is obtained from the third network element through the NF with the data collection function.
  • the acquisition unit 701 can be implemented by a communication interface in an information processing device; the first processing unit 702 can be implemented by a processor in an information processing device.
  • the embodiment of the disclosure also provides an information processing device, which is provided on the third network element. As shown in Figure 8, the device includes:
  • the first receiving unit 801 is configured to receive fifth information sent by the first network element, where the fifth information is used to instruct the third network element to retrain the model; the third network element is at least used to train the model ; The first network element is at least used to provide analysis results through the model;
  • the second processing unit 802 is used to retrain the model.
  • the first receiving unit 801 is also used to:
  • the fifth information sent by the first network element is received through the NF with the data collection function.
  • the device further includes: a first sending unit configured to send sixth information to the first network element, where the sixth information can enable the first network element to obtain a retrained model.
  • the first sending unit is also used to:
  • the sixth information is sent to the first network element through the NF with the data collection function.
  • the fifth information includes the first information and/or the third information; the second processing unit 802 is further configured to use at least the first information and/or the third information to retrain the The model; wherein the first information includes the network data after the second information is consumed; the second information includes the analysis results provided by the first network element through the model; the third information includes the model performance.
  • the first sending unit and the first receiving unit 801 can be implemented by a communication interface in an information processing device; the second processing unit 802 can be implemented by a processor in an information processing device.
  • the embodiment of the present disclosure also provides an information processing device, which is provided on the second network element.
  • the device includes:
  • the second sending unit 901 is configured to send first information to the first network element; the first information includes network data after the second information is consumed by the second network element; the second information includes the first The analysis results provided by the network element through the model; the first information is used for the first network element to determine third information, and the third information includes the performance of the model.
  • the second sending unit 901 is specifically used for:
  • the first information is sent to the first network element through the NF with the data collection function.
  • the device further includes a second receiving unit 902, configured to receive the first message or the second message sent by the first network element; the first message is used to request the The first information; the second message is used to subscribe to the first information;
  • the second sending unit 901 is also used to:
  • the second receiving unit 902 is also used to receive the eleventh message or the twelfth message sent by the NF with the data collection function; the eleventh message is used to request the third One piece of information; the twelfth message is used to subscribe to the first information;
  • the second sending unit 901 is also used to:
  • the first information is sent to the NF with the data collection function based on the eleventh message, so that the NF with the data collection function sends the first information to the first network element based on the third message or the fourth message. Describe the first information;
  • the first information is sent to the NF with the data collection function based on the twelfth message, so that the NF with the data collection function sends the first information to the first network element based on the third message or the fourth message. Describe the first information; among them,
  • the third message or the fourth message is sent by the first network element; the third message is used to request the first information; and the fourth message is used to subscribe to the first information.
  • the second sending unit 901 and the second receiving unit 902 may be implemented by a communication interface in an information processing device.
  • the information processing device provided in the above embodiment performs information processing
  • only the division of the above program modules is used as an example.
  • the above processing can be allocated to different program modules as needed. That is, the internal structure of the device is divided into different program modules to complete all or part of the processing described above.
  • the information processing device provided by the above embodiments and the information processing method embodiments belong to the same concept. Please refer to the method embodiments for the specific implementation process, which will not be described again here.
  • the embodiment of the disclosure also provides a first network element.
  • the first network element 1000 includes :
  • the first communication interface 1001 is capable of information exchange with the second network element and the third network element;
  • the first processor 1002 is connected to the first communication interface 1001 to implement information interaction with the second network element and the third network element, and is used to execute the above-mentioned first network element side when running a computer program. methods provided by one or more technical solutions.
  • the computer program is stored on the first memory 1003 .
  • the first communication interface 1001 is used to obtain first information; the first information includes network data after the second information is consumed; the second information includes the first network element 1000 provided through the model analysis results;
  • the first processor 1002 is configured to determine third information according to the first information and/or the second information; the third information includes the performance of the model.
  • the first communication interface 1001 is specifically used for:
  • the first information is obtained from the second network element through the NF with the data collection function.
  • the first communication interface 1001 is also used for:
  • the first communication interface 1001 is also used for:
  • the first processor 1002 is also configured to perform at least one of the following operations:
  • the third information is determined by calculating the first information and/or the second information.
  • the first processor 1002 is further configured to determine whether the model needs to be retrained based on the third information
  • the first communication interface 1001 is also used to send fifth information to a third network element when the model needs to be retrained, where the fifth information is used to instruct the third network element to retrain the Model; the third network element is at least used to train the model.
  • the first communication interface 1001 is also used for:
  • the fifth information is sent to the third network element through the NF with the data collection function.
  • the first communication interface 1001 is also used to obtain sixth information from the third network element.
  • the sixth information can enable the first network element to obtain a retrained model.
  • the first communication interface 1001 is also used for:
  • the sixth information is obtained from the third network element through the NF with the data collection function.
  • bus system 1004. various components in the first network element 1000 are coupled together through the bus system 1004. It can be understood that the bus system 1004 is used to implement connection communication between these components. In addition to the data bus, the bus system 1004 also includes a power bus, a control bus and a status signal bus. However, for the sake of clarity, various buses are labeled as bus system 1004 in FIG. 10 .
  • the first memory 1003 in the embodiment of the present disclosure is used to store various types of data to support the operation of the first network element 1000.
  • Examples of such data include any computer program for operating on the first network element 1000 .
  • the methods disclosed in the above embodiments of the present disclosure may be applied to the first processor 1002 or implemented by the first processor 1002.
  • the first processor 1002 may be an integrated circuit chip with signal processing capabilities. During the implementation process, each step of the above method can be completed by instructions in the form of hardware integrated logic circuits or software in the first processor 1002 .
  • the above-mentioned first processor 1002 may be a general-purpose processor or a digital signal processor (Digital Signal Processor). DSP), or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the first processor 1002 can implement or execute the disclosed methods, steps and logical block diagrams in the embodiments of the present disclosure.
  • a general-purpose processor may be a microprocessor or any conventional processor, etc.
  • the steps of the method disclosed in conjunction with the embodiments of the present disclosure can be directly implemented by a hardware decoding processor, or executed by a combination of hardware and software modules in the decoding processor.
  • the software module may be located in a storage medium, and the storage medium is located in the first memory 1003.
  • the first processor 1002 reads the information in the first memory 1003, and completes the steps of the foregoing method in combination with its hardware.
  • the first network element 1000 may be configured by one or more application specific integrated circuits (Application Specific Integrated Circuit, ASIC), DSP, programmable logic device (Programmable Logic Device, PLD), complex programmable logic device (Complex Programmable Logic Device, CPLD), Field-Programmable Gate Array (FPGA), general-purpose processor, controller, microcontroller (Micro Controller Unit, MCU), microprocessor (Microprocessor), or Other electronic components are implemented for performing the aforementioned methods.
  • ASIC Application Specific Integrated Circuit
  • DSP programmable logic device
  • PLD programmable Logic Device
  • complex programmable logic device Complex Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • controller microcontroller
  • MCU Micro Controller Unit
  • MCU microprocessor
  • Microprocessor Microprocessor
  • the embodiment of the disclosure also provides a third network element.
  • the third network element 1100 includes :
  • the second communication interface 1101 is capable of information exchange with the first network element
  • the second processor 1102 is connected to the second communication interface 1101 to implement information interaction with the first network element, and is used to execute the method provided by one or more technical solutions on the third network element side when running a computer program. .
  • the computer program is stored on the second memory 1103 .
  • the second communication interface 1101 is used to receive the fifth information sent by the first network element, and the fifth information is used to instruct the third network element to retrain the model; the third network element uses at least For training the model; the first network element is at least used for providing analysis results through the model;
  • the second processor 1102 is used to retrain the model.
  • the second communication interface 1101 is also used for:
  • the fifth information sent by the first network element is received through the NF with the data collection function.
  • the second communication interface 1101 is also used to send sixth information to the first network element.
  • the sixth information can enable the first network element to obtain a retrained model.
  • the second communication interface 1101 is also used for:
  • the sixth information is sent to the first network element through the NF with the data collection function.
  • the fifth information includes the first information and/or the third information; the second processor 1102 is further configured to use at least the first information and/or the third information to retrain the The model; wherein the first information includes the network data after the second information is consumed; the second information includes the analysis results provided by the first network element through the model; the third information includes the model performance.
  • bus system 1104. is used to implement connection communication between these components.
  • the bus system 1104 also includes a power bus, a control bus and a status signal bus.
  • the various buses are labeled bus system 1104 in FIG. 11 .
  • the second memory 1103 in the embodiment of the present disclosure is used to store various types of data to support the operation of the third network element 1100.
  • Examples of such data include any computer program for operating on the third network element 1100 .
  • the methods disclosed in the above embodiments of the present disclosure can be applied to the second processor 1102 or implemented by the second processor 1102 .
  • the second processor 1102 may be an integrated circuit chip with signal processing capabilities. During the implementation process, each step of the above method can be completed by instructions in the form of hardware integrated logic circuits or software in the second processor 1102 .
  • the above-mentioned second processor 1102 may be a general-purpose processor, a DSP, or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the second processor 1102 can implement or execute the disclosed methods, steps and logical block diagrams in the embodiments of the present disclosure.
  • a general-purpose processor may be a microprocessor or any conventional processor, etc.
  • the steps of the method disclosed in conjunction with the embodiments of the present disclosure can be directly implemented by a hardware decoding processor, or executed by a combination of hardware and software modules in the decoding processor.
  • the software module may be located on a storage medium located in Second memory 1103.
  • the second processor 1102 reads the information in the second memory 1103 and completes the steps of the foregoing method in combination with its hardware.
  • the third network element 1100 may be implemented by one or more ASICs, DSPs, PLDs, CPLDs, FPGAs, general processors, controllers, MCUs, Microprocessors, or other electronic components for performing the foregoing method. .
  • the embodiment of the disclosure also provides a second network element.
  • the second network element 1200 includes :
  • the third communication interface 1201 is capable of information exchange with the first network element
  • the third processor 1202 is connected to the third communication interface 1201 to implement information interaction with the first network element, and is used to execute the method provided by one or more technical solutions on the second network element side when running a computer program. .
  • the computer program is stored on the third memory 1203 .
  • the third communication interface 1201 is used to send first information to the first network element; the first information includes network data after the second information is consumed by the second network element 1200; the second The information includes analysis results provided by the first network element through the model; the first information is used for the first network element to determine third information, and the third information includes the performance of the model.
  • the third communication interface 1201 is specifically used for:
  • the first information is sent to the first network element through the NF with the data collection function.
  • the third communication interface 1201 is also used for:
  • the third communication interface 1201 is also used for:
  • the twelfth message is used to subscribe to the first information; send the NF with the data collection function based on the twelfth message.
  • First information for the NF with the data collection function to send the first information to the first network element based on the third message or the fourth message;
  • the third message or the fourth message is sent by the first network element; the third message is used to request the first information; and the fourth message is used to subscribe to the first information.
  • bus system 1204. is used to implement connection communication between these components.
  • the bus system 1204 also includes a power bus, a control bus and a status signal bus.
  • the various buses are labeled bus system 1204 in FIG. 12 .
  • the third memory 1203 in the embodiment of the present disclosure is used to store various types of data to support the operation of the second network element 1200. Examples of such data include: any computer program for operating on the second network element 1200.
  • the methods disclosed in the above embodiments of the present disclosure may be applied to the third processor 1202 or implemented by the third processor 1202.
  • the third processor 1202 may be an integrated circuit chip with signal processing capabilities. During the implementation process, each step of the above method can be completed by instructions in the form of hardware integrated logic circuits or software in the third processor 1202 .
  • the above-mentioned third processor 1202 may be a general processor, a DSP, or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the third processor 1202 can implement or execute the disclosed methods, steps and logical block diagrams in the embodiments of the present disclosure.
  • a general-purpose processor may be a microprocessor or any conventional processor, etc.
  • the steps of the method disclosed in conjunction with the embodiments of the present disclosure can be directly implemented by a hardware decoding processor, or executed by a combination of hardware and software modules in the decoding processor.
  • the software module may be located in a storage medium, and the storage medium is located in the third memory 1203.
  • the third processor 1202 reads the information in the third memory 1203. As a result, Complete the steps of the above method according to the hardware.
  • the second network element 1200 may be implemented by one or more ASICs, DSPs, PLDs, CPLDs, FPGAs, general processors, controllers, MCUs, Microprocessors, or other electronic components for performing the foregoing method. .
  • the memory in the embodiment of the present disclosure can be a volatile memory or a non-volatile memory, and can also include volatile and non-volatile memories. Both. Among them, non-volatile memory can be read-only memory (Read Only Memory, ROM), programmable read-only memory (Programmable Read-Only Memory, PROM), erasable programmable read-only memory (Erasable Programmable Read-Only Memory).
  • ROM Read Only Memory
  • PROM Programmable Read-Only Memory
  • Erasable Programmable Read-Only Memory Erasable Programmable Read-Only Memory
  • the magnetic surface memory can be magnetic disk storage or tape storage.
  • Volatile memory may be Random Access Memory (RAM), which is used as an external cache.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • SSRAM Synchronous Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • SDRAM Synchronous Dynamic Random Access Memory
  • DDRSDRAM Double Data Rate Synchronous Dynamic Random Access Memory
  • ESDRAM Enhanced Enhanced Synchronous Dynamic Random Access Memory
  • SLDRAM SyncLink Dynamic Random Access Memory
  • DRRAM Direct Rambus Random Access Memory
  • the embodiment of the present disclosure also provides an information processing system.
  • the system includes: a first network element 1301, a third network element 1302 and a second network element.
  • Network element 1303 wherein, the first network element 1301 is at least used to provide analysis results to the second network element 1303 through a model, and the third network element 1302 is at least used to train the model.
  • the embodiment of the present disclosure also provides a storage medium, that is, a computer storage medium, specifically a computer-readable storage medium, for example, including a first memory 1003 that stores a computer program.
  • the above computer program can be accessed by a first network.
  • the first processor 1002 of the element 1000 executes to complete the steps described in the foregoing first network element side method.
  • Another example includes a second memory 1103 that stores a computer program.
  • the computer program can be executed by the second processor 1102 of the third network element 1100 to complete the steps described in the third network element side method.
  • Another example includes a third memory 1203 that stores a computer program.
  • the computer program can be executed by the third processor 1202 of the second network element 1200 to complete the steps described in the second network element side method.
  • the computer-readable storage medium can be FRAM, ROM, PROM, EPROM, EEPROM, Flash Memory, magnetic surface memory, optical disk, or CD-ROM and other memories.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提出了一种信息处理方法、装置、第一网元、第二网元、第三网元及存储介质。其中，方法包括：第一网元获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。

Description

信息处理方法、装置、相关设备及存储介质
相关申请的交叉引用
本申请主张在2022年3月25日在中国提交的中国专利申请号No.202210306614.7的优先权，其全部内容通过引用包含于此。
技术领域
本公开涉及无线通信领域，尤其涉及一种信息处理方法、装置、相关设备及存储介质。
背景技术
相关技术中，第五代移动通信技术(the 5th Generation，5G)核心网的一些网元可以提供分析服务(可以简称为分析，英文可以表达为analytics)，比如，网络数据分析功能(Network Data Analytics Function，NWDAF)可以基于图1所示架构开放分析服务。
然而，相关技术中，这些网元无法感知自身提供的分析服务的分析准确性。
发明内容
为解决相关技术问题，本公开实施例提供一种信息处理方法、装置、相关设备及存储介质。
本公开实施例的技术方案是这样实现的：
本公开实施例提供了一种信息处理方法，应用于第一网元，包括：
获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
上述方案中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述获取第一信息，包括：
直接从所述第二网元获取所述第一信息；
或者，
通过具备数据采集功能的网络功能(Network Function，NF)，从所述第二网元获取所述第一信息。
上述方案中，所述直接从所述第二网元获取所述第一信息，包括：
向所述第二网元发送第一消息，所述第一消息用于请求所述第一信息；接收所述第二网元基于所述第一消息发送的第一信息；
或者，
向所述第二网元发送第二消息，所述第二消息用于订阅所述第一信息；接收所述第二网元基于所述第二消息发送的第一信息。
上述方案中，所述通过具备数据采集功能的NF，从所述第二网元获取所述第一信息，包括：
向所述具备数据采集功能的NF发送第三消息，所述第三消息用于请求所述第一信息；接收所述具备数据采集功能的NF基于所述第三消息发送的第一信息；
或者，
向所述具备数据采集功能的NF发送第四消息，所述第四消息用于订阅所述第一信息；接收所述具备数据采集功能的NF基于所述第四消息发送的第一信息。
上述方案中，所述根据所述第一信息和/或所述第二信息，确定第三信息，包括以下至少之一：
通过对所述第一信息和所述第二信息进行对比，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行测量，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行计算，确定所述第三信息。
上述方案中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
所述第二信息被第二网元消费后的网络数据包括以下至少之一：
网络状态数据；
网络性能数据；
网络运行数据。
上述方案中，所述第三信息包括以下至少之一：
所述模型的准确率(Accuracy)；
所述模型的查准率(Precision)；
所述模型的召回率(Recall)。
上述方案中，所述方法还包括：
根据所述第三信息，判断所述模型是否需要重新训练；
在所述模型需要重新训练的情况下，向第三网元发送第五信息，所述第五信息用于指示所述第三网元重新训练所述模型；所述第三网元至少用于训练所述模型。
上述方案中，所述向第三网元发送第五信息，包括：
直接向第三网元发送所述第五信息；
或者，
通过具备数据采集功能的NF，向第三网元发送所述第五信息。
上述方案中，所述方法还包括：
从所述第三网元获取第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
上述方案中，所述第六信息包括以下之一：
所述重新训练的模型；
所述重新训练的模型的文件地址；
所述重新训练的模型对应的参数。
上述方案中，所述从所述第三网元获取第六信息，包括：
直接从所述第三网元获取所述第六信息；
或者，
通过具备数据采集功能的NF，从所述第三网元获取所述第六信息。
上述方案中，所述第五信息包含所述第一信息和/或所述第三信息；所述第一信息和/或所述第三信息用于供所述第三网元重新训练所述模型。
本公开实施例还提供了一种信息处理方法，应用于第三网元，包括：
接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
重新训练所述模型。
上述方案中，所述接收第一网元发送的第五信息，包括：
直接接收所述第一网元发送的第五信息；
或者，
通过具备数据采集功能的NF，接收所述第一网元发送的第五信息。
上述方案中，所述方法还包括：
向第一网元发送第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
上述方案中，所述第六信息包括以下之一：
所述重新训练的模型；
所述重新训练的模型的文件地址；
所述重新训练的模型对应的参数。
上述方案中，所述向第一网元发送第六信息，包括：
直接向第一网元发送所述第六信息；
或者，
通过具备数据采集功能的NF，向第一网元发送所述第六信息。
上述方案中，所述第五信息包含第一信息和/或第三信息；所述重新训练所述模型，包括：
至少利用所述第一信息和/或第三信息，重新训练所述模型；其中，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第三信息包括所述模型的性能。
上述方案中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
所述第二信息被第二网元消费后的网络数据包括以下至少之一：
网络状态数据；
网络性能数据；
网络运行数据。
上述方案中，所述第三信息包括以下至少之一：
所述模型的Accuracy；
所述模型的Precision；
所述模型的Recall。
本公开实施例还提供了一种信息处理方法，应用于第二网元，包括：
向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
上述方案中，所述向第一网元发送第一信息，包括：
直接向所述第一网元发送所述第一信息；
或者，
通过具备数据采集功能的NF，向所述第一网元发送所述第一信息。
上述方案中，所述直接向所述第一网元发送所述第一信息，包括：
接收所述第一网元发送的第一消息，所述第一消息用于请求所述第一信息；基于所述第一消息向所述第一网元发送所述第一信息；
或者，
接收所述第一网元发送的第二消息，所述第二消息用于订阅所述第一信息；基于所述第二消息向所述第一网元发送所述第一信息。
上述方案中，所述通过具备数据采集功能的NF，向所述第一网元发送所述第一信息，包括：
接收所述具备数据采集功能的NF发送的第十一消息，所述第十一消息用于请求所述第一信息；基于所述第十一消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；
或者，
接收所述具备数据采集功能的NF发送的第十二消息，所述第十二消息 用于订阅所述第一信息；基于所述第十二消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；其中，
所述第三消息或第四消息是所述第一网元发送的；所述第三消息用于请求所述第一信息；所述第四消息用于订阅所述第一信息。
上述方案中，所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
所述第二信息被第二网元消费后的网络数据包括以下至少之一：
网络状态数据；
网络性能数据；
网络运行数据。
上述方案中，所述第三信息包括以下至少之一：
所述模型的Accuracy；
所述模型的Precision；
所述模型的Recall。
本公开实施例还提供了一种信息处理装置，设置在第一网元，包括：
获取单元，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
第一处理单元，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
本公开实施例还提供了一种信息处理装置，设置在第三网元，包括：
第一接收单元，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
第二处理单元，用于重新训练所述模型。
本公开实施例还提供了一种信息处理装置，设置在第二网元，包括：
第二发送单元，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息， 所述第三信息包括所述模型的性能。
本公开实施例还提供了一种第一网元，包括：第一通信接口和第一处理器；其中，
所述第一通信接口，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
所述第一处理器，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
本公开实施例还提供了一种第三网元，包括：第二通信接口和第二处理器；其中，
所述第二通信接口，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
所述第二处理器，用于重新训练所述模型。
本公开实施例还提供了一种第二网元，包括：第三通信接口和第三处理器；其中，
所述第三通信接口，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
本公开实施例还提供了一种第一网元，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，
其中，所述第一处理器用于运行所述计算机程序时，执行上述第一网元侧任一方法的步骤。
本公开实施例还提供了一种第三网元，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，
其中，所述第二处理器用于运行所述计算机程序时，执行上述第三网元侧任一方法的步骤。
本公开实施例还提供了一种第二网元，包括：第三处理器和用于存储能 够在处理器上运行的计算机程序的第三存储器，
其中，所述第三处理器用于运行所述计算机程序时，执行上述第二网元侧任一方法的步骤。
本公开实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一网元侧任一方法的步骤，或者实现上述第三网元侧任一方法的步骤，或者实现上述第二网元侧任一方法的步骤。
本公开实施例提供的信息处理方法、装置、相关设备及存储介质，第一网元获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。本公开实施例提供的方案，当第一网元通过模型提供分析服务时，第一网元可以根据该分析服务相关的分析执行信息(即第一信息)和/或该分析服务的分析结果(即第二信息)确定模型的性能，由于模型的性能能够反映该分析服务的分析准确性，从而使得第一网元能够感知自身提供的分析服务的分析准确性，进而能够基于分析服务的分析准确性进一步训练模型，以提高分析服务的分析准确性。
附图说明
图1为相关技术中NWDAF分析服务架构示意图；
图2为相关技术中NWDAF分析服务开放流程示意图；
图3为本公开实施例一种信息处理方法的流程示意图；
图4为本公开实施例另一种信息处理方法的流程示意图；
图5为本公开应用实施例一种提高NWDAF分析准确性的流程示意图；
图6为本公开应用实施例另一种提高NWDAF分析准确性的流程示意图；
图7为本公开实施例一种信息处理装置的结构示意图；
图8为本公开实施例另一种信息处理装置的结构示意图；
图9为本公开实施例第三种信息处理装置的结构示意图；
图10为本公开实施例第一网元的结构示意图；
图11为本公开实施例第三网元的结构示意图；
图12为本公开实施例第二网元的结构示意图；
图13为本公开实施例信息处理系统的结构示意图。
具体实施方式
下面结合附图及实施例对本公开再作进一步详细的描述。
相关技术中，如图2所示，NWDAF的分析服务开放流程可以包括以下步骤：
步骤201：任一NF向包含分析逻辑功能(Analytics Logical Function，AnLF)的NWDAF(英文可以表达为NWDAF containing AnLF)发送分析请求/订阅，之后执行步骤202；
这里，任一NF可以理解为NWDAF分析服务的消费者，比如接入与移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、策略控制功能(Policy Control Function，PCF)等。
另外，包含AnLF的NWDAF也可以表示为NWDAF AnLF，用于向消费者NF提供推理服务(即分析服务，比如预测、决策等)，是执行机器学习(Machine Learning，ML)模型推理(即得到分析服务的分析结果)的网元。任一NF可以通过调用NWDAF开放的服务操作向NWDAF AnLF请求/订阅指定分析标识(比如Analytics ID)的分析服务，用于自身决策或触发其他NF执行相关策略。
步骤202：NWDAF AnLF进行模型调用，之后执行步骤203；
这里，NWDAF AnLF可以基于消费者NF的分析请求/订阅，从包含模型训练逻辑功能(Model Training Logical Function，MTLF)的NWDAF(英文可以表达为NWDAF containing MTLF)调用指定的ML模型用于后续推理得到分析结果，即向包含MTLF的NWDAF请求/订阅指定Analytics ID的ML模型。
另外，包含MTLF的NWDAF也可以表示为NWDAF MTLF，是执行ML模型训练的网元，能够向NWDAF AnLF提供指定Analytics ID的ML模型，用于将训练完毕的ML模型部署或更新到NWDAF AnLF。
步骤203：NWDAF AnLF进行数据采集，之后执行步骤204；
这里，NWDAF AnLF可以通过数据收集协调功能(Data Collection Coordinator Function，DCCF)、分析数据存储功能(Analytics Data Repository Function，ADRF)、消息框架适配器功能(Massaging Framework Adaptor Function，MFAF)等具备数据采集功能的NF从数据源采集利用ML模型进行推理所需要的输入数据，或者直接从数据源采集输入数据；ML模型的输入数据的具体类型可以基于特定的用例(Use Case)确定；数据源可以包括NF、应用功能(Application Function，AF)、操作维护管理(Operation Administration and Maintenance，OAM)、网络仓库功能(Network Repository Function，NRF)、终端(也可以称为用户设备(User Equipment，UE))等，能够为NWDAF提供所需的数据。
步骤204：NWDAF AnLF推理得到分析结果，之后执行步骤205；
这里，NWDAF AnLF将步骤203采集的数据输入ML模型，通过ML模型进行推理(即数据分析)，得到ML模型输出的分析结果；推理输出数据(即ML模型输出的分析结果)的具体类型也可以基于特定的Use Case确定。
步骤205：NWDAF AnLF向任一NF反馈/通知分析结果。
这里，NWDAF AnLF向消费者NF反馈/通知分析结果，以供消费者NF决策或触发其他NF执行相关策略。
从上面的描述可以看出，NWDAF MTLF仅根据NWDAF AnLF的请求/订阅提供指定Analytics ID的ML模型，NWDAF MTLF和NWDAF AnLF既无法感知NWDAF AnLF使用ML模型(即提供分析服务)进行分析的分析准确性，也无相关机制用于提升分析服务的分析准确性。在一些情况下，NWDAF AnLF使用ML模型时的分析准确性并不稳定，比如，由于训练数据和推理数据之间的差异，可能导致NWDAF MTLF与NWDAF AnLF的分析准确性存在差异，这可能导致NWDAF AnLF的分析准确性低于NWDAF MTLF。
另外，NWDAF AnLF和NWDAF MTLF无法感知分析服务的分析结果是否用于消费者NF的决策，即NWDAF AnLF和NWDAF MTLF无法感知NWDAF AnLF使用ML模型进行分析的分析准确性是否达到消费者NF的指 定要求，一旦分析准确性不能满足消费者NF的指定要求，会导致消费者NF做出错误决策。
综上所述，相关技术中，没有任何机制来感知NWDAF的分析准确性，从而也无法在NWDAF的分析准确性不能满足消费者NF的指定要求的情况下提高NWDAF的分析准确性。
基于此，在本公开的各种实施例中，当第一网元(比如NWDAF AnLF)通过模型提供分析服务时，第一网元可以根据该分析服务相关的分析执行信息(后续描述中记作第一信息)和/或该分析服务的分析结果(后续描述中记作第二信息)确定模型的性能，由于模型的性能能够反映该分析服务的分析准确性，从而使得第一网元能够感知自身提供的分析服务的分析准确性，进而能够基于分析服务的分析准确性进一步训练模型，比如在分析服务的分析准确性不能满足消费者NF的指定要求的情况下重新训练模型，以提高分析服务的分析准确性。
本公开实施例提供一种信息处理方法，应用于第一网元，如图3所示，该方法包括：
步骤301：获取第一信息；
这里，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
步骤302：根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
实际应用时，所述第一网元可以包括以下至少之一：NWDAF、NWDAF AnLF、推理平台、推理模块、推理功能等，本公开实施例对此不作限定，只要能够通过模型提供分析结果即可，即能够提供分析服务即可；所述提供分析服务，可以理解为派生(英文可以表达为derives)分析服务。
实际应用时，所述第一信息也可以称为分析执行信息、分析执行结果等；所述第二信息也可以称为分析信息、分析结果等；所述第三信息也可以称为模型性能信息等；本公开实施例对名词不作限定，只要实现其功能即可。
实际应用时，所述第一信息可以是所述分析服务相关的网元(后续描述中记作第二网元)基于第二信息执行相关操作产生的；换句话说，所述第一 信息可以包括第二信息被第二网元消费后的网络数据。另外，可以理解，所述第一网元通过模型提供的分析结果，是指所述第一网元通过所述模型提供分析服务产生的分析结果。
基于此，在一实施例中，所述第一信息可以包括第二信息被第二网元消费后的网络数据。
其中，在一实施例中，所述第一信息还可以包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
所述第二信息被第二网元消费后的网络数据包括以下至少之一：
网络状态数据；
网络性能数据；
网络运行数据。
这里，所述第二网元消费所述第二信息的结果可以包括：所述第二网元是否使用(即应用)了所述第二信息执行相关操作。
实际应用时，所述第一信息包括第二信息被第二网元消费后的网络数据，还可以理解为所述第二网元获得所述第二信息后的网络数据；换句话说，在步骤301之前，所述第二网元会获得所述第二信息。具体地，所述第二网元可以向所述第一网元请求指定类型(比如指定Analytics ID)的分析服务，所述第一网元通过指定的类型所对应的模型进行数据推理，得到所述第二信息，并将所述第二信息发送给所述第二网元；所述第二网元获得所述第二信息后，基于所述第二信息执行相关操作，从而产生所述第一信息。
实际应用时，所述第一信息、所述第二信息、所述第四信息和所述网络数据包含的具体内容可以根据需求(比如消费者NF向所述第一网元发送的服务请求/订阅中Analytics ID所对应的Use Case等)确定。
实际应用时，所述第二网元可以包括第一NF(即消费者NF)和/或第二NF；所述第一NF至少用于通过执行相关操作以消费所述第二信息；所述第二NF至少用于在所述第一NF消费所述第二信息的过程中，被所述第一NF触发执行相关操作。
这里，所述第一NF也可以称为分析消费者(英文可以表达为Analytics Consumer)、消费者NF等；所述第二NF也可以理解为除分析消费者外的、 与分析相关的其他NF；本公开实施例对名词不作限定，只要实现其功能即可。
另外，可以理解，在一次分析服务中，只会有唯一一个消费者NF；换句话说，所述第二网元可以包括：一个第一NF，和/或，至少一个第二NF。
实际应用时，所述第一NF和/或第二NF基于所述第二信息执行的相关操作可以包括：执行预设策略等。示例性地，假设第一NF为SMF，并假设SMF向所述第一网元发送的服务请求/订阅中Analytics ID指示SMF所需的分析服务为“NF负载信息(NF load information)”，即SMF向所述第一网元请求相关用户平面功能(User Plane Function，UPF)的NF负载分析服务，则所述第一网元可以向SMF响应或通知包含NF标识(比如NF ID)、NF类型、NF状态、NF资源使用情况、NF负载、NF峰值负载等内容的第二信息；SMF接收到所述第二信息后，可以基于所述第二信息选择UPF，此时，所述第四信息可以包括SMF是否使用所述第二信息选择UPF、或选择的UPF的相关信息等，所述第二信息被第二网元消费后的网络数据可以包括NF负载、NF状态、NF资源使用情况等。
在步骤301中，实际应用时，所述第一网元可以直接从所述第二网元获取所述第一信息，也可以通过一些具备数据采集功能的NF从所述第二网元获取所述第一信息。
基于此，在一实施例中，步骤301的具体实现可以包括：
直接从所述第二网元获取所述第一信息；
或者，
通过具备数据采集功能的NF，从所述第二网元获取所述第一信息。
其中，具备数据采集功能的NF可以包括DCCF、MFAF、ADRF中的至少之一。除数据采集功能外，DCCF、MFAF和ADRF还具有数据传输、数据存储等功能。
实际应用时，通过具备数据采集功能的NF，能够解耦数据源与数据消费者，从而能够更加高效地向数据消费者提供所需的数据；换句话说，通过具备数据采集功能的NF，能够减轻本公开实施例中网络架构和网元功能相对于相关技术的变化所产生的额外信令负载(比如所述第一信息的传输)。
实际应用时，所述第一网元可以通过请求-响应(英文可以表达为 Request-Response)的交互机制，直接从所述第二网元获取所述第一信息。
基于此，在一实施例中，所述直接从所述第二网元获取所述第一信息，可以包括：
向所述第二网元发送第一消息，所述第一消息用于请求所述第一信息；接收所述第二网元基于所述第一消息发送的第一信息。
这里，消息可以理解为信令；基于所述第一消息发送所述第一信息，可以理解为基于所述第一消息响应，即所述第一网元与所述第二网元通过请求-响应的交互机制进行通信。
实际应用时，所述第一网元也可以通过订阅-通知(英文可以表达为Subscribe-Notify)的交互机制，直接从所述第二网元获取所述第一信息。
基于此，在一实施例中，所述直接从所述第二网元获取所述第一信息，可以包括：
向所述第二网元发送第二消息，所述第二消息用于订阅所述第一信息；接收所述第二网元基于所述第二消息发送的第一信息。
这里，基于所述第二消息发送所述第一信息，可以理解为基于所述第二消息通知，即所述第一网元与所述第二网元通过订阅-通知的交互机制进行通信。
实际应用时，通过具备数据采集功能的NF，从所述第二网元获取所述第一信息时，所述第一网元与所述具备数据采集功能的NF之间可以通过请求-响应的交互机制进行通信。
基于此，在一实施例中，所述通过具备数据采集功能的NF，从所述第二网元获取所述第一信息，可以包括：
向所述具备数据采集功能的NF发送第三消息，所述第三消息用于请求所述第一信息；接收所述具备数据采集功能的NF基于所述第三消息发送的第一信息。
实际应用时，所述具备数据采集功能的NF接收到所述第三消息后，可以通过请求-响应的交互机制，从所述第二网元获取所述第一信息。具体地，所述具备数据采集功能的NF可以向所述第二网元发送第十一消息，所述第十一消息用于请求所述第一信息；并在接收到所述第二网元基于所述第十一 消息发送的第一信息后，基于所述第三消息向所述第一网元发送所述第一信息。
实际应用时，通过具备数据采集功能的NF，从所述第二网元获取所述第一信息时，所述第一网元与所述具备数据采集功能的NF之间可以通过订阅-通知的交互机制进行通信。
基于此，在一实施例中，所述通过具备数据采集功能的NF，从所述第二网元获取所述第一信息，可以包括：
向所述具备数据采集功能的NF发送第四消息，所述第四消息用于订阅所述第一信息；接收所述具备数据采集功能的NF基于所述第四消息发送的第一信息。
实际应用时，所述具备数据采集功能的NF接收到所述第四消息后，也可以通过订阅-通知的交互机制，从所述第二网元获取所述第一信息。具体地，所述具备数据采集功能的NF可以向所述第二网元发送第十二消息，所述第十二消息用于订阅所述第一信息；并在接收到所述第二网元基于所述第十二消息发送的第一信息后，基于所述第四消息向所述第一网元发送所述第一信息。
在一实施例中，步骤302的具体实现可以包括以下至少之一：
通过对所述第一信息和所述第二信息进行对比，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行测量(英文可以表达为measure)，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行计算(英文可以表达为calculate)，确定所述第三信息。
其中，所述第三信息可以包括以下至少之一：
所述模型的Accuracy；
所述模型的Precision；
所述模型的Recall。
这里，Accuracy表示所述模型的分析结果(即所述第二信息)中正确预测为正与正确预测为负的样本占所有样本的比例，可以通过以下公式计算：
Accuracy＝(TP+TN)/(TP+FP+TN+FN)   (1)
其中，TP表示真阳(True Positive)；TN表示真阴(True Negative)；FP表示假阳(False Positive)；FN表示假阴(False Negative)。
实际应用时，Precision也可以称为精确率；Precision表示所述模型的分析结果中正确预测为正的样本占所有预测样本的比例，可以通过以下公式计算：
Precision＝TP/(TP+FP)   (2)
实际应用时，Recall也可以称为查全率；Recall表示所述模型的分析结果中正确预测为正的样本中占真正的正样本与真正的负样本的比例，可以通过以下公式计算：
Recall＝TP/(TP+FN)   (3)
实际应用时，步骤302的具体实现方式可以根据需求(比如消费者NF向所述第一网元发送的服务请求/订阅中Analytics ID所对应的Use Case等)确定。示例性地，针对“NF负载分析”Use Case，Accuracy可以表示正确预测网络负载变高与网络负载变低的样本占所有网络负载样本的比例；Precision可以表示正确预测网络负载变高的样本占所有预测网络负载样本的比例；Recall可以表示正确预测网络负载变高的样本占所有网络负载变高样本的比例。
实际应用时，为了提高分析服务的分析准确性，所述第一网元确定所述第三信息后，可以根据所述第三信息判断所述模型的性能是否满足预设条件，即判断所述模型是否需要重新训练；并在所述模型需要重新训练(即所述模型的性能不满足所述预设条件)的情况下指示(也可以理解为触发)其他至少用于训练所述模型的网元(后续描述中记作第三网元)重新训练所述模型。
基于此，在一实施例中，该方法还可以包括：
根据所述第三信息，判断所述模型是否需要重新训练；
在所述模型需要重新训练的情况下，向第三网元发送第五信息，所述第五信息用于指示所述第三网元重新训练所述模型；所述第三网元至少用于训练所述模型。
实际应用时，所述第三网元可以包括以下至少之一：NWDAF、NWDAF MTLF、训练平台、训练模块、训练功能等，本公开实施例对此不作限定，只 要能够支持ML模型训练即可。
实际应用时，所述重新训练所述模型，可以理解为对所述模型的更新、优化、进一步训练等。
实际应用时，所述第一网元可以通过判断所述模型的性能是否满足预设条件来判断所述模型是否需要重新训练，在所述模型的性能满足所述预设条件的情况下，确定所述模型不需要重新训练；在所述模型的性能不满足所述预设条件的情况下，确定所述模型需要重新训练。
这里，与所述第三信息向对应的，所述预设条件可以包括以下至少之一：
针对所述模型的Accuracy的预设指标(即阈值)；
针对所述模型的Precision的预设指标；
针对所述模型的Recall的预设指标。
实际应用时，所述模型的性能满足所述预设条件，可以包括以下至少之一：
所述模型的Accuracy大于或等于对应的预设指标；
所述模型的Precision大于或等于对应的预设指标；
所述模型的Recall大于或等于对应的预设指标。
所述模型的性能不满足所述预设条件，可以包括以下至少之一：
所述模型的Accuracy小于对应的预设指标；
所述模型的Precision小于对应的预设指标；
所述模型的Recall小于对应的预设指标。
这里，在所述预设条件包含至少两个预设指标的情况下，当所述模型的性能同时满足所述至少两个预设指标时，才能确定所述模型的性能满足所述预设条件；当所述模型的性能不满足所述至少两个预设指标中的任一指标时，可以确定所述模型的性能不满足所述预设条件。
实际应用时，所述第一网元可以从本地或所述第二网元获取所述预设条件，其中，从所述第二网元获取的预设条件可以理解为消费者NF指定的要求；示例性地，消费者NF可以在向所述第一网元请求/订阅分析服务时向所述第一网元发送所述预设条件。
实际应用时，所述第三网元接收到所述第五信息后，可以确定所述模型 需要重新训练，并开始重新训练所述模型。所述模型重新训练完毕后，所述第三网元可以向所述第一网元发送重新训练的模型的相关信息，以供所述第一网元获得重新训练的模型，并利用重新训练的模型提供分析服务。
基于此，在一实施例中，该方法还可以包括：
从所述第三网元获取第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
其中，所述第六信息可以包括以下之一：
所述重新训练的模型；
所述重新训练的模型的文件地址(英文可以表达为file address)；
所述重新训练的模型对应的参数。
实际应用时，所述第六信息也可以称为模型信息(英文可以表达为model information)等，本公开实施例对名词不作限定，只要能够供所述第一网元得到重新训练的模型即可。
实际应用时，所述重新训练的模型的文件地址可以包括完全限定域名(Fully Qualified Domain Name，FQDN)、统一资源定位符(Uniform Resource Locator，URL)等；所述重新训练的模型对应的参数可以包括超参数(比如权重等)、元数据(英文可以表达为meta data)等；所述第六信息的具体内容可以根据需求(比如网络部署情况)设置，本公开实施例对此不作限定。
实际应用时，所述第一网元可以直接与所述第三网元进行数据传输，也可以通过具备数据采集功能的NF与所述第三网元进行数据传输。
基于此，在一实施例中，所述向第三网元发送第五信息，可以包括：
直接向第三网元发送所述第五信息；
或者，
通过具备数据采集功能的NF，向第三网元发送所述第五信息。
在一实施例中，所述从所述第三网元获取第六信息，可以包括：
直接从所述第三网元获取所述第六信息；
或者，
通过具备数据采集功能的NF，从所述第三网元获取所述第六信息。
实际应用时，所述第一网元、所述具备数据采集功能的NF及所述第三 网元之间可以通过请求-响应的交互机制进行通信。
具体地，所述第一网元直接向所述第三网元发送所述第五信息时，可以向所述第三网元发送第五消息，所述第五消息用于请求重新训练的模型，所述第五消息携带所述第五信息；所述第三网元接收到所述第五消息后，可以开始重新训练所述模型，并在所述模型重新训练完毕后，基于所述第五消息向所述第一网元发送第六信息。
所述第一网元通过具备数据采集功能的NF，向第三网元发送所述第五信息时，可以向所述具备数据采集功能的NF发送第七消息，所述第七消息用于请求重新训练的模型，所述第七消息携带所述第五信息；所述具备数据采集功能的NF接收到所述第七消息后，可以向所述第三网元发送第九消息，所述第九消息用于请求重新训练的模型，所述第九消息携带所述第五信息；所述第三网元接收到所述第九消息后，可以开始重新训练所述模型，并在所述模型重新训练完毕后，基于所述第九消息向所述具备数据采集功能的NF发送第六信息，以供所述具备数据采集功能的NF基于所述第七消息向所述第一网元发送所述第六信息。
实际应用时，所述第一网元、所述具备数据采集功能的NF及所述第三网元之间可以通过订阅-通知的交互机制进行通信。
具体地，所述第一网元直接向所述第三网元发送所述第五信息时，可以向所述第三网元发送第六消息，所述第六消息用于订阅重新训练的模型，所述第六消息携带所述第五信息；所述第三网元接收到所述第六消息后，可以开始重新训练所述模型，并在所述模型重新训练完毕后，基于所述第六消息向所述第一网元发送第六信息。
所述第一网元通过具备数据采集功能的NF，向第三网元发送所述第五信息时，可以向所述具备数据采集功能的NF发送第八消息，所述第八消息用于订阅重新训练的模型，所述第八消息携带所述第五信息；所述具备数据采集功能的NF接收到所述第八消息后，可以向所述第三网元发送第十消息，所述第十消息用于订阅重新训练的模型，所述第十消息携带所述第五信息；所述第三网元接收到所述第十消息后，可以开始重新训练所述模型，并在所述模型重新训练完毕后，基于所述第十消息向所述具备数据采集功能的NF 发送第六信息，以供所述具备数据采集功能的NF基于所述第八消息向所述第一网元发送所述第六信息。
这里，需要说明的是，在所述第一网元通过订阅-通知的交互机制，直接或通过具备数据采集功能的NF向所述第三网元订阅重新训练的模型的情况下，所述模型的性能不满足所述预设条件可以不是一个实时事件；换句话说，无论所述模型的性能是否满足预设条件，所述第一网元都可以向所述第三网元订阅重新训练的模型，所述第三网元可以周期性或触发性(比如预设事件)地重新训练所述模型，并向所述第一网元周期性地发送所述第六信息。
实际应用时，所述第三网元重新训练所述模型所使用的数据可以包括以下至少之一：
从NF、AF、OAM、NRF、UE等数据源采集的数据；
所述第一信息；
所述第三信息。
这里，在所述第三网元需要利用所述第一信息和/或所述第三信息重新训练所述模型的情况下，所述第一网元需要将所述第一信息和/或所述第三信息发送至所述第三网元。
基于此，在一实施例中，所述第五信息包含所述第一信息和/或所述第三信息；所述第一信息和/或所述第三信息用于供所述第三网元重新训练所述模型。
这里，所述第三网元接收到所述第五信息后，可以利用从数据源采集的数据、所述第一信息、所述第三信息中的至少之一重新训练所述模型。
相应地，本公开实施例还提供了一种信息处理方法，应用于第三网元，如图4所示，该方法包括：
步骤401：接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
步骤402：重新训练所述模型。
其中，在一实施例中，所述接收第一网元发送的第五信息，可以包括：
直接接收所述第一网元发送的第五信息；
或者，
通过具备数据采集功能的NF，接收所述第一网元发送的第五信息。
在一实施例中，所述方法还可以包括：
向第一网元发送第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
在一实施例中，所述向第一网元发送第六信息，可以包括：
直接向第一网元发送所述第六信息；
或者，
通过具备数据采集功能的NF，向第一网元发送所述第六信息。
在一实施例中，所述第五信息包含第一信息和/或第三信息；所述重新训练所述模型，可以包括：
至少利用所述第一信息和/或第三信息，重新训练所述模型；其中，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第三信息包括所述模型的性能。
这里，需要说明的是，所述第三网元的具体处理过程已在上文详述，这里不再赘述。
相应地，本公开实施例还提供了一种信息处理方法，应用于第二网元，该方法包括：
向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
其中，在一实施例中，所述向第一网元发送第一信息，可以包括：
直接向所述第一网元发送所述第一信息；
或者，
通过具备数据采集功能的NF，向所述第一网元发送所述第一信息。
在一实施例中，所述直接向所述第一网元发送所述第一信息，可以包括：
接收所述第一网元发送的第一消息，所述第一消息用于请求所述第一信息；基于所述第一消息向所述第一网元发送所述第一信息；
或者，
接收所述第一网元发送的第二消息，所述第二消息用于订阅所述第一信息；基于所述第二消息向所述第一网元发送所述第一信息。
在一实施例中，所述通过具备数据采集功能的NF，向所述第一网元发送所述第一信息，可以包括：
接收所述具备数据采集功能的NF发送的第十一消息，所述第十一消息用于请求所述第一信息；基于所述第十一消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；
或者，
接收所述具备数据采集功能的NF发送的第十二消息，所述第十二消息用于订阅所述第一信息；基于所述第十二消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；其中，
所述第三消息或第四消息是所述第一网元发送的；所述第三消息用于请求所述第一信息；所述第四消息用于订阅所述第一信息。
这里，需要说明的是，所述第二网元的具体处理过程已在上文详述，这里不再赘述。
本公开实施例提供的信息处理方法，第一网元获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。本公开实施例提供的方案，当第一网元通过模型提供分析服务时，第一网元可以根据该分析服务相关的分析执行信息(即第一信息)和/或该分析服务的分析结果(即第二信息)确定模型的性能，由于模型的性能能够反映该分析服务的分析准确性，从而使得第一网元能够感知自身提供的分析服务的分析准确性，进而能够基于分析服务的分析准确性进一步训练模型，以提高分析服务的分析准确性。
下面结合应用实施例对本公开再作进一步详细的描述。
在本应用实施例中，首先，NWDAF AnLF(即上述第一网元)支持从消 费者NF(即上述第二网元)采集分析执行信息(即上述第一信息)，消费者NF支持向NWDAF AnLF反馈分析执行信息；分析执行信息可以包括消费者NF基于NWDAF反馈的分析结果(即上述第二信息)进行决策的信息(即上述第四信息)，以及该决策引起的网络状态变化的相关信息(即上述第二信息被消费后的网络数据)。
其次，NWDAF AnLF支持基于消费者NF的分析执行信息与先前向消费者NF反馈的分析结果，对ML模型(即上述模型)进行性能评估，得到模型性能信息(即上述第三信息)；NWDAF MTLF(即上述第三网元)支持从NWDAF AnLF采集模型性能信息，NWDAF AnLF支持向NWDAF MTLF反馈模型性能信息。
第三，NWDAF MTLF支持基于模型性能信息，进一步采集数据以重新训练ML模型，进一步采集的数据(即重新训练ML模型的输入数据)可以包括以下至少之一：
从NF、AF、OAM、NRF、UE等数据源采集的数据；
消费者NF向NWDAF AnLF反馈的分析执行信息；
NWDAF AnLF对ML模型进行性能评估得到的模型性能信息。
具体地，在本应用实施例中，如图5所示，提高NWDAF分析准确性的流程可以包括以下步骤：
步骤501：NWDAF AnLF采集分析执行信息，之后执行步骤502；
步骤502：NWDAF AnLF进行模型性能评估，之后执行步骤503；
步骤503：NWDAF AnLF向NWDAF MTLF发送模型性能信息，之后执行步骤504；
步骤504：NWDAF MTLF进一步训练模型(即重新训练ML模型)，之后执行步骤505；
步骤505：NWDAF MTLF向NWDAF AnLF发送模型(即上述第六信息)。
实际应用时，在步骤501中，NWDAF AnLF可以通过直接向消费者NF发起数据订阅流程，或通过具备数据采集功能的NF(比如DCCF、MFAF、ADRF中的至少之一)向消费者NF发起数据订阅流程，以采集消费者NF的分析执行信息；分析执行信息包含的具体内容基于特定Use Case确定。
在步骤502中，NWDAF AnLF可以基于采集的分析执行信息与先前提供的分析结果(即步骤205中的分析结果)，对ML模型进行性能评估，得到模型性能信息，比如Accuracy、Precision、Recall等。
在步骤503中，NWDAF AnLF可以判断ML模型的模型性能信息是否达到要求(即上述预设条件)，如果模型性能信息未达到要求，NWDAF AnLF可以向NWDAF MTLF反馈模型性能信息(即上述第五信息)。
在步骤504中，NWDAF MTLF利用以下数据中的至少之一，重新训练ML模型：
从NF、AF、OAM、NRF、UE等数据源采集的数据；
消费者NF向NWDAF AnLF反馈的分析执行信息；
NWDAF AnLF对ML模型进行性能评估得到的模型性能信息。
这里，分析执行信息和/或模型性能信息可由NWDAF AnLF直接传输给NWDAF MTLF，或通过具备数据采集功能的NF进行数据传输。
在步骤505中，NWDAF MTLF将训练完毕的ML模型部署到NWDAF AnLF，用于后续分析服务的开放。
下面结合相关技术中的“NF负载分析”Use Case对提高NWDAF分析准确性的流程进行详细描述。
如图6所示，相关技术中，NF负载分析服务的开放流程可以包括以下步骤：
步骤601：消费者NF向NWDAF AnLF发送Nnwdaf_AnalyticsInfo_Request或Nnwdaf_AnalyticsSubscription_Subscribe request(type of analytics＝NF load information)，以请求NF负载分析服务，之后执行步骤602；
这里，示例性地，在UPF选择的应用场景中，NF负载分析服务的消费者可以是SMF，SMF向NWDAF订阅或请求相关UPF的负载分析，SMF在收到NWDAF通知或响应的UPF负载分析结果后，可以结合其他UPF选择的策略条件(比如UE的位置等)，进行UPF的选择。
步骤602：数据采集(Data Collection)，之后执行步骤603；
这里，NWDAF AnLF采集NF、AF、OAM、NRF、UE等数据源的数据 以用于指定NF的负载分析；如果部署有具有数据采集功能的NF，则NWDAF AnLF通过具有数据采集功能的NF采集所需的分析数据。所需的分析数据可以包括NF负载、NF状态、NF资源使用情况、NF资源配置、UPF流量使用报告、UE移动速度、UE移动方向、UE属性信息等。
步骤603：NWDAF AnLF派生请求的分析服务(英文可以表达为NWDAF derives requested analytics)，之后执行步骤604；
这里，NWDAF AnLF基于步骤602采集到的数据进行分析，即利用ML模型进行数据推理，得到ML模型输出的分析结果；分析结果可以包括NF ID、NF类型、NF状态、NF资源使用情况、NF负载、NF峰值负载、分析置信度等内容。
步骤604：NWDAF AnLF向消费者NF发送Nnwdaf_AnalyticsInfo_Request response或Nnwdaf_AnalyticsSubscription_Subscribe response(NF id，NF load information)，以向消费者反馈分析结果，之后执行步骤605；
步骤605：在订阅模式下，持续提供分析服务；
这里，如果消费者NF采用订阅方式请求分析服务，则NWDAF AnLF持续为消费者NF提供分析数据(即分析结果)，分析触发情况可以基于预设周期或事件改变等方式。
在步骤605之后，可以通过执行步骤606至步骤610，提高NWDAF分析准确性，即提高NF负载分析服务的分析准确性：
步骤606：NWDAF AnLF与消费者NF进行分析执行信息的采集/反馈，之后执行步骤607；
步骤607：NWDAF AnLF评估模型性能，之后执行步骤608；
步骤608：NWDAF AnLF向NWDAF MTLF反馈模型性能(即上述第五信息)，之后执行步骤609；
步骤609：NWDAF MTLF进一步训练模型，之后执行步骤610；
步骤610：NWDAF MTLF向NWDAF AnLF部署模型(即上述第六信息)。
其中，实际应用时，在步骤606中，NWDAF AnLF可以向消费者NF发起数据订阅流程，从消费者NF采集分析执行信息；如果部署有具有数据采集功能的NF，则NWDAF AnLF通过具有数据采集功能的NF采集分析执行 信息。分析执行信息可以包括消费者NF本地的执行信息和/或消费者NF触发其他NF执行操作的信息，比如是否使用分析结果、使用分析结果后相关信息(比如网络状态)的变换数据等。示例性地，分析执行信息可以包括NF负载、NF状态、NF资源使用情况等内容。
在步骤607中，NWDAF AnLF可以基于分析执行信息与先前提供的分析结果(即步骤604和步骤605中的分析结果)，评估ML模型的性能(比如Accuracy、Precision、Recall等)。
在步骤608中，如果ML模型的性能未达到要求(即上述预设条件)，NWDAF AnLF向NWDAF MTLF反馈模型性能信息(即上述第五信息)。
在步骤609中，NWDAF MTLF利用以下数据中的至少之一，进一步训练ML模型：
步骤606中的分析执行信息；
步骤608中的模型性能信息；
从NF、AF、OAM、NRF、UE等数据源采集的数据。
示例性地，进一步训练ML模型所需的训练数据可以包括NF负载、NF状态、NF资源使用情况、NF资源配置、UPF流量使用报告等信息。
另外，实际应用时，分析执行信息和/或模型性能信息可由NWDAF AnLF直接传输给NWDAF MTLF，或通过具有数据采集功能的NF传输给NWDAF MTLF。
在步骤610中，NWDAF MTLF将进一步训练完毕的ML模型部署到NWDAF AnLF，用于后续NF负载分析服务的开放。
本应用实施例提供的方案，具有以下优点：
1)通过消费者NF、NWDAF AnLF和NWDAF MTLF之间的交互机制，使得NWDAF(即AnLF和MTLF)能够感知ML模型的性能(即分析服务的分析准确性)；
2)NWDAF AnLF至少基于消费者NF反馈的分析执行信息，评估ML模型的性能，NWDAF MTLF可以基于ML模型的模型性能信息，进一步训练ML模型，从而能够提高ML模型的性能，即提高后续开放的分析服务的分析准确性；
3)通过具有数据采集功能的NF，能够减轻本应用实施例中网络架构和网元功能相对于相关技术的变化所产生的额外信令负载。
为了实现本公开实施例第一网元侧的方法，本公开实施例还提供了一种信息处理装置，设置在第一网元上，如图7所示，该装置包括：
获取单元701，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
第一处理单元702，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
其中，在一实施例中，所述获取单元701，具体用于：
直接从所述第二网元获取所述第一信息；
或者，
通过具备数据采集功能的NF，从所述第二网元获取所述第一信息。
在一实施例中，所述获取单元701，还用于：
向所述第二网元发送第一消息，所述第一消息用于请求所述第一信息；接收所述第二网元基于所述第一消息发送的第一信息；
或者，
向所述第二网元发送第二消息，所述第二消息用于订阅所述第一信息；接收所述第二网元基于所述第二消息发送的第一信息。
在一实施例中，所述获取单元701，还用于：
向所述具备数据采集功能的NF发送第三消息，所述第三消息用于请求所述第一信息；接收所述具备数据采集功能的NF基于所述第三消息发送的第一信息；
或者，
向所述具备数据采集功能的NF发送第四消息，所述第四消息用于订阅所述第一信息；接收所述具备数据采集功能的NF基于所述第四消息发送的第一信息。
在一实施例中，所述第一处理单元702，还用于执行以下操作中的至少之一：
通过对所述第一信息和所述第二信息进行对比，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行测量，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行计算，确定所述第三信息。
在一实施例中，所述第一处理单元702，还用于根据所述第三信息，判断所述模型是否需要重新训练；
所述获取单元701，还用于在所述模型需要重新训练的情况下，向第三网元发送第五信息，所述第五信息用于指示所述第三网元重新训练所述模型；所述第三网元至少用于训练所述模型。
在一实施例中，所述获取单元701，还用于：
直接向第三网元发送所述第五信息；
或者，
通过具备数据采集功能的NF，向第三网元发送所述第五信息。
在一实施例中，所述获取单元701，还用于从所述第三网元获取第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
在一实施例中，所述获取单元701，还用于：
直接从所述第三网元获取所述第六信息；
或者，
通过具备数据采集功能的NF，从所述第三网元获取所述第六信息。
实际应用时，所述获取单元701可由信息处理装置中的通信接口实现；所述第一处理单元702可由信息处理装置中的处理器实现。
为了实现本公开实施例第三网元侧的方法，本公开实施例还提供了一种信息处理装置，设置在第三网元上，如图8所示，该装置包括：
第一接收单元801，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
第二处理单元802，用于重新训练所述模型。
其中，在一实施例中，所述第一接收单元801，还用于：
直接接收所述第一网元发送的第五信息；
或者，
通过具备数据采集功能的NF，接收所述第一网元发送的第五信息。
在一实施例中，该装置还包括：第一发送单元，用于向第一网元发送第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
在一实施例中，所述第一发送单元，还用于：
直接向第一网元发送所述第六信息；
或者，
通过具备数据采集功能的NF，向第一网元发送所述第六信息。
在一实施例中，所述第五信息包含第一信息和/或第三信息；所述第二处理单元802，还用于至少利用所述第一信息和/或第三信息，重新训练所述模型；其中，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第三信息包括所述模型的性能。
实际应用时，所述第一发送单元和所述第一接收单元801可由信息处理装置中的通信接口实现；所述第二处理单元802可由信息处理装置中的处理器实现。
为了实现本公开实施例第二网元侧的方法，本公开实施例还提供了一种信息处理装置，设置在第二网元上，如图9所示，该装置包括：
第二发送单元901，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
其中，在一实施例中，所述第二发送单元901，具体用于：
直接向所述第一网元发送所述第一信息；
或者，
通过具备数据采集功能的NF，向所述第一网元发送所述第一信息。
在一实施例中，如图9所示，该装置还包括第二接收单元902，用于接收所述第一网元发送的第一消息或第二消息；所述第一消息用于请求所述第一信息；所述第二消息用于订阅所述第一信息；
相应地，所述第二发送单元901，还用于：
基于所述第一消息向所述第一网元发送所述第一信息；
或者，
基于所述第二消息向所述第一网元发送所述第一信息。
在一实施例中，所述第二接收单元902，还用于接收所述具备数据采集功能的NF发送的第十一消息或第十二消息；所述第十一消息用于请求所述第一信息；所述第十二消息用于订阅所述第一信息；
相应地，所述第二发送单元901，还用于：
基于所述第十一消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；
或者，
基于所述第十二消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；其中，
所述第三消息或第四消息是所述第一网元发送的；所述第三消息用于请求所述第一信息；所述第四消息用于订阅所述第一信息。
实际应用时，所述第二发送单元901和所述第二接收单元902可由信息处理装置中的通信接口实现。
需要说明的是：上述实施例提供的信息处理装置在进行信息处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本公开实施例第一网元侧的方法，本公开实施例还提供了一种第一网元，如图10所示，该第一网元1000包括：
第一通信接口1001，能够与第二网元和第三网元进行信息交互；
第一处理器1002，与所述第一通信接口1001连接，以实现与第二网元和第三网元进行信息交互，用于运行计算机程序时，执行上述第一网元侧一 个或多个技术方案提供的方法。而所述计算机程序存储在第一存储器1003上。
具体地，所述第一通信接口1001，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元1000通过模型提供的分析结果；
所述第一处理器1002，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
其中，在一实施例中，所述第一通信接口1001，具体用于：
直接从所述第二网元获取所述第一信息；
或者，
通过具备数据采集功能的NF，从所述第二网元获取所述第一信息。
在一实施例中，所述第一通信接口1001，还用于：
向所述第二网元发送第一消息，所述第一消息用于请求所述第一信息；接收所述第二网元基于所述第一消息发送的第一信息；
或者，
向所述第二网元发送第二消息，所述第二消息用于订阅所述第一信息；接收所述第二网元基于所述第二消息发送的第一信息。
在一实施例中，所述第一通信接口1001，还用于：
向所述具备数据采集功能的NF发送第三消息，所述第三消息用于请求所述第一信息；接收所述具备数据采集功能的NF基于所述第三消息发送的第一信息；
或者，
向所述具备数据采集功能的NF发送第四消息，所述第四消息用于订阅所述第一信息；接收所述具备数据采集功能的NF基于所述第四消息发送的第一信息。
在一实施例中，所述第一处理器1002，还用于执行以下操作中的至少之一：
通过对所述第一信息和所述第二信息进行对比，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行测量，确定所述第三信息；
通过对所述第一信息和/或所述第二信息进行计算，确定所述第三信息。
在一实施例中，所述第一处理器1002，还用于根据所述第三信息，判断所述模型是否需要重新训练；
所述第一通信接口1001，还用于在所述模型需要重新训练的情况下，向第三网元发送第五信息，所述第五信息用于指示所述第三网元重新训练所述模型；所述第三网元至少用于训练所述模型。
在一实施例中，所述第一通信接口1001，还用于：
直接向第三网元发送所述第五信息；
或者，
通过具备数据采集功能的NF，向第三网元发送所述第五信息。
在一实施例中，所述第一通信接口1001，还用于从所述第三网元获取第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
在一实施例中，所述第一通信接口1001，还用于：
直接从所述第三网元获取所述第六信息；
或者，
通过具备数据采集功能的NF，从所述第三网元获取所述第六信息。
需要说明的是：所述第一通信接口1001和所述第一处理器1002的具体处理过程可参照上述方法理解。
当然，实际应用时，第一网元1000中的各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。
本公开实施例中的第一存储器1003用于存储各种类型的数据以支持第一网元1000的操作。这些数据的示例包括：用于在第一网元1000上操作的任何计算机程序。
上述本公开实施例揭示的方法可以应用于所述第一处理器1002中，或者由所述第一处理器1002实现。所述第一处理器1002可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述第一处理器1002中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器1002可以是通用处理器、数字信号处理器(Digital Signal Processor， DSP)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述第一处理器1002可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于第一存储器1003，所述第一处理器1002读取第一存储器1003中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，第一网元1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、DSP、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器(Micro Controller Unit，MCU)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
基于上述程序模块的硬件实现，且为了实现本公开实施例第三网元侧的方法，本公开实施例还提供了一种第三网元，如图11所示，该第三网元1100包括：
第二通信接口1101，能够与第一网元进行信息交互；
第二处理器1102，与所述第二通信接口1101连接，以实现与第一网元进行信息交互，用于运行计算机程序时，执行上述第三网元侧一个或多个技术方案提供的方法。而所述计算机程序存储在第二存储器1103上。
具体地，所述第二通信接口1101，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
所述第二处理器1102，用于重新训练所述模型。
其中，在一实施例中，所述第二通信接口1101，还用于：
直接接收所述第一网元发送的第五信息；
或者，
通过具备数据采集功能的NF，接收所述第一网元发送的第五信息。
在一实施例中，所述第二通信接口1101，还用于向第一网元发送第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
在一实施例中，所述第二通信接口1101，还用于：
直接向第一网元发送所述第六信息；
或者，
通过具备数据采集功能的NF，向第一网元发送所述第六信息。
在一实施例中，所述第五信息包含第一信息和/或第三信息；所述第二处理器1102，还用于至少利用所述第一信息和/或第三信息，重新训练所述模型；其中，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第三信息包括所述模型的性能。
需要说明的是：所述第二处理器1102和所述第二通信接口1101的具体处理过程可参照上述方法理解。
当然，实际应用时，第三网元1100中的各个组件通过总线系统1104耦合在一起。可理解，总线系统1104用于实现这些组件之间的连接通信。总线系统1104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线系统1104。
本公开实施例中的第二存储器1103用于存储各种类型的数据以支持第三网元1100的操作。这些数据的示例包括：用于在第三网元1100上操作的任何计算机程序。
上述本公开实施例揭示的方法可以应用于所述第二处理器1102中，或者由所述第二处理器1102实现。所述第二处理器1102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述第二处理器1102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第二处理器1102可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述第二处理器1102可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于 第二存储器1103，所述第二处理器1102读取第二存储器1103中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，第三网元1100可以被一个或多个ASIC、DSP、PLD、CPLD、FPGA、通用处理器、控制器、MCU、Microprocessor、或其他电子元件实现，用于执行前述方法。
基于上述程序模块的硬件实现，且为了实现本公开实施例第二网元侧的方法，本公开实施例还提供了一种第二网元，如图12所示，该第二网元1200包括：
第三通信接口1201，能够与第一网元进行信息交互；
第三处理器1202，与所述第三通信接口1201连接，以实现与第一网元进行信息交互，用于运行计算机程序时，执行上述第二网元侧一个或多个技术方案提供的方法。而所述计算机程序存储在第三存储器1203上。
具体地，所述第三通信接口1201，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元1200消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
其中，在一实施例中，所述第三通信接口1201，具体用于：
直接向所述第一网元发送所述第一信息；
或者，
通过具备数据采集功能的NF，向所述第一网元发送所述第一信息。
在一实施例中，所述第三通信接口1201，还用于：
接收所述第一网元发送的第一消息，所述第一消息用于请求所述第一信息；基于所述第一消息向所述第一网元发送所述第一信息；
或者，
接收所述第一网元发送的第二消息，所述第二消息用于订阅所述第一信息；基于所述第二消息向所述第一网元发送所述第一信息。
在一实施例中，所述第三通信接口1201，还用于：
接收所述具备数据采集功能的NF发送的第十一消息，所述第十一消息用于请求所述第一信息；基于所述第十一消息向所述具备数据采集功能的NF 发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；
或者，
接收所述具备数据采集功能的NF发送的第十二消息，所述第十二消息用于订阅所述第一信息；基于所述第十二消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；其中，
所述第三消息或第四消息是所述第一网元发送的；所述第三消息用于请求所述第一信息；所述第四消息用于订阅所述第一信息。
需要说明的是：所述第三通信接口1201的具体处理过程可参照上述方法理解。
当然，实际应用时，第二网元1200中的各个组件通过总线系统1204耦合在一起。可理解，总线系统1204用于实现这些组件之间的连接通信。总线系统1204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统1204。
本公开实施例中的第三存储器1203用于存储各种类型的数据以支持第二网元1200的操作。这些数据的示例包括：用于在第二网元1200上操作的任何计算机程序。
上述本公开实施例揭示的方法可以应用于所述第三处理器1202中，或者由所述第三处理器1202实现。所述第三处理器1202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述第三处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第三处理器1202可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述第三处理器1202可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于第三存储器1203，所述第三处理器1202读取第三存储器1203中的信息，结 合其硬件完成前述方法的步骤。
在示例性实施例中，第二网元1200可以被一个或多个ASIC、DSP、PLD、CPLD、FPGA、通用处理器、控制器、MCU、Microprocessor、或其他电子元件实现，用于执行前述方法。
可以理解，本公开实施例的存储器(第一存储器1003、第二存储器1103、第三存储器1203)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static Random Access Memory，SRAM)、同步静态随机存取存储器(Synchronous Static Random Access Memory，SSRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous Dynamic Random Access Memory，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced Synchronous Dynamic Random Access Memory，ESDRAM)、同步连接动态随机存取存储器(SyncLink Dynamic Random Access Memory，SLDRAM)、直接内存总线随机存取存储器(Direct Rambus Random Access Memory，DRRAM)。本公开实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
为了实现本公开实施例提供的方法，本公开实施例还提供了一种信息处理系统，如图13所示，该系统包括：第一网元1301、第三网元1302和第二 网元1303；其中，所述第一网元1301至少用于通过模型向所述第二网元1303提供分析结果，所述第三网元1302至少用于训练所述模型。
这里，需要说明的是：所述第一网元1301、第三网元1302和第二网元1303的具体处理过程已在上文详述，这里不再赘述。
在示例性实施例中，本公开实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的第一存储器1003，上述计算机程序可由第一网元1000的第一处理器1002执行，以完成前述第一网元侧方法所述步骤。再比如包括存储计算机程序的第二存储器1103，上述计算机程序可由第三网元1100的第二处理器1102执行，以完成前述第三网元侧方法所述步骤。再比如包括存储计算机程序的第三存储器1203，上述计算机程序可由第二网元1200的第三处理器1202执行，以完成前述第二网元侧方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (37)

  1. 一种信息处理方法，应用于第一网元，所述方法包括：
    获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
    根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
  2. 根据权利要求1所述的方法，其中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述获取第一信息，包括：
    直接从所述第二网元获取所述第一信息；
    或者，
    通过具备数据采集功能的网络功能NF，从所述第二网元获取所述第一信息。
  3. 根据权利要求2所述的方法，其中，所述直接从所述第二网元获取所述第一信息，包括：
    向所述第二网元发送第一消息，所述第一消息用于请求所述第一信息；接收所述第二网元基于所述第一消息发送的第一信息；
    或者，
    向所述第二网元发送第二消息，所述第二消息用于订阅所述第一信息；接收所述第二网元基于所述第二消息发送的第一信息。
  4. 根据权利要求2所述的方法，其中，所述通过具备数据采集功能的NF，从所述第二网元获取所述第一信息，包括：
    向所述具备数据采集功能的NF发送第三消息，所述第三消息用于请求所述第一信息；接收所述具备数据采集功能的NF基于所述第三消息发送的第一信息；
    或者，
    向所述具备数据采集功能的NF发送第四消息，所述第四消息用于订阅所述第一信息；接收所述具备数据采集功能的NF基于所述第四消息发送的第一信息。
  5. 根据权利要求1所述的方法，其中，所述根据所述第一信息和/或所述第二信息，确定第三信息，包括以下至少之一：
    通过对所述第一信息和所述第二信息进行对比，确定所述第三信息；
    通过对所述第一信息和/或所述第二信息进行测量，确定所述第三信息；
    通过对所述第一信息和/或所述第二信息进行计算，确定所述第三信息。
  6. 根据权利要求1所述的方法，其中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
    所述第二信息被第二网元消费后的网络数据包括以下至少之一：
    网络状态数据；
    网络性能数据；
    网络运行数据。
  7. 根据权利要求1所述的方法，其中，所述第三信息包括以下至少之一：
    所述模型的准确率Accuracy；
    所述模型的查准率Precision；
    所述模型的召回率Recall。
  8. 根据权利要求1至7任一项所述的方法，所述方法还包括：
    根据所述第三信息，判断所述模型是否需要重新训练；
    在所述模型需要重新训练的情况下，向第三网元发送第五信息，所述第五信息用于指示所述第三网元重新训练所述模型；所述第三网元至少用于训练所述模型。
  9. 根据权利要求8所述的方法，其中，所述向第三网元发送第五信息，包括：
    直接向第三网元发送所述第五信息；
    或者，
    通过具备数据采集功能的NF，向第三网元发送所述第五信息。
  10. 根据权利要求8所述的方法，所述方法还包括：
    从所述第三网元获取第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
  11. 根据权利要求10所述的方法，其中，所述第六信息包括以下之一：
    所述重新训练的模型；
    所述重新训练的模型的文件地址；
    所述重新训练的模型对应的参数。
  12. 根据权利要求10所述的方法，其中，所述从所述第三网元获取第六信息，包括：
    直接从所述第三网元获取所述第六信息；
    或者，
    通过具备数据采集功能的NF，从所述第三网元获取所述第六信息。
  13. 根据权利要求9至12任一项所述的方法，其中，所述第五信息包含所述第一信息和/或所述第三信息；所述第一信息和/或所述第三信息用于供所述第三网元重新训练所述模型。
  14. 一种信息处理方法，应用于第三网元，所述方法包括：
    接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
    重新训练所述模型。
  15. 根据权利要求14所述的方法，其中，所述接收第一网元发送的第五信息，包括：
    直接接收所述第一网元发送的第五信息；
    或者，
    通过具备数据采集功能的NF，接收所述第一网元发送的第五信息。
  16. 根据权利要求14所述的方法，所述方法还包括：
    向第一网元发送第六信息，所述第六信息能够供所述第一网元得到重新训练的模型。
  17. 根据权利要求16所述的方法，其中，所述第六信息包括以下之一：
    所述重新训练的模型；
    所述重新训练的模型的文件地址；
    所述重新训练的模型对应的参数。
  18. 根据权利要求16所述的方法，其中，所述向第一网元发送第六信息，包括：
    直接向第一网元发送所述第六信息；
    或者，
    通过具备数据采集功能的NF，向第一网元发送所述第六信息。
  19. 根据权利要求14至18任一项所述的方法，其中，所述第五信息包含第一信息和/或第三信息；所述重新训练所述模型，包括：
    至少利用所述第一信息和/或第三信息，重新训练所述模型；其中，所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第三信息包括所述模型的性能。
  20. 根据权利要求19所述的方法，其中，所述第一信息包括第二信息被第二网元消费后的网络数据；所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
    所述第二信息被第二网元消费后的网络数据包括以下至少之一：
    网络状态数据；
    网络性能数据；
    网络运行数据。
  21. 根据权利要求19所述的方法，其中，所述第三信息包括以下至少之一：
    所述模型的Accuracy；
    所述模型的Precision；
    所述模型的Recall。
  22. 一种信息处理方法，应用于第二网元，所述方法包括：
    向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
  23. 根据权利要求22所述的方法，其中，所述向第一网元发送第一信息，包括：
    直接向所述第一网元发送所述第一信息；
    或者，
    通过具备数据采集功能的NF，向所述第一网元发送所述第一信息。
  24. 根据权利要求23所述的方法，其中，所述直接向所述第一网元发送所述第一信息，包括：
    接收所述第一网元发送的第一消息，所述第一消息用于请求所述第一信息；基于所述第一消息向所述第一网元发送所述第一信息；
    或者，
    接收所述第一网元发送的第二消息，所述第二消息用于订阅所述第一信息；基于所述第二消息向所述第一网元发送所述第一信息。
  25. 根据权利要求23所述的方法，其中，所述通过具备数据采集功能的NF，向所述第一网元发送所述第一信息，包括：
    接收所述具备数据采集功能的NF发送的第十一消息，所述第十一消息用于请求所述第一信息；基于所述第十一消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；
    或者，
    接收所述具备数据采集功能的NF发送的第十二消息，所述第十二消息用于订阅所述第一信息；基于所述第十二消息向所述具备数据采集功能的NF发送所述第一信息，以供所述具备数据采集功能的NF基于第三消息或第四消息向所述第一网元发送所述第一信息；其中，
    所述第三消息或第四消息是所述第一网元发送的；所述第三消息用于请求所述第一信息；所述第四消息用于订阅所述第一信息。
  26. 根据权利要求22至25任一项所述的方法，其中，所述第一信息还包括第四信息，所述第四信息包括所述第二网元消费所述第二信息的结果；
    所述第二信息被第二网元消费后的网络数据包括以下至少之一：
    网络状态数据；
    网络性能数据；
    网络运行数据。
  27. 根据权利要求22至25任一项所述的方法，其中，所述第三信息包括以下至少之一：
    所述模型的Accuracy；
    所述模型的Precision；
    所述模型的Recall。
  28. 一种信息处理装置，设置在第一网元，所述装置包括：
    获取单元，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
    第一处理单元，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
  29. 一种信息处理装置，设置在第三网元，所述装置包括：
    第一接收单元，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型；所述第一网元至少用于通过所述模型提供分析结果；
    第二处理单元，用于重新训练所述模型。
  30. 一种信息处理装置，设置在第二网元，所述装置包括：
    第二发送单元，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
  31. 一种第一网元，包括：第一通信接口和第一处理器；其中，
    所述第一通信接口，用于获取第一信息；所述第一信息包括第二信息被消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；
    所述第一处理器，用于根据所述第一信息和/或所述第二信息，确定第三信息；所述第三信息包括所述模型的性能。
  32. 一种第三网元，包括：第二通信接口和第二处理器；其中，
    所述第二通信接口，用于接收第一网元发送的第五信息，所述第五信息用于指示所述第三网元重新训练模型；所述第三网元至少用于训练所述模型； 所述第一网元至少用于通过所述模型提供分析结果；
    所述第二处理器，用于重新训练所述模型。
  33. 一种第二网元，包括：第三通信接口和第三处理器；其中，
    所述第三通信接口，用于向第一网元发送第一信息；所述第一信息包括第二信息被所述第二网元消费后的网络数据；所述第二信息包括所述第一网元通过模型提供的分析结果；所述第一信息用于供所述第一网元确定第三信息，所述第三信息包括所述模型的性能。
  34. 一种第一网元，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，
    其中，所述第一处理器用于运行所述计算机程序时，执行权利要求1至13任一项所述方法的步骤。
  35. 一种第三网元，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，
    其中，所述第二处理器用于运行所述计算机程序时，执行权利要求14至21任一项所述方法的步骤。
  36. 一种第二网元，包括：第三处理器和用于存储能够在处理器上运行的计算机程序的第三存储器，
    其中，所述第三处理器用于运行所述计算机程序时，执行权利要求22至27任一项所述方法的步骤。
  37. 一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至13任一项所述方法的步骤，或者实现权利要求14至21任一项所述方法的步骤，或者实现权利要求22至27任一项所述方法的步骤。
PCT/CN2023/082765 2022-03-25 2023-03-21 信息处理方法、装置、相关设备及存储介质 WO2023179604A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210306614.7 2022-03-25
CN202210306614.7A CN116846770A (zh) 2022-03-25 2022-03-25 信息处理方法、装置、相关设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023179604A1 true WO2023179604A1 (zh) 2023-09-28

Family

ID=88100015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/082765 WO2023179604A1 (zh) 2022-03-25 2023-03-21 信息处理方法、装置、相关设备及存储介质

Country Status (2)

Country Link
CN (1) CN116846770A (zh)
WO (1) WO2023179604A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757344A (zh) * 2019-03-29 2020-10-09 中国移动通信有限公司研究院 无线网络控制优化方法及系统
CN111901135A (zh) * 2019-05-05 2020-11-06 华为技术有限公司 一种数据分析方法及装置
US20200358689A1 (en) * 2019-05-07 2020-11-12 Electronics And Telecommunications Research Institute Method and system for providing communication analysis of user equipment based on network data analysis
CN112039934A (zh) * 2019-06-03 2020-12-04 大唐移动通信设备有限公司 一种信息反馈、反馈信息处理方法及装置
CN113068176A (zh) * 2020-01-02 2021-07-02 中国移动通信有限公司研究院 一种数据分析结果的提供方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757344A (zh) * 2019-03-29 2020-10-09 中国移动通信有限公司研究院 无线网络控制优化方法及系统
CN111901135A (zh) * 2019-05-05 2020-11-06 华为技术有限公司 一种数据分析方法及装置
US20200358689A1 (en) * 2019-05-07 2020-11-12 Electronics And Telecommunications Research Institute Method and system for providing communication analysis of user equipment based on network data analysis
CN112039934A (zh) * 2019-06-03 2020-12-04 大唐移动通信设备有限公司 一种信息反馈、反馈信息处理方法及装置
CN113068176A (zh) * 2020-01-02 2021-07-02 中国移动通信有限公司研究院 一种数据分析结果的提供方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置

Also Published As

Publication number Publication date
CN116846770A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
WO2021139394A1 (zh) 通信方法、装置、计算机可读介质及电子设备
US20220321423A1 (en) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
WO2020207371A1 (zh) 数据处理系统和方法、装置以及电子设备
WO2021164562A1 (zh) 终端行为数据的获取方法、发送方法、装置及网络设备
WO2021057128A1 (zh) 一种基于nf的通信方法、设备及存储介质
WO2021032498A1 (en) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
CN110365796B (zh) 业务请求处理方法、装置
WO2022226713A1 (zh) 策略确定的方法和装置
CN113672748B (zh) 多媒体信息播放方法及装置
JP2019523605A (ja) ネットワークポリシー更新のトリガー方法、管理機能エンティティおよびコアネットワークデバイス
JP7356581B2 (ja) 情報処理方法、装置、設備及びコンピュータ読み取り可能な記憶媒体
CN114727313A (zh) 信息处理方法、装置、设备及存储介质
WO2022188670A1 (zh) 网络分析转移方法、装置及网络功能实体
WO2023179604A1 (zh) 信息处理方法、装置、相关设备及存储介质
WO2024001266A1 (zh) 视频流传输的控制方法及装置、设备、介质
CN115242787B (zh) 消息处理系统及方法
WO2022267865A1 (zh) 工作流创建方法、系统、电子设备和计算机可读存储介质
CN110213778B (zh) 一种网元主备智能配对的方法及装置
CN111836221A (zh) 计费管理方法、设备及系统
GB2612660A (en) Timing of network analytics
CN113515425A (zh) 数据动态上报的方法和装置
Niu et al. A Survey of 3GPP Release 18 on Network Data Analytics Function Management
WO2024140525A1 (zh) 信息传输方法、装置、相关设备及存储介质
WO2024152940A1 (zh) 信息传输方法、装置及设备
WO2024208348A1 (zh) 信息处理方法、装置及网元

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23773851

Country of ref document: EP

Kind code of ref document: A1