WO2024078380A1 - 模型监督处理方法、装置、网络侧设备及可读存储介质 - Google Patents

模型监督处理方法、装置、网络侧设备及可读存储介质 Download PDF

Info

Publication number
WO2024078380A1
WO2024078380A1 PCT/CN2023/123174 CN2023123174W WO2024078380A1 WO 2024078380 A1 WO2024078380 A1 WO 2024078380A1 CN 2023123174 W CN2023123174 W CN 2023123174W WO 2024078380 A1 WO2024078380 A1 WO 2024078380A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
network device
data
model
network
Prior art date
Application number
PCT/CN2023/123174
Other languages
English (en)
French (fr)
Inventor
程思涵
吴晓波
崇卫微
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2024078380A1 publication Critical patent/WO2024078380A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design

Definitions

  • the present application belongs to the field of communication technology, and specifically relates to a model supervision processing method, apparatus, network-side equipment and readable storage medium.
  • NWDAF Network Data Analytics Function
  • the embodiments of the present application provide a model supervision processing method, apparatus, network-side equipment and readable storage medium, which can solve the problem of poor accuracy in calculating model performance information.
  • a model supervision processing method comprising:
  • the first network device receives first information from the second network device, where the first information includes a data analysis result
  • the first network device sends second information to the second network device or the third network device, where the second information is used to indicate usage of the data analysis result by the first network device.
  • a model supervision processing method comprising:
  • the second network device sends first information to the first network device, where the first information includes a data analysis result
  • the second network device receives second information from the first network device, where the second information is used to indicate usage of the data analysis result by the first network device.
  • a model supervision processing method including:
  • the third network device receives the second information from the first network device or the second network device, and the second information is used for indicating usage of the data analysis result by the first network device;
  • the third network device calculates first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • a model supervision processing device comprising:
  • a first receiving module configured to receive first information from a second network device, wherein the first information includes a data analysis result
  • the first sending module is used to send second information to the second network device or the third network device, where the second information is used to indicate the use of the data analysis result by the first network device.
  • a model supervision processing device comprising:
  • a second sending module configured to send first information to the first network device, wherein the first information includes a data analysis result
  • the second receiving module is used to receive second information from the first network device, where the second information is used to indicate how the first network device uses the data analysis result.
  • a model supervision processing device comprising:
  • a third receiving module used to receive second information from the first network device or the second network device, where the second information is used to indicate the use of the data analysis result by the first network device;
  • the second calculation module is used to calculate the first performance information of the first model according to the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • a network side device which includes a processor and a memory, wherein the memory stores a program or instruction that can be run on the processor, and when the program or instruction is executed by the processor, it implements the steps of the method described in the first aspect, or implements the steps of the method described in the second aspect, or implements the steps of the method described in the third aspect.
  • a network side device including a processor and a communication interface, wherein:
  • the communication interface is used to receive first information from a second network device, the first information including a data analysis result; and send second information to the second network device or a third network device, the second information being used to indicate usage of the data analysis result by the first network device;
  • the communication interface is used to send first information to the first network device, the first information including a data analysis result; and receive second information from the first network device, the second information being used to indicate usage of the data analysis result by the first network device;
  • the communication interface is used to receive second information from the first network device or the second network device, and the second information is used to indicate the usage of the data analysis result by the first network device;
  • the processor is used to calculate the first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used for the second network device to generate the data analysis result.
  • a communication system comprising: a first network device, a second network device and a third network device, wherein the first network device can be used to execute the steps of the model supervised processing method as described in the first aspect, the second network device can be used to execute the steps of the model supervised processing method as described in the second aspect, and the third network device can be used to execute the steps of the model supervised processing method as described in the third aspect.
  • a readable storage medium on which a program or instruction is stored.
  • the program or instruction is executed by a processor, the steps of the method described in the first aspect are implemented, or the steps of the method described in the second aspect are implemented, or the steps of the method described in the third aspect are implemented.
  • a chip comprising a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run a program or instructions to implement the steps of the method described in the first aspect, or the steps of the method described in the second aspect, or the steps of the method described in the third aspect.
  • a computer program/program product is provided, wherein the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to implement the steps of the method described in the first aspect, or the steps of the method described in the second aspect, or the steps of the method described in the third aspect.
  • the second network device or the third network device can determine the usage of the data analysis result by the first network device based on the second information to assist in calculating the first performance information of the first model, thereby improving the accuracy and reliability of the calculation of the model performance information.
  • FIG1 is a schematic diagram of a network structure applicable to an embodiment of the present application.
  • FIG2 is one of the flow charts of the model supervision processing method provided in the embodiment of the present application.
  • FIG3 is a second flow chart of the model supervision processing method provided in an embodiment of the present application.
  • FIG4 is a third flowchart of the model supervision processing method provided in an embodiment of the present application.
  • FIG5 is a fourth flowchart of the model supervision processing method provided in an embodiment of the present application.
  • FIG6 is a fifth flowchart of the model supervision processing method provided in an embodiment of the present application.
  • FIG7 is a sixth flowchart of the model supervision processing method provided in an embodiment of the present application.
  • FIG8 is one of the structural diagrams of the model supervision processing device provided in an embodiment of the present application.
  • FIG9 is a second structural diagram of the model supervision processing device provided in an embodiment of the present application.
  • FIG10 is a third structural diagram of the model supervision processing device provided in an embodiment of the present application.
  • FIG11 is a structural diagram of a communication device provided in an embodiment of the present application.
  • FIG. 12 is a structural diagram of a network-side device provided in an embodiment of the present application.
  • first, second, etc. in the specification and claims of the present application are used to distinguish similar objects, and are not used to describe a specific order or sequence. It should be understood that the terms used in this way are interchangeable under appropriate circumstances, so that the embodiments of the present application can be implemented in an order other than those illustrated or described here, and the objects distinguished by “first” and “second” are generally of the same type, and the number of objects is not limited.
  • the first object can be one or more.
  • “and/or” in the specification and claims represents at least one of the connected objects, and the character “/" generally represents that the objects associated with each other are in an "or” relationship.
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • FDMA Frequency Division Multiple Access
  • OFDMA Orthogonal Frequency Division Multiple Access
  • SC-FDMA Single-carrier Frequency Division Multiple Access
  • NR new radio
  • FIG1 shows a block diagram of a wireless communication system applicable to the embodiments of the present application.
  • the wireless communication system includes a terminal 11 and a network device 12 .
  • the terminal 11 may be a mobile phone, a tablet computer, a laptop computer or a notebook computer, a personal digital assistant (PDA), a handheld computer, a netbook, an ultra-mobile personal computer (UMPC), a mobile Internet device (MID), an augmented reality (AR)/virtual reality (VR) device, a robot, a wearable device, a vehicle user equipment (VUE), a pedestrian terminal (PUE), a smart home (a home appliance with wireless communication function, such as a refrigerator, a television, a washing machine or furniture, etc.), a game console, a personal computer (PC), a teller machine or a self-service machine, etc.
  • the wearable device includes: a smart watch, a smart bracelet, a smart headset, a smart glasses, smart jewelry (smart bracelet, smart bracelet, smart ring, smart
  • the network device 12 may include an access network device or a core network device, wherein the access network device may also be referred to as a wireless access network device, a wireless access network (RAN), a wireless access network function, or a wireless access network unit.
  • the access network device may include a base station, a wireless local area network (WLAN) access point, or a wireless fidelity (WiFi) node, etc.
  • the base station may be referred to as a node B, an evolved node B (eNB), an access point, a base transceiver station, or a wireless access network unit.
  • BTS Base Station
  • BSS Basic Service Set
  • ESS Extended Service Set
  • Home Node B Home Evolved Node B
  • TRP Transmitting Receiving Point
  • the base station is not limited to specific technical vocabulary. It should be noted that in the embodiment of the present application, only the base station in the NR system is taken as an example for introduction, and the specific type of the base station is not limited.
  • the model supervision processing method includes:
  • Step 201 a first network device receives first information from a second network device, where the first information includes a data analysis result;
  • Step 202 The first network device sends second information to the second network device or the third network device, where the second information is used to indicate how the first network device uses the data analysis result.
  • the first network device may send a task request for the first task to the second network device, and the task request is used to request the acquisition of the data analysis result of the first task.
  • the first task may be a data analysis task, and the data analysis task information of the data analysis task includes task identification information, task condition limitation information, and task analysis object information.
  • the task identification information may be a data analysis task ID (analytic ID), and the analytic ID may be used to explain what purpose the data analysis task is for, what data is obtained, etc. For example, if the analytic ID is associated with the mobility trajectory information of the user, it can be known that the data analysis result may be the user's location information.
  • the task condition limitation information and the task analysis object information are used to further refine the task requirements.
  • the second network device may send a model request to the third network device based on the task request to request the acquisition of the first model for the first task.
  • the model request may include task request information and model limitation information, wherein the task request information includes the request content of the task request for the first task, and the model limitation information further clarifies the required task requirements, such as limiting the accuracy of the model, etc.
  • the third network device may select or train a first model that meets the first task requirements and send it to the second network device.
  • the second network device can perform data analysis on the first task based on the first model, generate the data analysis result of the first task, and send the first information to the first network device, the first information includes the data analysis result, and then the first network device can feedback the usage of the data analysis result to the second network device.
  • the second network device or the third network device can determine the supervision behavior of the first model based on the second information. For example, when the first network device uses the data analysis result and the use of the data analysis result by the first network device will affect the network or the data in the network, the first performance information of the first model is not calculated or the relevant data affecting the calculation of the first performance information is filtered out during the calculation, thereby improving the accuracy and reliability of the calculation of the model performance information.
  • the second network device when the second network device sends the first information to the first network device, it can carry the identification information, address information, etc. of the third network device, so that the first network device can know the information of the third network device and directly send information/message to the third network device.
  • the first network device can first request the second network device to send the identification information, address information, etc. of the third network device, or the first network device can send its own information to the second network device, which is then sent to the third network device.
  • the second network device may also send identification information, address information, etc. of the third network device in a separate message.
  • the third network device receives the model request, it selects or trains a first model that meets the first task requirement and sends it to the second network device, or afterwards, it can request the second network device to feedback the identification information, address information, etc. of the first network device, thereby sending information/message to the first device.
  • it can request the second network device to send the third network device's own information to the first network device, so as to inform the first network device to feedback/send the second information to itself.
  • measuring the first performance information of the first model can be understood as supervising the first model.
  • the first model can be supervised by the second network device, or by the third network device.
  • the second information can also trigger the second network device to forward the second information to the third network device, or the first network device can directly send the second information to the third network device.
  • supervising the first model can be understood or replaced by supervising the first task.
  • the above-mentioned first performance information is used to represent the model performance of the first model when it is actually used, that is, the above-mentioned first performance information can be understood as the model performance information calculated based on the collected data after completing the model training and using the first model to perform data analysis on the first task.
  • the above data analysis result can be an output value obtained by the second network device using the first model for calculation and reasoning, for example, it can be a load prediction for a certain network side device.
  • the content of the data analysis result will also be different.
  • the data analysis result can be the load condition of the network device at a certain time in the future, such as the user plane function network element (UPF) load is high the next morning.
  • UPF user plane function network element
  • the above-mentioned first network device can be understood as a consumer network element (consumer NF)
  • the above-mentioned second network device can be understood as NWDAF or its analysis logical network element (Analytics Logical Function, AnLF) used for reasoning to generate prediction information or generate a summary of historical data
  • NWDAF analysis logical network element
  • AnLF Analytics Logical Function
  • MTLF model training logical network element
  • the second network device or the third network device can determine the usage of the data analysis result by the first network device based on the second information to assist in calculating the first performance information of the first model, thereby improving the accuracy and reliability of the calculation of the model performance information.
  • the method before the first network device sends the second information to the second network device or the third network device, the method further includes:
  • the first network device determines the second information according to the first information.
  • the first network device can determine whether to perform the first network operation based on the data analysis result according to the first information (i.e., determine whether to use the data analysis result according to the first information), thereby determining the second information.
  • the usage of the data analysis result is used to assist the second network device or the third network device in calculating the second network operation.
  • First performance information of a model wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • the second information includes first indication information
  • the first indication information is used to indicate whether the first network device has performed a first network operation based on the data analysis result.
  • the network operation determined based on the data analysis result and the network operation not determined based on the data analysis result can be the same or different.
  • the first network operation determined to be performed based on the data analysis result will not affect the network or the data in the network.
  • the use of the data analysis result will affect the network or the data in the network.
  • the network operation can be determined based on its previous logic and preset conditions. Since the first indication information indicates whether the first network device has performed the first network operation based on the data analysis result, the supervision behavior of the first model can be determined based on the first indication information.
  • the first network operation is performed based on the data analysis result and it will affect the network or the data in the network
  • the first performance information of the first model is not calculated or the relevant data affecting the calculation of the first performance information is filtered out during the calculation, thereby improving the accuracy and reliability of the calculation of the model performance information.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate a time range for performing the first network operation
  • first location information where the first location information is used to indicate a location range for performing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the above-mentioned first time information can also be understood as a time range for indicating that it is not recommended to calculate the first performance information of the first model, that is, data not within the time range is not used to calculate the first performance information of the first model
  • the above-mentioned first position information can also be understood as a position range for indicating that it is not recommended to calculate the first performance information of the first model, that is, data not within the position range is not used to calculate the first performance information of the first model
  • the above-mentioned first object information can also be understood as an object for indicating that it is not recommended to calculate the first performance information of the first model, that is, data not corresponding to the first object information is not used to calculate the first performance information of the first model.
  • the above-mentioned second information can also include other indication information for indicating at least one of a time range not used to calculate the first performance information of the first model, a position range not used to calculate the first performance information of the first model, and an object not used to calculate the first performance information of the first model.
  • the type information of the first network operation may include slice selection, network load balancing, and terminal access control.
  • the description information may be comprehensive information with added information such as object, time, and location and type information. For example, when an access control operation is performed on a certain terminal.
  • the location may be understood as an area.
  • the second network device or the third network device can determine the relevant data that affects the calculation of the first performance information based on the type information or description information of the first network operation as well as the first time information and the first object information, so that the relevant data can be filtered out or removed during the calculation, or the relevant data can be received.
  • Other relevant data except the relevant data are collected to calculate the first performance information of the first model.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect (the second network device or the third network device) the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second network device or the third network device can collect all data (i.e., the complete set of data) used to calculate the first performance information, and then calculate the first performance information based on all the collected data. In this way, the amount of data used to calculate the first performance information is increased, and the accuracy of the first performance information calculation of the first model is further improved.
  • the second information further includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the above-mentioned task identification information, task conditional information and task analysis object information can be used to determine a specific task.
  • the task identification information is used to indicate the task targeted by the second information, or the three pieces of information together, or the first two pieces of information, etc., to determine the specific task.
  • the task conditional information can be called analytical filter information (Analytic filter information), which is used to indicate the data analysis result filtering information, such as areas of interest (AOI), single network slice selection assistance information (S-NSSAI) and data network name (Data Network Name, DNN).
  • AOI areas of interest
  • S-NSSAI single network slice selection assistance information
  • DNN Data Network Name
  • the above-mentioned task analysis object information can be understood as the target of analytical reporting, which is used to indicate whether the object of task analysis is a certain terminal, multiple terminals, all terminals, a certain network element, multiple network elements or all network elements.
  • the first information further includes at least one of the following information corresponding to the data analysis result:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • the above confidence information may include three confidence levels: high, medium and low.
  • the second performance information can be understood as the model performance information during the training of the first model, that is, the result of the third network device evaluating the model during the training of the model, such as using the training test data set to calculate the accuracy of the model (accuracy in training, AiT) during training.
  • the form of expression of the model performance information is not specifically limited, and can indicate the accuracy or error of the model's reasoning results for the task from the positive or negative side.
  • the reasoning accuracy of the first model can be indicated from the negative side by calculating the reasoning error or reasoning error rate of the model.
  • the above-mentioned data type of interest is used to indicate the specific data type of interest, such as load information of a certain network side device, etc. It can help the first network device determine whether its network operation affects the environment. For example, the first network device can determine whether its network operation affects the data type.
  • the first network device can determine whether the data analysis result is credible through the confidence information in the first information and the second performance information, thereby determining whether the data analysis result can be used. For example, when the Session Management Function (SMF) network element selects the UPF according to the network load information, if the analysis result of the received network load information is that the network load of a certain UPF at a certain point in the future is low, then the SMF may select the UPF (perform the network operation).
  • SMF Session Management Function
  • the SMF knows in advance that the UPF may have a low load and selects this UPF, the load of the UPF is not as low as analyzed/predicted at the beginning, then the network operation affects the network environment (data in the network environment, such as the load level of the UPF here, etc.).
  • the network operation performed by the first network device will not be affected by the data analysis result, nor will it affect the network environment.
  • the method further includes:
  • the first network device receives the first performance information from the second network device or the third network device.
  • the first model can be supervised by the second network device, or by the third network device.
  • the third network device supervises the first model
  • the third network device sends the first performance information to the second network device, and then the second network side forwards the first performance information to the first network device; or the third network device directly sends the first performance information to the first network device.
  • the second network device may start data collection operations after feeding back the first information, or may start data collection operations after receiving the second information.
  • the data collection operation may be understood as collecting data that can be used to measure the first performance information.
  • the second network device may start data collection operations after feeding back the first information, and after receiving the second information, may determine the relevant data corresponding to the second information, and then not collect the relevant data or remove (or filter out) the relevant data from the full set of data that has been collected, thereby obtaining the target data that is ultimately used to measure the first performance information; and finally calculate the first performance information based on the determined target data.
  • the second network device forwards the received second information to the third network device, and after receiving the second information, the third network device may determine the relevant data corresponding to the second information and then not collect the relevant data or remove (or filter out) the relevant data from the full set of data that has been collected, Thereby, target data ultimately used to calculate the first performance information is obtained; and the first performance information is finally calculated based on the determined target data.
  • the first network device sending the second information to the second network device or the third network device includes:
  • the first network device sends N second information to the second network device or the third network device, where N is an integer greater than 1, and the N second information are determined by the first network device based on the N first information.
  • the first network device sends N second information to the second network device or the third network device, including:
  • the first network device sends N second information to the second network device or the third network device; or,
  • the first network device determines that the amount of the unsent second information reaches N
  • the first network device sends N second information to the second network device or the third network device.
  • the feedback of N second information at the end of the preset reporting time point or the preset reporting time period can be understood as the feedback of the second information triggered based on the time condition, for example, the network operation status of the whole day is concentrated and sent together to the second network device or the third network device.
  • the feedback of N second information when the first network device determines that the number of unsent second information reaches N can be understood as the feedback of the second information triggered based on the quantity condition, for example, 50 network operations (such as receiving 50 first information) are concentrated and sent together to the second network device or the third network device.
  • each first information can correspond to a network operation and to a second information.
  • the method further includes: the first network device sending at least one of the following information to the second network device or the third network device:
  • the number N of the second information is the number N of the second information
  • the preset reporting time point or the preset reporting time period are the preset reporting time point or the preset reporting time period.
  • the number N of the second information and the preset reporting time point or the preset reporting time period can be sent in the same signaling with the N second information, or can be sent in different signaling, and no further limitation is made here.
  • Embodiment 1 AnLF supervises the first model. Referring to FIG. 3 , the following process may be specifically included:
  • step 30 the consumer initiates the first task, the AnLF initiates a model request, and the MTLF selects or trains a first model that meets the requirements of the first task.
  • the first task is similar in concept to the first task in step 202, and is also similar in concept to the data analysis task described above.
  • Step 31 MTLF sends the first model to AnLF, and AnLF generates data analysis results using the first model.
  • Step 32 AnLF sends first information to the consumer, where the first information includes the data analysis result.
  • AnLF can use the first model obtained in step 31 to perform calculation and reasoning to obtain an output value, i.e., the first task
  • AnLF feeds back the data analysis results of the service, such as the network element load prediction for a certain network element, to the consumer, and can also inform the consumer of relevant information about the data analysis results, which can help the consumer decide whether to use the data analysis results.
  • the first information may include at least one of the following in addition to the data analysis results and related information:
  • Identification information is used to inform AnLF of the specific task.
  • it may include at least one of task identification information, task condition limitation information, and task analysis object information;
  • the above-mentioned relevant information may include at least one of confidence information, model performance information during the first model training, and a tag type of interest.
  • step 33 the consumer decides whether to use the data analysis result to determine the network operation to be performed based on the first information fed back by AnLF in step 32, and can also determine whether its network operation will have an impact on the network environment, etc.
  • the consumer can determine the network operation to be performed based on the data analysis result in the fed back first information.
  • the relevant information of the data analysis result in the fed back first information can be used to determine whether the data analysis result is credible and whether it can be used.
  • the SMF network element selects the UPF based on the network load information
  • the analysis result of the received network load information is that the network load of a certain UPF at a certain point in the future is low
  • the SMF may select the UPF (execute the action).
  • the SMF knows in advance that the UPF may have a low load and selects this UPF, the load of the UPF is not as low as analyzed/predicted at the beginning, so the action affects the network environment (data in the network environment, such as the load level of the UPF here, etc.).
  • the action performed by the consumer will not be affected by the analysis result and will not affect the network environment.
  • step 34 the consumer informs AnLF through the second information whether the analysis result is used to determine the execution of network operations, etc.
  • the consumer can feedback to AnLF through the second information whether it has executed the network operation based on the analysis result, and can also feedback whether the action will affect the network environment and/or the data in the network, etc.
  • AnLF can determine whether to collect relevant data to measure the model performance information based on the information.
  • the consumer chooses to execute a certain network operation based on the data analysis result, such as selecting UPF, then it can tell AnlF that it has used the analysis result and executed the network operation.
  • the consumer can also further inform AnLF that its actions will affect the network environment and the data therein.
  • This signaling can also carry identification information, such as analysis task identification information, task condition limitation information, task analysis object information and model identification information, etc.
  • identification information is used to indicate to AnLF the task and/or model for which the value fed back by the consumer is targeted.
  • Step 35 AnLF determines whether the relevant data corresponding to the feedback can be used to calculate the model performance information. Based on the second information fed back by the consumer in step 34, AnLF determines whether to collect the relevant data or whether to take the relevant data corresponding to the action (the action determined by the data analysis result in the first information) into account in the calculation of the model performance information. For example, in step 34, the second information fed back by the consumer indicates that the network was executed based on the data analysis result. If the network operation is performed, AnLF can determine the corresponding relevant data (which may include the input data, output data, label data, etc. of the model) (the target task and/or model) according to the identification information and the feedback time, and choose not to collect these data. Or, exclude these data when calculating performance information.
  • the corresponding relevant data which may include the input data, output data, label data, etc. of the model
  • the target task and/or model the target task and/or model
  • Step 36 AnLF collects other relevant data, calculates the model performance information of the first model, and determines subsequent operations after calculating the model performance information, such as at least one of the following:
  • ADRF Analytics Data Repository Function
  • Embodiment 2 MTLF supervises the first model.
  • this embodiment when receiving the first information, this embodiment does not immediately provide feedback after each network operation is performed using the data analysis result and the second information is determined, but after the preset conditions are met, the temporarily stored N second information is fed back to AnLF.
  • the preset conditions may include at least one of the following:
  • Time condition a certain time, such as concentrating the network operation status for a whole day, and sending the second information corresponding to the actions within a day to AnLF;
  • Quantity condition a certain quantity, such as 50 network operation conditions are collected, and the second information corresponding to the 50 network operations are sent to AnLF together.
  • Embodiment 3 MTLF supervises the first model.
  • MTLF supervises the first model and measures the model performance information. Specifically, after AnLF receives the second information, AnLF sends the second information to MTLF. In other words, AnLF forwards the second information received from the consumer.
  • the MTLF determines whether to collect relevant data corresponding to the network operation (or the second information), or whether to take the relevant data into account in the calculation of the performance information.
  • the AnLF collects other relevant data, calculates the model performance information of the first model, and determines subsequent operations after calculating the model performance information, such as including at least one of the following:
  • an embodiment of the present application further provides a model supervision processing method.
  • the model supervision processing method includes:
  • Step 601 The second network device sends first information to the first network device, where the first information includes a data analysis result;
  • Step 602 The second network device receives second information from the first network device, where the second information is used to indicate how the first network device uses the data analysis result.
  • the usage of the data analysis result is used to assist the second network device or the third network device in calculating the first performance information of the first model, wherein the first model is the first performance information of the third network device after the model training process.
  • the obtained model is used for the second network device to generate the data analysis result.
  • the method further comprises:
  • the second network device calculates first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • the second information includes first indication information, and the first indication information is used to indicate whether the first network device has performed a first network operation based on the data analysis result.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate a time range for performing the first network operation
  • first location information where the first location information is used to indicate a location range for performing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second information also includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the second network device calculates first performance information of the first model according to the second information, and the method includes:
  • the second network device collects target data according to the second information
  • the second network device calculates first performance information of the first model according to the target data.
  • the target data includes data unrelated to the first network operation.
  • the second network device collects target data according to the second information, including at least one of the following:
  • the second network device determines, according to the first time information in the second information, data unrelated to the first time information as the target data;
  • the second network device determines, according to the first object information in the second information, data unrelated to the first object information as the target data;
  • the second network device determines, according to the first location information in the second information, data that is not related to the first location information as the target data.
  • the second network device collects target data according to the second information, including:
  • the second network device determines, according to the first time information in the second information, data unrelated to the first time information as the target data;
  • the second network device determines, according to the first object information in the second information, data unrelated to the first object information as the target data;
  • the second network device determines, according to the first location information in the second information, data that is not related to the first location information as the target data.
  • the above-mentioned fourth network device can be understood as a data source (date source) network element.
  • the target data includes the full set of data for measuring the first performance information obtained by the second network device from the fourth network device according to the data analysis task information corresponding to the second information.
  • the method further includes:
  • the second network device sends the second information to a third network device.
  • the second network device receiving the second information from the first network device includes:
  • the second network device receives N second information from the first network device, where N is an integer greater than 1, and the N second information are determined by the first network device based on the N first information.
  • the method further comprises:
  • the second network device receives at least one of the following information from the first network device:
  • the number N of the second information is the number N of the second information
  • Preset reporting time point or preset reporting time period Preset reporting time point or preset reporting time period.
  • the first information further includes at least one of the following:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • an embodiment of the present application further provides a model supervision processing method.
  • the model supervision processing method includes:
  • Step 701 The third network device receives second information from the first network device or the second network device, where the second information is used to indicate the use of the data analysis result by the first network device;
  • Step 702 The third network device calculates first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • usage of the data analysis result is used to assist the second network device or the third network device in calculating first performance information of the first model.
  • the second information includes first indication information, and the first indication information is used to indicate the first network Whether the device performs the first network operation based on the data analysis result.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate a time range for performing the first network operation
  • first location information where the first location information is used to indicate a location range for performing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second information also includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the third network device calculates first performance information of the first model according to the second information, and the method includes:
  • the third network device collects target data according to the second information
  • the third network device calculates first performance information of the first model according to the target data.
  • the target data includes data unrelated to the first network operation.
  • the third network device collects target data according to the second information, including at least one of the following:
  • the third network device determines, according to the first time information in the second information, data that is not related to the first time information as the target data;
  • the third network device determines, according to the first object information in the second information, data unrelated to the first object information as the target data;
  • the third network device determines, according to the first location information in the second information, data that is not related to the first location information as the target data.
  • the third network device collects target data according to the second information, including:
  • the third network device acquires the full set of data for calculating the first performance information from the fourth network device according to the data analysis task information corresponding to the second information;
  • the third network device removes data related to the first time information from the full set of data according to the first time information in the second information to obtain the target data; and/or, the third network device removes data related to the first object information from the full set of data according to the first object information in the second information to obtain the target data; and/or, the third network device removes data related to the first object information from the full set of data according to the first position information in the second information to obtain the target data.
  • the data related to the first location information is removed from the target data to obtain the target data.
  • the target data includes the full set of data for measuring the first performance information obtained by the third network device from the fourth network device according to the data analysis task information corresponding to the second information.
  • the third network device receiving the second information from the first network device or the second network device includes:
  • the third network device receives N second information from the first network device or the second network device, where N is an integer greater than 1, and the N second information is determined by the first network device based on the N first information, and the first information includes data analysis results.
  • the method further comprises:
  • the third network device receives at least one of the following information from the first network device or the second network device:
  • the number N of the second information is the number N of the second information
  • Preset reporting time point or preset reporting time period Preset reporting time point or preset reporting time period.
  • the first information further includes at least one of the following:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • the embodiment of the present application further provides a model supervision processing device.
  • the model supervision processing device 800 includes:
  • a first receiving module 801 is used to receive first information from a second network device, where the first information includes a data analysis result;
  • the first sending module 802 is used to send second information to the second network device or the third network device, where the second information is used to indicate the use of the data analysis result by the first network device.
  • the usage of the data analysis results is used to assist the second network device or the third network device in calculating the first performance information of the first model, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used for the second network device to generate the data analysis results.
  • model supervision processing device 800 further includes:
  • a first determining module is used to determine the second information according to the first information.
  • the second information includes first indication information, and the first indication information is used to indicate whether the first network device has performed a first network operation based on the data analysis result.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate a time range for performing the first network operation
  • first location information where the first location information is used to indicate a location range for performing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second information further includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the first information further includes at least one of the following information corresponding to the data analysis result:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • the first sending module 802 is specifically used to: send N second information to the second network device or the third network device, where N is an integer greater than 1, and the N second information is determined by the first network device based on N first information.
  • the first sending module 802 is specifically used to: when a preset reporting time point or the end time of a preset reporting time period is reached, send N second information to the second network device or the third network device; or, when it is determined that the number of unsent second information reaches N, the first network device sends N second information to the second network device or the third network device.
  • the first sending module 802 is further configured to send at least one of the following information to the second network device or the third network device:
  • the number N of the second information is the number N of the second information
  • the preset reporting time point or the preset reporting time period are the preset reporting time point or the preset reporting time period.
  • the embodiment of the present application further provides a model supervision processing device.
  • the model supervision processing device 900 includes:
  • a second sending module 901 is used to send first information to a first network device, where the first information includes a data analysis result;
  • the second receiving module 902 is used to receive second information from the first network device, where the second information is used to indicate how the first network device uses the data analysis result.
  • the usage of the data analysis result is used to assist the second network device or the third network device in calculating the first performance information of the first model, wherein the first model is the first performance information of the third network device after the model training process.
  • the obtained model is used for the second network device to generate the data analysis result.
  • the model supervision processing device 900 further includes:
  • the first calculation module is used to calculate the first performance information of the first model according to the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • the second information includes first indication information, and the first indication information is used to indicate whether the first network device has performed a first network operation based on the data analysis result.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate time information for executing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second information also includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the first calculation module includes:
  • a first collecting unit configured to collect target data according to the second information
  • the first calculation unit is used to calculate the first performance information of the first model according to the target data.
  • the target data includes data unrelated to the first network operation.
  • the first collecting unit is specifically configured to perform at least one of the following:
  • the first time information in the second information determining data unrelated to the first time information as the target data
  • the first object information in the second information determining data unrelated to the first object information as the target data
  • the first calculating unit is specifically used for:
  • data related to the first time information is eliminated from the entire set of data to obtain the target data; and/or, based on the first object information in the second information, data related to the first object information is eliminated from the entire set of data to obtain the target data; and/or, based on the first position information in the second information, data related to the first position information is eliminated from the entire set of data to obtain the target data.
  • the target data includes the full set of data for measuring the first performance information obtained by the second network device from the fourth network device according to the data analysis task information corresponding to the second information.
  • the second sending module 901 is further configured to send the second information to a third network device.
  • the second receiving module 902 is specifically used to receive N second information from the first network device, where N is an integer greater than 1, and the N second information are determined by the first network device based on the N first information.
  • the second receiving module 902 is further configured to receive at least one of the following information from the first network device:
  • the number N of the second information is the number N of the second information
  • Preset reporting time point or preset reporting time period Preset reporting time point or preset reporting time period.
  • the first information further includes at least one of the following:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • the embodiment of the present application further provides a model supervision processing device.
  • the model supervision processing device 1000 includes:
  • the third receiving module 1001 is used to receive second information from the first network device or the second network device, where the second information is used to indicate the use of the data analysis result by the first network device;
  • the second calculation module 1002 is used to calculate the first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used by the second network device to generate the data analysis result.
  • usage of the data analysis result is used to assist the second network device or the third network device in calculating first performance information of the first model.
  • the second information includes first indication information, and the first indication information is used to indicate whether the first network device has performed a first network operation based on the data analysis result.
  • the second information further includes at least one of the following information:
  • first time information where the first time information is used to indicate a time range for performing the first network operation
  • first location information where the first location information is used to indicate a location range for performing the first network operation
  • First object information where the first object information is used to indicate an object for performing the first network operation, and the object includes at least one of a user equipment object, an area object, and a network element object.
  • the second information further includes:
  • Second indication information is used to indicate whether the first network operation will affect the calculation of the first performance information of the first model, or the second indication information is used to indicate whether the first network operation will affect the calculation of the correctness of the data analysis result.
  • the second information also includes at least one of the following data analysis task information corresponding to the data analysis result:
  • the analysis object information of the task is the analysis object information of the task.
  • the second calculation module 1002 includes:
  • a second collecting unit configured to collect target data according to the second information
  • the second calculation unit is used to calculate the first performance information of the first model according to the target data.
  • the target data includes data unrelated to the first network operation.
  • the second collecting unit is specifically configured to perform at least one of the following:
  • the first time information in the second information determining data unrelated to the first time information as the target data
  • the first object information in the second information determining data unrelated to the first object information as the target data
  • the second collecting unit is specifically used for:
  • data related to the first time information is eliminated from the entire set of data to obtain the target data; and/or, based on the first object information in the second information, data related to the first object information is eliminated from the entire set of data to obtain the target data; and/or, based on the first position information in the second information, data related to the first position information is eliminated from the entire set of data to obtain the target data.
  • the target data includes the full set of data for measuring the first performance information obtained by the third network device from the fourth network device according to the data analysis task information corresponding to the second information.
  • the third receiving module 1001 is specifically used for:
  • N is an integer greater than 1
  • the N second information is determined by the first network device based on the N first information, and the first information includes a data analysis result.
  • the third receiving module 1001 is specifically configured to receive at least one of the following information from the first network device or the second network device:
  • the number N of the second information is the number N of the second information
  • Preset reporting time point or preset reporting time period Preset reporting time point or preset reporting time period.
  • the first information further includes at least one of the following:
  • Confidence information where the confidence information is used to indicate the degree of trustworthiness of the data analysis result by the second network device
  • the data type of interest is used to determine the second indication information.
  • the model supervision processing device in the embodiment of the present application can be an electronic device, such as an electronic device with an operating system, or a component in an electronic device, such as an integrated circuit or a chip.
  • the electronic device can be a terminal, or it can be other devices other than a terminal.
  • the terminal can include but is not limited to the types of terminals 11 listed above, and other devices can be servers, network attached storage (NAS), etc., which are not specifically limited in the embodiment of the present application.
  • the model supervision processing device provided in the embodiment of the present application can implement the various processes implemented by the method embodiments of Figures 2 to 7 and achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • an embodiment of the present application also provides a communication device 1100, including a processor 1101 and a memory 1102, and the memory 1102 stores a program or instruction that can be executed on the processor 1101.
  • the program or instruction is executed by the processor 1101
  • the various steps of the above-mentioned model supervision processing method embodiment are implemented, and the same technical effect can be achieved. To avoid repetition, it will not be repeated here.
  • the embodiment of the present application also provides a network side device, including a processor and a communication interface, wherein:
  • the communication interface is used to receive first information from a second network device, the first information including a data analysis result; and send second information to the second network device or a third network device, the second information being used to indicate usage of the data analysis result by the first network device;
  • the communication interface is used to send first information to the first network device, the first information including a data analysis result; and receive second information from the first network device, the second information being used to indicate usage of the data analysis result by the first network device;
  • the communication interface is used to receive second information from the first network device or the second network device, and the second information is used to indicate the usage of the data analysis result by the first network device;
  • the processor is used to calculate the first performance information of the first model based on the second information, wherein the first model is a model obtained by the third network device through a model training process, and the first model is used for the second network device to generate the data analysis result.
  • This network side device embodiment corresponds to the above-mentioned network side device method embodiment.
  • Each implementation process and implementation method of the above-mentioned method embodiment can be applied to this network side device embodiment and can achieve the same technical effect.
  • the embodiment of the present application also provides a network side device.
  • the network side device 1200 includes: an antenna 1201, a radio frequency device 1202, a baseband device 1203, a processor 1204 and a memory 1205.
  • the antenna 1201 is connected to the radio frequency device 1202.
  • the radio frequency device 1202 receives information through the antenna 1201 and sends the received information to the baseband device 1203 for processing.
  • the baseband device 1203 processes the information to be sent and sends it to the radio frequency device 1202.
  • the radio frequency device 1202 processes the received information and sends it out through the antenna 1201.
  • the method executed by the network-side device in the above embodiment may be implemented in the baseband device 1203, which includes a baseband processor.
  • the baseband device 1203 may include, for example, at least one baseband board, on which multiple chips are arranged, as shown in Figure 12, one of which is, for example, a baseband processor, which is connected to the memory 1205 through a bus interface to call the program in the memory 1205 and execute the network device operations shown in the above method embodiment.
  • the network side device may also include a network interface 1206, which is, for example, a common public radio interface (CPRI).
  • a network interface 1206, which is, for example, a common public radio interface (CPRI).
  • CPRI common public radio interface
  • the network side device 1200 of the embodiment of the present disclosure also includes: instructions or programs stored in the memory 1205 and executable on the processor 1204.
  • the processor 1204 calls the instructions or programs in the memory 1205 to execute the methods executed by the modules shown in Figures 8 to 10 and achieve the same technical effect. To avoid repetition, they will not be described here.
  • An embodiment of the present application also provides a readable storage medium, on which a program or instruction is stored.
  • a program or instruction is stored.
  • the program or instruction is executed by a processor, each process of the above-mentioned model supervision processing method embodiment is implemented, and the same technical effect can be achieved. To avoid repetition, it will not be repeated here.
  • the processor is the processor in the terminal described in the above embodiment.
  • the readable storage medium includes a computer readable storage medium, such as a computer read-only memory ROM, a random access memory RAM, a magnetic disk or an optical disk.
  • An embodiment of the present application further provides a chip, which includes a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the various processes of the above-mentioned model supervision processing method embodiment, and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the chip mentioned in the embodiments of the present application can also be called a system-level chip, a system chip, a chip system or a system-on-chip chip, etc.
  • the embodiment of the present application further provides a computer program/program product, which is stored in a storage medium, and is executed by at least one processor to implement the various processes of the above-mentioned model supervision processing method embodiment, and can achieve the same technical effect. To avoid repetition, it will not be repeated here.
  • the embodiment of the present application further provides a communication system, including: a first network device, a second network device, and a third network device, wherein the first network device is used to execute each process as shown in FIG. 2 and each method embodiment of the first network device, and the second network device is used to execute each process as shown in FIG. 6 and each method embodiment of the second network device,
  • the third network device is used to execute the various processes of the various method embodiments of the third network device as shown in Figure 7 and the above-mentioned third network device, and can achieve the same technical effect. In order to avoid repetition, it will not be repeated here.
  • the technical solution of the present application can be embodied in the form of a computer software product, which is stored in a storage medium (such as ROM/RAM, a magnetic disk, or an optical disk), and includes a number of instructions for enabling a terminal (which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to execute the methods described in each embodiment of the present application.
  • a storage medium such as ROM/RAM, a magnetic disk, or an optical disk
  • a terminal which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种模型监督处理方法、装置、网络侧设备及可读存储介质，属于通信技术领域，本申请实施例的模型监督处理方法包括：第一网络设备接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。

Description

模型监督处理方法、装置、网络侧设备及可读存储介质
相关申请的交叉引用
本申请主张在2022年10月10日在中国提交的中国专利申请No.202211236921.9的优先权，其全部内容通过引用包含于此。
技术领域
本申请属于通信技术领域，具体涉及一种模型监督处理方法、装置、网络侧设备及可读存储介质。
背景技术
随着通信技术的发展，在通信系统中，引入了人工智能模型。目前，网络数据分析功能(Network Data Analytics Function，NWDAF)为了完成消费者网元请求的任务，通常需要使用模型分析任务得到分析结果以及收集网络中的数据和预测的结果进行比对，从而确定模型性能信息。由于消费者网元可能会基于该分析结果做出和一般情况(未基于分析结果确定的网络操作)下不一样的网络操作，从而影响用于测算模型性能信息对应的数据，从而导致模型性能信息测算的准确性较差。
发明内容
本申请实施例提供一种模型监督处理方法、装置、网络侧设备及可读存储介质，能够解决模型性能信息测算的准确性较差的问题。
第一方面，提供了一种模型监督处理方法，包括：
第一网络设备接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
第二方面，提供了一种模型监督处理方法，包括：
第二网络设备向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
所述第二网络设备接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
第三方面，提供了一种模型监督处理方法，包括：
第三网络设备接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用 于表示第一网络设备对数据分析结果的使用情况；
所述第三网络设备根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
第四方面，提供了一种模型监督处理装置，包括：
第一接收模块，用于接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
第一发送模块，用于向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示第一网络设备对所述数据分析结果的使用情况。
第五方面，提供了一种模型监督处理装置，包括：
第二发送模块，用于向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
第二接收模块，用于接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
第六方面，提供了一种模型监督处理装置，包括：
第三接收模块，用于接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；
第二测算模块，用于根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
第七方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
第八方面，提供了一种网络侧设备，包括处理器及通信接口，其中，
在所述网络侧设备为第一网络设备时，所述通信接口用于接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示第一网络设备对所述数据分析结果的使用情况；
在所述网络侧设备为第二网络设备时，所述通信接口用于向第一网络设备发送第一信息，所述第一信息包括数据分析结果；接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况；
在所述网络侧设备为第三网络设备时，所述通信接口用于接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；所述处理器用于根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
第九方面，提供了一种通信系统，包括：第一网络设备、第二网络设备及第三网络设备，所述第一网络设备可用于执行如第一方面所述的模型监督处理方法的步骤，所述第二网络设备可用于执行如第二方面所述的模型监督处理方法的步骤，所述第三网络设备可用于执行如第三方面所述的模型监督处理方法的步骤。
第十方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
第十一方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
第十二方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
本申请实施例中，通过第一网络设备向第二网络设备或第三网络设备发送第二信息，可以使得第二网络设备或第三网络设备基于第二信息确定所述第一网络设备对所述数据分析结果的使用情况，以辅助测算第一模型的第一性能信息，从而提高了对模型性能信息计算的准确性和可靠性。
附图说明
图1是本申请实施例可应用的网络结构示意图。
图2是本申请实施例提供的模型监督处理方法的流程图之一；
图3是本申请实施例提供的模型监督处理方法的流程图之二；
图4是本申请实施例提供的模型监督处理方法的流程图之三；
图5是本申请实施例提供的模型监督处理方法的流程图之四；
图6是本申请实施例提供的模型监督处理方法的流程图之五；
图7是本申请实施例提供的模型监督处理方法的流程图之六；
图8是本申请实施例提供的模型监督处理装置的结构图之一；
图9是本申请实施例提供的模型监督处理装置的结构图之二；
图10是本申请实施例提供的模型监督处理装置的结构图之三；
图11是本申请实施例提供的通信设备的结构图；
图12是本申请实施例提供的网络侧设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统应用以外的应用，如第6代(6th Generation，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personal computer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(Vehicle User Equipment，VUE)、行人终端(Pedestrian User Equipment，PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络设备12可以包括接入网络设备或核心网络设备，其中，接入网络设备也可以称为无线接入网络设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网络设备可以包括基站、无线局域网(Wireless Local Area Network，WLAN)接入点或无线保真(Wireless Fidelity，WiFi)节点等，基站可被称为节点B、演进节点B(Evolved Node B，eNB)、接入点、基收发机站(Base Transceiver  Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所属领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。
参照图2，本申请实施例提供了一种模型监督处理方法，如图2所示，该模型监督处理方法包括：
步骤201，第一网络设备接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
步骤202，所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
本申请实施例中，首先可以由第一网络设备向第二网络设备发送针对第一任务的任务请求，该任务请求用于请求获取第一任务的数据分析结果。该第一任务可以是一个数据分析任务，所述数据分析任务的数据分析任务信息包括任务标识信息、任务的条件限定信息和任务的分析对象信息。任务标识信息可以为数据分析任务ID(analytic ID)，该analytic ID可以用来说明该数据分析任务是为了完成何种目的，获取何种数据等，如analytic ID关联用户的移动性轨迹信息，则可以知道数据分析结果可以是用户的位置信息。任务的条件限定信息和任务的分析对象信息用于进一步细化任务需求。第二网络设备可以基于该任务请求向第三网络设备发送模型请求，以请求获取用于第一任务的第一模型。在该模型请求的过程中，模型请求可以包括任务请求信息和模型限定信息，其中，该任务请求信息包括针对第一任务的任务请求的请求内容，模型限定信息进一步明确所需要的任务要求，如限制模型的准确度情况等。第三网络设备接收到该模型请求后，可以选择或者训练出满足第一任务需求的第一模型，并发送给第二网络设备。然后第二网络设备可以基于第一模型对第一任务进行数据分析，生成第一任务的数据分析结果，并向第一网络设备发送第一信息，第一信息包括数据分析结果，接着第一网络设备可以向第二网络设备反馈数据分析结果的使用情况。这样，第二网络设备或第三网络设备可以基于该第二信息确定对第一模型的监督行为，例如，在第一网络设备使用了数据分析结果，且第一网络设备使用数据分析结果会导致影响网络或网络中的数据的情况下，不对第一模型的第一性能信息进行测算或者在测算时滤除影响第一性能信息测算的相关数据，这样，提高模型性能信息测算的准确性和可靠性。
可选地，在一些实施例中，第二网络设备向第一网络设备发送第一信息时，可以携带第三网络设备的标识信息，地址信息等，这样第一网络设备就可以知晓第三网络设备的信息并直接向第三网络设备发送信息/消息。可选地，在此之前，第一网络设备可以先请求第二网络设备发送第三网络设备的标识信息，地址信息等，或者第一网络设备将自己的信息发送给第二网络设备，由第二网络设备发送给第三网络设备。可选地，在第一网络设备 请求后，第二网络设备也可以在单独的消息里发送第三网络设备的标识信息，地址信息等。
又或者，在第三网络设备接收到该模型请求后选择或者训练出满足第一任务需求的第一模型，并发送给第二网络设备时，或者之后，可以请求第二网络设备反馈第一网络设备的标识信息，地址信息等，从而向第一设备发送信息/消息。或者，请求第二网络设备将第三网络设备自己的信息发送给第一网络设备，以告知第一网络设备向自己反馈/发送第二信息等。
可选地，对第一模型的第一性能信息进行测算可以理解为对第一模型进行监督。具体的，可以由第二网络设备对第一模型进行监督，也可以由第三网络设备对第一模型进行监督。例如，在一些实施例中，当由第三网络设备对第一模型进行监督时，上述第二信息还可以触发第二网络设备向第三网络设备转发该第二信息，或者第一网络设备可以直接向第三网络设备发送第二信息。其中，对第一模型进行监督可以理解或替换为对第一任务进行监督。
应理解，上述第一性能信息用于表示第一模型实际使用时的模型性能，即上述第一性能信息可以理解为在完成模型训练后，使用第一模型对第一任务进行数据分析后基于收集的数据测算的模型性能信息。
可选地，上述数据分析结果可以为第二网络设备使用第一模型进行计算和推理得到的输出值，例如可以为对于某一网络侧设备的负载预测。根据任务的不同，该数据分析结果的内容也会不同。比如，对于网络设备负载任务，该数据分析结果可以为未来某个时间的网络设备的负载情况，如第二天上午的用户面功能网元(User Plane Function，UPF)负载为高。
需要说明的是，上述第一网络设备可以理解为消费者网元(consumer NF)，上述第二网络设备可以理解为NWDAF或其中的分析逻辑网元(Analytics Logical Function，AnLF)用于进行推理生成预测信息或者生成历史数据的总结，上述第三网络设备可以理解为NWDAF或其中的模型训练逻辑网元(Model Training Logical Function，MTLF)，用于生成模型并进行模型训练。
本申请实施例中，通过第一网络设备向第二网络设备或第三网络设备发送第二信息，可以使得第二网络设备或第三网络设备基于第二信息确定所述第一网络设备对所述数据分析结果的使用情况，以辅助测算第一模型的第一性能信息，从而提高了对模型性能信息测算的准确性和可靠性。
可选地，在一些实施例中，所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息之前，所述方法还包括：
所述第一网络设备根据所述第一信息确定所述第二信息。
本申请实施例中，第一网络设备可以根据第一信息确定是否基于所述数据分析结果执行第一网络操作(即根据第一信息确定是否使用所述数据分析结果)，从而确定第二信息。可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第 一模型的第一性能信息，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，在一些实施例中，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
应理解，基于数据分析结果确定的网络操作和未基于数据分析结果确定的网络操作可以相同，也可以不同。可选地，若相同，可以理解为基于数据分析结果确定执行的第一网络操作不会对网络或网络中的数据产生影响，若不同，可以理解为使用该数据分析结果会对网络或网络中的数据产生影响。其中，未基于数据分析结果确定网络操作时，可以基于自己以前的逻辑和预设条件等决定自己的网络操作。由于通过第一指示信息指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作，从而可以基于第一指示信息确定对第一模型的监督行为，例如在基于所述数据分析结果执行了第一网络操作，且会导致影响网络或网络中的数据的情况下，不对第一模型的第一性能信息进行测算或者在测算时滤除影响第一性能信息测算的相关数据，这样，提高模型性能信息测算的准确性和可靠性。
可选地，在一些实施例中，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
应理解，上述第一时间信息还可以理解为用于指示不建议进行第一模型的第一性能信息的测算的时间范围，即不在该时间范围内的数据不用于测算第一模型的第一性能信息；上述第一位置信息还可以理解为用于指示不建议进行第一模型的第一性能信息的测算的位置范围，即不在该位置范围内的数据不用于测算第一模型的第一性能信息；上述第一对象信息还可以理解为用于指示不建议进行第一模型的第一性能信息的测算的对象，即不在该第一对象信息对应的数据不用于测算第一模型的第一性能信息。或者，在一些实施例中，上述第二信息还可以包括其他的指示信息用于指示不用于测算第一模型的第一性能信息的时间范围、不用于测算第一模型的第一性能信息的位置范围和不用于测算第一模型的第一性能信息的对象中的至少一项。
可选地，上述第一网络操作的类型信息可以包括切片选择、网络负载均衡和终端接入控制等。上述描述信息可以是增加了对象、时间和位置等信息和类型信息的综合信息。比如，对于某一个终端在何时进行的接入控制操作等。其中，上述位置可以理解为区域。
本申请实施例中，由于向第二网络设备或第三网络设备发送了所述第一网络操作的类型信息或描述信息以及第一时间信息和第一对象信息，这样，第二网络设备或第三网络设备可以基于第一网络操作的类型信息或描述信息以及第一时间信息和第一对象信息确定影响第一性能信息测算的相关数据，从而可以在进行测算是滤除或剔除相关数据，或者收 集除该相关数据之外的其他相关数据进行第一模型的第一性能信息的测算。
可选地，在一些实施例中，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响(第二网络设备或第三网络设备)对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
本申请实施例中，通过进一步反馈上述第二指示信息，在第一网络设备基于所述数据分析结果执行了第一网络操作，且不影响网络或网络的数据时，第二网络设备或第三网络设备可以收集所有用于测算第一性能信息的数据(即全集数据)，然后基于收集的全部数据进行第一性能信息的测算。这样，增加了用于测算第一性能信息的数据量，进一步提高了第一模型的第一性能信息测算的准确性。
可选地，在一些实施例中，所述第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
上述任务标识信息、任务的条件限定信息和任务的分析对象信息可以用于确定具体的任务。其中，任务标识信息用于指示该第二信息针对的任务，也可以是三条信息一起，或者前两条信息等情况确定具体的任务。任务的条件限定信息可以称之为分析筛选信息(Analytic filter information)，用于指示数据分析结果过滤信息，例如包括感兴趣区域(Areas of interest，AOI)、单一网络切片选择辅助信息(Single Network Slice Selection Assistance Information，S-NSSAI)和数据网络名(Data Network Name，DNN)等。上述任务的分析对象信息可以理解为分析报告的目标(Target of analytic reporting)，用于指明任务分析的对象是某个终端、多个终端、所有终端、某个网元、多个网元或所有网元。
可选地，在一些实施例中，所述第一信息还包括所述数据分析结果对应的以下至少一项信息：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
可选地，上述置信度信息可以包括高、中和低三个置信度等级。
可选地，上述第二性能信息可以理解为第一模型训练时的模型性能信息，即第三网络设备在训练模型时对模型进行评估评测的结果，比如在训练时使用训练测试数据集计算模型的准确率(accuracy in training，AiT)等。模型性能信息的表现形式不做具体限定，可从正面或反面来指示模型对任务的推理结果的准确程度或错误程度。例如，可以通过计算模型的推理误差或推理错误率来从反面指示第一模型的推理准确程度。其中，推理误差或 推理错误率的计算方法多种多样，例如可以是平均绝对误差(Mean Absolute Error，MAE)、均方误差(Mean Square Error，MSE)等。还可以是正面的准确程度，如准确率，精确度等。
可选地，上述感兴趣的数据类型，用于指示自己所关注的具体数据类型，比如某网络侧设备的负载信息等。可以帮助第一网络设备判断自己的网络操作是否对环境造成影响。如第一网络设备可以自己判断自己的网络操作是否会影响到该数据类型。
需要说明的是，第一网络设备在确定网络操作时，可以通过第一信息中置信度信息和第二性能信息确定该数据分析结果是否可信，从而确定该数据分析结果是否可以被使用。比如，会话管理功能(Session Management Function，SMF)网元根据网络负载信息进行UPF的选择时，如果接收到网络负载信息的分析结果为未来某个时间点的某个UPF的网络负载为低，那么该SMF可能会选择该UPF(执行网络操作)。进一步的，由于SMF提前知道了UPF可能会负载为低并选择这个UPF，导致该UPF的负载并没有如一开始分析/预测的一样为低，那么该网络操作影响了网络环境(网络环境中的数据，比如这里的UPF的负载程度等)。相反地，如果第一信息中的置信度比较低，和/或模型训练时的表现情况不是很好，又或者一些第一网络设备的内部逻辑和条件导致第一网络设备决定不使用该数据分析结果，则该第一网络设备执行的网络操作不会受到该数据分析结果的影响，也不会影响网络环境。
可选地，在一些实施例中，所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息之后，所述方法还包括：
所述第一网络设备接收来自于所述第二网络设备或所述第三网络设备的所述第一性能信息。
本申请实施例中，可以由第二网络设备对第一模型进行监督，也可以由第三网络设备对第一模型进行监督。在由第三网络设备对第一模型进行监督时，第三网络设备向第二网络设备发送第一性能信息，然后由第二网络侧向第一网络设备转发第一性能信息；或者由第三网络设备直接向第一网络设备发送第一性能信息。
需要说明的是，在由第二网络设备对第一模型进行监督时，第二网络设备可以在反馈第一信息后，开始进行数据收集操作，也可以在接收到第二信息后，开始数据收集操作，该数据收集操作可以理解为收集可用于进行第一性能信息测算的数据。例如，在一些实施例中，第二网络设备可以在反馈第一信息后，开始进行数据收集操作，在接收到第二信息后，可以确定与所述第二信息对应的相关数据，然后不对该相关数据进行收集或者从已经收集到的全集数据中剔除(或者称之为滤除)所述相关数据，从而得到最终用于测算第一性能信息的目标数据；最终基于确定目标数据测算所述第一性能信息。在由第三网络设备对第一模型进行监督时，第二网络设备将接收到的第二信息转发给第三网络设备，第三网络设备可以在接收到第二信息后，确定与所述第二信息对应的相关数据然后不对该相关数据进行收集或者从已经收集到的所述全集数据中剔除(或者称之为滤除)所述相关数据， 从而得到最终用于测算第一性能信息的目标数据；最终基于确定的目标数据测算所述第一性能信息。
可选地，在一些实施例中，所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，包括：
所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
需要说明的是，在接收到上述第一信息后，可以立即进行反馈，也可以在满足上述预设条件之后进行反馈。例如，在一些实施例中，所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息，包括：
到达预设上报时间点或预设上报时间段的结束时刻，所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息；或，
所述第一网络设备确定未发送的所述第二信息的数量达到N时，所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息。
可选地，到达预设上报时间点或预设上报时间段的结束时刻反馈N个第二信息可以理解为，基于时间条件触发进行第二信息的反馈，例如，集中了一整天的网络操作情况，一起发送给第二网络设备或第三网络设备。所述第一网络设备确定未发送的所述第二信息的数量达到N时反馈N个第二信息可以理解为，基于数量条件触发进行第二信息的反馈，例如，集中了50条的网络操作(如接收到50条第一信息)情况，一起发送给第二网络设备或第三网络设备。可选地，在一些实施例中，每一条第一信息可以对应一个网络操作，且对应一条第二信息。
进一步地，在一些实施例中，所述方法还包括：所述第一网络设备向所述第二网络设备或第三网络设备发送以下至少一项信息：
所述第二信息的数量N；
所述预设上报时间点或所述预设上报时间段。
本申请实施例中，所述第二信息的数量N以及所述预设上报时间点或所述预设上报时间段可以与N个第二信息在同一信令中进行发送，也可以在不同的信令中进行发送，在此不做进一步的限定。
为了更好的理解本申请，以下通过一些实例进行详细说明。
实施例一、由AnLF对第一模型进行监督。参照图3，具体可以包括以下流程：
步骤30，消费者(consumer)发起第一任务，AnLF发起模型请求，MTLF选择或者训练出满足第一任务需求的第一模型。其中，所述第一任务和步骤202中的第一任务概念类似，也和前面描述的数据分析任务概念类似。
步骤31，MTLF向AnLF下发第一模型，AnLF再使用该第一模型生成数据分析结果。
步骤32，AnLF向consumer发送第一信息，该第一信息包括数据分析结果。具体地，AnLF可以使用步骤31中获取的第一模型进行计算和推理，从而得到输出值，即该第一任 务的数据分析结果如对于某一网元的网元负载预测。AnLF将该数据分析结果反馈给consumer，同时还可以告知consumer关于该数据分析结果的相关信息，这些相关信息可以帮助consumer决定是否要使用该数据分析结果。
其中，第一信息除了包括数据分析结果和相关信息之外，还可以包括以下至少一项：
标识信息，用于告知AnLF具体针对的任务。例如可以包括任务标识信息、任务的条件限定信息和任务的分析对象信息中的至少一项；
模型标识信息。
其中，上述相关信息可以包括置信度信息、第一模型训练时的模型性能信息和感兴趣的标签类型中的至少一项。
步骤33，consumer根据步骤32中AnLF反馈的第一信息，决定是否使用该数据分析结果以确定要执行的网络操作，还可以确定自己的网络操作是否会对网络环境造成影响等。Consumer在接收到步骤2的反馈后，可以根据反馈的第一信息中的数据分析结果来确定自己将要执行的网络操作。在确定网络操作时，可以通过反馈的第一信息中数据分析结果的相关信息确定该数据分析结果是否可信，是否可以被使用。比如，SMF网元根据网络负载信息进行UPF的选择时，如果接收到网络负载信息的分析结果为未来某个时间点的某个UPF的网络负载为低，那么该SMF可能会选择该UPF(执行动作)。进一步的，由于SMF提前知道了UPF可能会负载为低并选择这个UPF，导致该UPF的负载并没有如一开始分析/预测的一样为低，那么该动作影响了网络环境(网络环境中的数据，比如这里的UPF的负载程度等)。相反地，如果反馈的第一信息中的置信度比较低，和/或模型训练时的表现情况不是很好，又或者一些consumer的内部逻辑和条件导致consumer决定不使用该分析结果，则该consumer执行的动作不会受到该分析结果的影响，也不会影响网络环境。
步骤34，consumer通过第二信息向AnLF告知是否使用了分析结果确定执行网络操作等。Consumer可以通过第二信息向AnLF反馈自己是否有基于该分析结果执行网络操作，还可以反馈该动作是否会影响网络环境和/或网络中的数据等。AnLF可以根据该信息确定是否要收集相关数据进行模型性能信息的测算。具体地，consumer在步骤33时选择基于数据分析结果执行了某个网络操作，如选择UPF，那么可以告诉AnlF自己使用了该分析结果并执行了网络操作。Consumer还可以进一步告知AnLF，自己的动作会影响到网络环境以及其中的数据。该条信令(承载第二信息的信令)中还可以携带标识信息等，如分析任务标识信息，任务的条件限定信息，任务的分析对象信息和模型标识信息等。该标识信息用于指示AnLF该consumer反馈的值所针对的任务和/或模型。
步骤35，AnLF决定该次反馈对应的相关数据是否可以被用来测算模型性能信息。根据步骤34中consumer反馈的第二信息，AnLF判断是否收集相关数据，或者是否将该动作(使用第一信息中的数据分析结果确定的动作)对应的相关数据考虑到模型性能信息的测算中。比如，步骤34consumer的反馈的第二信息中有指明基于数据分析结果执行了网 络操作，那么AnLF可以根据标识信息和反馈的时间确定(目标的任务和/或模型以及)所对应的相关数据(可以包括模型的输入数据，输出数据，标签数据等)，并选择不去收集这些数据。或者，在测算性能信息时剔除掉这些数据。
步骤36，AnLF收集其他相关数据，测算第一模型的模型性能信息，并在测算出模型性能信息后，确定后续操作，如包括以下至少一项：
将模型性能信息告诉consumer；
将模型性能信息和/或相关数据告诉MTLF；
将模型性能信息和/或相关数据储存到数据分析存储库网元(Analytics Data Repository Function，ADRF)。
实施例二、由MTLF对第一模型进行监督。参照图4，本实施例在收到第一信息时，不会在每一个使用了数据分析结果执行网络操作，并确定第二信息就立即进行反馈，而是在满足预设条件后，在将暂时存储的N个第二信息反馈给AnLF。
预设条件可以包括以下至少一项：
时间条件，一定的时间，如集中了一整天的网络操作情况，将一天内的动作对应的第二信息一起发送给AnLF；
数量条件，一定的数量，如集中了50条网络操作情况，将50条网络操作对应的第二信息一起发送给AnLF。
实施例三、由MTLF对第一模型进行监督。参照图5，本实施例与上述实施例一的区别在于由MTLF对第一模型的进行监督和模型性能信息测算。具体地，在AnLF接收到第二信息后，AnLF向MTLF发送第二信息。也就是说，AnLF对于从consumer接收到的第二信息进行转发。
此外，由MTLF判断是否收集该网络操作(或者说第二信息)对应的相关数据，或者是否将该相关数据考虑到性能信息的测算中。最后由AnLF收集其他相关数据，测算第一模型的模型性能信息，并在测算出模型性能信息后，确定后续操作，如包括以下至少一项：
将模型性能信息告诉AnLF再由AnLF转发给consumer；
将模型性能信息和/或相关数据告诉AnLF；
将模型性能信息和/或相关数据储存到ADRF等。
参照图6，本申请实施例还提供了一种模型监督处理方法，如图6所示，该模型监督处理方法包括：
步骤601，第二网络设备向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
步骤602，所述第二网络设备接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息，其中，所述第一模型为所述第三网络设备经过模型训练过程 获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述方法还包括：
所述第二网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
可选地，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
可选地，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
可选地，第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
可选地，所述第二网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，方法包括：
所述第二网络设备根据所述第二信息收集目标数据；
所述第二网络设备根据所述目标数据，进行所述第一模型的第一性能信息的测算。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
可选地，所述第二网络设备根据第二信息收集目标数据，包括以下至少一项：
所述第二网络设备根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
所述第二网络设备根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
所述第二网络设备根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
可选地，所述第二网络设备根据第二信息收集目标数据，包括：
所述第二网络设备根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
所述第二网络设备根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
所述第二网络设备根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
本申请实施例中，上述第四网络设备可以理解为数据源(date source)网元。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第二网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
可选地，所述第二网络设备接收来自于所述第一网络设备的第二信息之后，所述方法还包括：
所述第二网络设备向第三网络设备发送所述第二信息。
可选地，所述第二网络设备接收来自于所述第一网络设备的第二信息包括：
所述第二网络设备接收来自于所述第一网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
可选地，所述方法还包括：
所述第二网络设备接收来自于所述第一网络设备的以下至少一项信息：
所述第二信息的数量N；
预设上报时间点或预设上报时间段。
可选地，所述第一信息还包括以下至少一项：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
参照图7，本申请实施例还提供了一种模型监督处理方法，如图7所示，该模型监督处理方法包括：
步骤701，第三网络设备接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；
步骤702，所述第三网络设备根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息。
可选地，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络 设备是否基于所述数据分析结果执行了第一网络操作。
可选地，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
可选地，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
可选地，第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
可选地，所述第三网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，方法包括：
所述第三网络设备根据所述第二信息收集目标数据；
所述第三网络设备根据所述目标数据，进行所述第一模型的第一性能信息的测算。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
可选地，所述第三网络设备根据第二信息收集目标数据，包括以下至少一项：
所述第三网络设备根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
所述第三网络设备根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
所述第三网络设备根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
可选地，所述第三网络设备根据第二信息收集目标数据，包括：
所述第三网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据；
所述第三网络设备根据所述第二信息中第一时间信息，从所述全集数据中剔除所述第一时间信息相关的数据，以获取所述目标数据；和/或，所述第三网络设备根据所述第二信息中第一对象信息，从所述全集数据中剔除所述第一对象信息相关的数据，以获取所述目标数据；和/或，所述第三网络设备根据所述第二信息中第一位置信息，从所述全集数 据中剔除所述第一位置信息相关的数据，以获取所述目标数据。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第三网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
可选地，所述第三网络设备接收来自于第一网络设备或第二网络设备的第二信息包括：
第三网络设备接收来自于第一网络设备或第二网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的，所述第一信息包括数据分析结果。
可选地，所述方法还包括：
所述第三网络设备接收来自于所述第一网络设备或所述第二网络设备的以下至少一项信息：
所述第二信息的数量N；
预设上报时间点或预设上报时间段。
可选地，所述第一信息还包括以下至少一项：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
参照图8，本申请实施例还提供了一种模型监督处理装置，如图8所示，该模型监督处理装置800包括：
第一接收模块801，用于接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
第一发送模块802，用于向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示第一网络设备对所述数据分析结果的使用情况。
可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述模型监督处理装置800还包括：
第一确定模块，用于根据所述第一信息确定所述第二信息。
可选地，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
可选地，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
可选地，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
可选地，所述第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
可选地，所述第一信息还包括所述数据分析结果对应的以下至少一项信息：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
可选地，所述第一发送模块802具体用于：向所述第二网络设备或第三网络设备发送N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
可选地，所述第一发送模块802具体用于：到达预设上报时间点或预设上报时间段的结束时刻，向所述第二网络设备或第三网络设备发送N个第二信息；或，确定未发送的所述第二信息的数量达到N时，所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息。
可选地，所述第一发送模块802还用于向所述第二网络设备或第三网络设备发送以下至少一项信息：
所述第二信息的数量N；
所述预设上报时间点或所述预设上报时间段。
参照图9，本申请实施例还提供了一种模型监督处理装置，如图9所示，该模型监督处理装置900包括：
第二发送模块901，用于向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
第二接收模块902，用于接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息，其中，所述第一模型为所述第三网络设备经过模型训练过程 获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述模型监督处理装置900还包括：
第一测算模块，用于根据所述第二信息，进行第一模型的第一性能信息的测算其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于第二网络设备产生所述数据分析结果。
可选地，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
可选地，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间信息；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
可选地，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
可选地，第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
可选地，所述第一测算模块包括：
第一收集单元，用于根据所述第二信息收集目标数据；
第一测算单元，用于根据所述目标数据，进行所述第一模型的第一性能信息的测算。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
可选地，所述第一收集单元具体用于执行以下至少一项：
根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
可选地，所述第一测算单元具体用于：
根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据；
根据所述第二信息中第一时间信息，从所述全集数据中剔除所述第一时间信息相关的数据，以获取所述目标数据；和/或，根据所述第二信息中第一对象信息，从所述全集数据中剔除所述第一对象信息相关的数据，以获取所述目标数据；和/或，根据所述第二信息中第一位置信息，从所述全集数据中剔除所述第一位置信息相关的数据，以获取所述目标数据。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第二网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
可选地，所述第二发送模块901还用于向第三网络设备发送所述第二信息。
可选地，所述第二接收模块902具体用于接收来自于所述第一网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
可选地，所述第二接收模块902还用于接收来自于所述第一网络设备的以下至少一项信息：
所述第二信息的数量N；
预设上报时间点或预设上报时间段。
可选地，所述第一信息还包括以下至少一项：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
参照图10，本申请实施例还提供了一种模型监督处理装置，如图10所示，该模型监督处理装置1000包括：
第三接收模块1001，用于接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；
第二测算模块1002，用于根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
可选地，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息。
可选地，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
可选地，所述第二信息还包括以下至少一项信息：
所述第一网络操作的类型信息或描述信息；
第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
可选地，所述第二信息还包括：
第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
可选地，第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
任务标识信息；
任务的条件限定信息；
任务的分析对象信息。
可选地，所述第二测算模块1002包括：
第二收集单元，用于根据所述第二信息收集目标数据；
第二测算单元，用于根据所述目标数据，进行所述第一模型的第一性能信息的测算。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
可选地，所述第二收集单元具体用于执行以下至少一项：
根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
可选地，所述第二收集单元具体用于：
根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据；
根据所述第二信息中第一时间信息，从所述全集数据中剔除所述第一时间信息相关的数据，以获取所述目标数据；和/或，根据所述第二信息中第一对象信息，从所述全集数据中剔除所述第一对象信息相关的数据，以获取所述目标数据；和/或，根据所述第二信息中第一位置信息，从所述全集数据中剔除所述第一位置信息相关的数据，以获取所述目标数据。
可选地，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第三网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
可选地，所述第三接收模块1001具体用于：
接收来自于第一网络设备或第二网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的，所述第一信息包括数据分析结果。
可选地，所述第三接收模块1001具体用于接收来自于所述第一网络设备或所述第二网络设备的以下至少一项信息：
所述第二信息的数量N；
预设上报时间点或预设上报时间段。
可选地，所述第一信息还包括以下至少一项：
置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
第一模型的第二性能信息；
感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
本申请实施例中的模型监督处理装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型监督处理装置能够实现图2至图7的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
可选地，如图11所示，本申请实施例还提供一种通信设备1100，包括处理器1101和存储器1102，存储器1102上存储有可在所述处理器1101上运行的程序或指令，该程序或指令被处理器1101执行时实现上述模型监督处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种网络侧设备，包括处理器和通信接口，其中，
在所述网络侧设备为第一网络设备时，所述通信接口用于接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示第一网络设备对所述数据分析结果的使用情况；
在所述网络侧设备为第二网络设备时，所述通信接口用于向第一网络设备发送第一信息，所述第一信息包括数据分析结果；接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况；
在所述网络侧设备为第三网络设备时，所述通信接口用于接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；所述处理器用于根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
该网络侧设备实施例与上述网络侧设备方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中，且能达到相同的技术效果。
具体地，本申请实施例还提供了一种网络侧设备。如图12所示，该网络侧设备1200包括：天线1201、射频装置1202、基带装置1203、处理器1204和存储器1205。天线1201与射频装置1202连接。在上行方向上，射频装置1202通过天线1201接收信息，将接收的信息发送给基带装置1203进行处理。在下行方向上，基带装置1203对要发送的信息进行处理，并发送给射频装置1202，射频装置1202对收到的信息进行处理后经过天线1201发送出去。
以上实施例中网络侧设备执行的方法可以在基带装置1203中实现，该基带装置1203包括基带处理器。
基带装置1203例如可以包括至少一个基带板，该基带板上设置有多个芯片，如图12所示，其中一个芯片例如为基带处理器，通过总线接口与存储器1205连接，以调用存储器1205中的程序，执行以上方法实施例中所示的网络设备操作。
该网络侧设备还可以包括网络接口1206，该接口例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本公开实施例的网络侧设备1200还包括：存储在存储器1205上并可在处理器1204上运行的指令或程序，处理器1204调用存储器1205中的指令或程序执行图8至图10所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型监督处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述模型监督处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述模型监督处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种通信系统，包括：第一网络设备、第二网络设备及第三网络设备，所述第一网络设备用于执行如图2及上述第一网络设备各个方法实施例的各个过程，所述第二网络设备用于执行如图6及上述第二网络设备各个方法实施例的各个过程， 所述第三网络设备用于执行如图7及上述第三网络设备各个方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (43)

  1. 一种模型监督处理方法，包括：
    第一网络设备接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
    所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
  2. 根据权利要求1所述的方法，其中，所述数据分析结果的使用情况用于辅助所述第二网络设备或第三网络设备测算第一模型的第一性能信息，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
  3. 根据权利要求1所述的方法，其中，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
  4. 根据权利要求2所述的方法，其中，所述第二信息还包括以下至少一项信息：
    所述第一网络操作的类型信息或描述信息；
    第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
    第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
    第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
  5. 根据权利要求3或4所述的方法，其中，所述第二信息还包括：
    第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
  6. 根据权利要求3至5任一项所述的方法，其中，所述第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
    任务标识信息；
    任务的条件限定信息；
    任务的分析对象信息。
  7. 根据权利要求1至6任一项所述的方法，其中，所述第一信息还包括所述数据分析结果对应的以下至少一项信息：
    置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
    第一模型的第二性能信息；
    感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
  8. 根据权利要求1至7任一项所述的方法，其中，所述第一网络设备向所述第二网络设备或第三网络设备发送第二信息，包括：
    所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息，所述N 为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
  9. 根据权利要求8所述的方法，其中，所述第一网络设备向所述第二网络设备或第三网络设备发送N个第二信息，包括：
    到达预设上报时间点或预设上报时间段的结束时刻，所述第一网络设备向所述第二网络设备或第三网络设备发送所述N个第二信息；或，
    所述第一网络设备确定未发送的所述第二信息的数量达到N时，所述第一网络设备向所述第二网络设备或第三网络设备发送所述N个第二信息。
  10. 根据权利要求9所述的方法，其中，所述方法还包括：所述第一网络设备向所述第二网络设备或第三网络设备发送以下至少一项信息：
    所述第二信息的数量N；
    所述预设上报时间点或所述预设上报时间段。
  11. 一种模型监督处理方法，包括：
    第二网络设备向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
    所述第二网络设备接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
  12. 根据权利要求11所述的方法，其中，所述方法还包括：
    所述第二网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
  13. 根据权利要求11或12所述的方法，其中，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
  14. 根据权利要求13所述的方法，其中，所述第二信息还包括以下至少一项信息：
    所述第一网络操作的类型信息或描述信息；
    第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
    第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
    第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
  15. 根据权利要求13或14所述的方法，其中，所述第二信息还包括：
    第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
  16. 根据权利要求13至15任一项所述的方法，其中，所述第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
    任务标识信息；
    任务的条件限定信息；
    任务的分析对象信息。
  17. 根据权利要求12所述的方法，其中，所述第二网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，方法包括：
    所述第二网络设备根据所述第二信息收集目标数据；
    所述第二网络设备根据所述目标数据，进行所述第一模型的第一性能信息的测算。
  18. 根据权利要求17所述的方法，其中，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
  19. 根据权利要求18所述的方法，其中，所述第二网络设备根据第二信息收集目标数据，包括以下至少一项：
    所述第二网络设备根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
    所述第二网络设备根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
    所述第二网络设备根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
  20. 根据权利要求18所述的方法，其中，所述第二网络设备根据第二信息收集目标数据，包括：
    所述第二网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据；
    所述第二网络设备根据所述第二信息中第一时间信息，从所述全集数据中剔除所述第一时间信息相关的数据，以获取所述目标数据；和/或，所述第二网络设备根据所述第二信息中第一对象信息，从所述全集数据中剔除所述第一对象信息相关的数据，以获取所述目标数据；和/或，所述第二网络设备根据所述第二信息中第一位置信息，从所述全集数据中剔除所述第一位置信息相关的数据，以获取所述目标数据。
  21. 根据权利要求17所述的方法，其中，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第二网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
  22. 根据权利要求11所述的方法，其中，所述第二网络设备接收来自于所述第一网络设备的第二信息之后，所述方法还包括：
    所述第二网络设备向第三网络设备发送所述第二信息。
  23. 根据权利要求11至22任一项所述的方法，其中，所述第二网络设备接收来自于所述第一网络设备的第二信息包括：
    所述第二网络设备接收来自于所述第一网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的。
  24. 根据权利要求23所述的方法，其中，所述方法还包括：
    所述第二网络设备接收来自于所述第一网络设备的以下至少一项信息：
    所述第二信息的数量N；
    预设上报时间点或预设上报时间段。
  25. 根据权利要求11至24任一项所述的方法，其中，所述第一信息还包括以下至少一项：
    置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
    第一模型的第二性能信息；
    感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
  26. 一种模型监督处理方法，包括：
    第三网络设备接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；
    所述第三网络设备根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为所述第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
  27. 根据权利要求26所述的方法，其中，所述第二信息包括第一指示信息，所述第一指示信息用于指示所述第一网络设备是否基于所述数据分析结果执行了第一网络操作。
  28. 根据权利要求27所述的方法，其中，所述第二信息还包括以下至少一项信息：
    所述第一网络操作的类型信息或描述信息；
    第一时间信息，所述第一时间信息用于指示执行所述第一网络操作的时间范围；
    第一位置信息，所述第一位置信息用于指示执行所述第一网络操作的位置范围；
    第一对象信息，所述第一对象信息用于指示执行所述第一网络操作的对象，所述对象包括用户设备对象、区域对象、网元对象中的至少一种。
  29. 根据权利要求27或28所述的方法，其中，所述第二信息还包括：
    第二指示信息，所述第二指示信息用于指示所述第一网络操作是否会影响对第一模型的第一性能信息的测算，或者，所述第二指示信息用于指示所述第一网络操作是否会影响所述数据分析结果正确性的测算。
  30. 根据权利要求27至29任一项所述的方法，其中，第二信息还包括所述数据分析结果对应的以下至少一项数据分析任务信息：
    任务标识信息；
    任务的条件限定信息；
    任务的分析对象信息。
  31. 根据权利要求26所述的方法，其中，所述第三网络设备根据所述第二信息，进行第一模型的第一性能信息的测算，方法包括：
    所述第三网络设备根据所述第二信息收集目标数据；
    所述第三网络设备根据所述目标数据，进行所述第一模型的第一性能信息的测算。
  32. 根据权利要求31所述的方法，其中，在所述第二信息中的第一指示信息指示所述第一网络设备基于所述数据分析结果执行了第一网络操作情况下，所述目标数据包括所述第一网络操作不相关的数据。
  33. 根据权利要求32所述的方法，其中，所述第三网络设备根据第二信息收集目标数据，包括以下至少一项：
    所述第三网络设备根据所述第二信息中的第一时间信息，确定与第一时间信息不相关的数据作为所述目标数据；
    所述第三网络设备根据所述第二信息中的第一对象信息，确定与第一对象信息不相关的数据作为所述目标数据；
    所述第三网络设备根据所述第二信息中的第一位置信息，确定与第一位置信息不相关的数据作为所述目标数据。
  34. 根据权利要求32所述的方法，其中，所述第三网络设备根据第二信息收集目标数据，包括：
    所述第三网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据；
    所述第三网络设备根据所述第二信息中第一时间信息，从所述全集数据中剔除所述第一时间信息相关的数据，以获取所述目标数据；和/或，所述第三网络设备根据所述第二信息中第一对象信息，从所述全集数据中剔除所述第一对象信息相关的数据，以获取所述目标数据；和/或，所述第三网络设备根据所述第二信息中第一位置信息，从所述全集数据中剔除所述第一位置信息相关的数据，以获取所述目标数据。
  35. 根据权利要求31所述的方法，其中，在所述第二信息中的第一指示信息指示所述第一网络设备未基于所述数据分析结果执行第一网络操作情况下，所述目标数据包括所述第三网络设备根据所述第二信息对应的数据分析任务信息从第四网络设备中获取用于测算第一性能信息的全集数据。
  36. 根据权利要求26至35任一项所述的方法，其中，所述第三网络设备接收来自于第一网络设备或第二网络设备的第二信息包括：
    第三网络设备接收来自于第一网络设备或第二网络设备的N个第二信息，所述N为大于1的整数，所述N个第二信息为所述第一网络设备基于N个第一信息确定的，所述第一信息包括数据分析结果。
  37. 根据权利要求36所述的方法，其中，所述方法还包括：
    所述第三网络设备接收来自于所述第一网络设备或所述第二网络设备的以下至少一 项信息：
    所述第二信息的数量N；
    预设上报时间点或预设上报时间段。
  38. 根据权利要求36所述的方法，其中，所述第一信息还包括以下至少一项：
    置信度信息，所述置信度信息用于表示所述第二网络设备对于所述数据分析结果的可信程度；
    第一模型的第二性能信息；
    感兴趣的数据类型，所述感兴趣的数据类型用于确定第二指示信息。
  39. 一种模型监督处理装置，包括：
    第一接收模块，用于接收来自于第二网络设备的第一信息，所述第一信息包括数据分析结果；
    第一发送模块，用于向所述第二网络设备或第三网络设备发送第二信息，所述第二信息用于表示第一网络设备对所述数据分析结果的使用情况。
  40. 一种模型监督处理装置，包括：
    第二发送模块，用于向第一网络设备发送第一信息，所述第一信息包括数据分析结果；
    第二接收模块，用于接收来自于所述第一网络设备的第二信息，所述第二信息用于表示所述第一网络设备对所述数据分析结果的使用情况。
  41. 一种模型监督处理装置，包括：
    第三接收模块，用于接收来自于第一网络设备或第二网络设备的第二信息，所述第二信息用于表示第一网络设备对数据分析结果的使用情况；
    第二测算模块，用于根据所述第二信息进行第一模型的第一性能信息的测算，其中，所述第一模型为第三网络设备经过模型训练过程获得的模型，且所述第一模型用于所述第二网络设备产生所述数据分析结果。
  42. 一种网络侧设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至38任一项所述的模型监督处理方法的步骤。
  43. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至38任一项所述的模型监督处理方法的步骤。
PCT/CN2023/123174 2022-10-10 2023-10-07 模型监督处理方法、装置、网络侧设备及可读存储介质 WO2024078380A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211236921.9A CN117914718A (zh) 2022-10-10 2022-10-10 模型监督处理方法、装置、网络侧设备及可读存储介质
CN202211236921.9 2022-10-10

Publications (1)

Publication Number Publication Date
WO2024078380A1 true WO2024078380A1 (zh) 2024-04-18

Family

ID=90668822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/123174 WO2024078380A1 (zh) 2022-10-10 2023-10-07 模型监督处理方法、装置、网络侧设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN117914718A (zh)
WO (1) WO2024078380A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569288A (zh) * 2019-09-11 2019-12-13 中兴通讯股份有限公司 一种数据分析方法、装置、设备和存储介质
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
CN113068176A (zh) * 2020-01-02 2021-07-02 中国移动通信有限公司研究院 一种数据分析结果的提供方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
CN110569288A (zh) * 2019-09-11 2019-12-13 中兴通讯股份有限公司 一种数据分析方法、装置、设备和存储介质
CN113068176A (zh) * 2020-01-02 2021-07-02 中国移动通信有限公司研究院 一种数据分析结果的提供方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Also Published As

Publication number Publication date
CN117914718A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN107102941B (zh) 一种测试用例的生成方法及装置
WO2024078380A1 (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
WO2024078402A1 (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
CN115915106A (zh) 数据订阅方法、装置及网元
CN117914719A (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
WO2023213288A1 (zh) 模型获取方法及通信设备
WO2024061254A1 (zh) 数据获取方法、装置、系统和设备
WO2024061252A1 (zh) 信息获取方法、装置、网络侧设备及存储介质
CN112206507B (zh) 协议处理方法及装置
CN117062047A (zh) 模型处理方法、装置、网络侧设备及可读存储介质
WO2023169425A1 (zh) 通信网络中的数据处理方法及网络侧设备
CN116776988A (zh) 通信网络中的数据处理方法及网络侧设备
WO2024088119A1 (zh) 数据处理方法、装置、终端及网络侧设备
WO2023185726A1 (zh) 模型获取方法、信息发送方法、信息接收方法、装置及网元
CN117062098A (zh) 模型获取方法及通信设备
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2024067281A1 (zh) Ai模型的处理方法、装置及通信设备
EP4376381A1 (en) Dns query method and apparatus, and device and medium
WO2024120444A1 (zh) 模型监督方法、装置、终端、网络侧设备及可读存储介质
WO2024093364A1 (zh) 质差小区的识别方法、电子设备及存储介质
WO2023169378A1 (zh) 模型的准确度确定方法、装置及网络侧设备
CN117910589A (zh) 模型请求方法、装置、通信设备及可读存储介质
WO2023185818A1 (zh) 设备确定方法、装置及通信设备
WO2024067438A1 (zh) Ai模型推理方法、设备及可读存储介质
CN116776986A (zh) 模型的准确度确定方法、装置及网络侧设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23876583

Country of ref document: EP

Kind code of ref document: A1