WO2023169392A1 - 模型的准确度确定方法、装置及网络侧设备 - Google Patents

模型的准确度确定方法、装置及网络侧设备 Download PDF

Info

Publication number
WO2023169392A1
WO2023169392A1 PCT/CN2023/079986 CN2023079986W WO2023169392A1 WO 2023169392 A1 WO2023169392 A1 WO 2023169392A1 CN 2023079986 W CN2023079986 W CN 2023079986W WO 2023169392 A1 WO2023169392 A1 WO 2023169392A1
Authority
WO
WIPO (PCT)
Prior art keywords
network element
task
information
model
accuracy
Prior art date
Application number
PCT/CN2023/079986
Other languages
English (en)
French (fr)
Inventor
崇卫微
程思涵
吴晓波
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2023169392A1 publication Critical patent/WO2023169392A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition

Definitions

  • the present application belongs to the field of mobile communication technology, and specifically relates to a method, device and network side equipment for determining the accuracy of a model.
  • some network elements are introduced for intelligent data analysis and generate data analysis results (analytics) (or called inference data results) for some tasks.
  • the data analysis results can assist devices inside and outside the network to implement strategies.
  • the purpose of decision-making is to use artificial intelligence (Artificial Intelligence, AI) methods to improve the intelligence of equipment strategy decision-making.
  • AI Artificial Intelligence
  • NWDAF Network Data Analytics Function
  • PCF Policy Control Function
  • AMF Access and Mobility Management Function
  • Devices inside and outside the network can make correct and optimized strategic decisions based on AI data analysis results.
  • the premise is that they need to be based on correct data analysis results. If the accuracy of the data analysis results is relatively low and is provided as erroneous information to devices inside and outside the network for reference, wrong strategic decisions will eventually be made or inappropriate operations will be performed. Therefore, it is necessary to ensure the accuracy of data analysis results.
  • Embodiments of the present application provide a method, device, and network-side device for determining the accuracy of a model, which can solve the problem of relatively low accuracy of inference result data obtained by the model.
  • the first aspect provides a method for determining the accuracy of the model, which is applied to the first network element.
  • the method includes:
  • the first network element obtains the inference result data corresponding to the task from the second network element, and the inference result data is obtained by the second network element inferring the task based on the first model;
  • the first network element determines the accuracy information of the inference result data corresponding to the task
  • the first network element sends first information to the second network element and/or the third network element, where the first information is used to indicate accuracy information of the inference result data corresponding to the task;
  • the first network element is a network element that triggers the task
  • the second network element is a network element that performs inference on the task
  • the third network element is a network element that provides the first model.
  • a model accuracy determination device including:
  • a receiving module configured to obtain inference result data corresponding to the task from the second network element, where the inference result data If the data is obtained by the second network element inferring the task based on the first model;
  • An execution module used to determine the accuracy information of the inference result data corresponding to the task
  • a sending module configured to send first information to the second network element and/or the third network element, where the first information is used to indicate the accuracy information of the inference result data corresponding to the task;
  • the accuracy determination device of the model is a network element that triggers the task
  • the second network element is a network element that infers the task
  • the third network element is a network element that provides the first model. network element.
  • the third aspect provides a method for determining the accuracy of the model, which is applied to the second network element.
  • the method includes:
  • the second network element performs inference on the task based on the first model, obtains the inference result data of the task and sends it to the first network element;
  • the second network element receives first information from the first network element, where the first information is used to indicate accuracy information of inference result data corresponding to the task.
  • the fourth aspect provides a model accuracy determination device, including:
  • An inference module used to infer the task based on the first model, obtain the inference result data of the task and send it to the first network element;
  • a transmission module configured to receive first information from the first network element, where the first information is used to indicate accuracy information of inference result data corresponding to the task.
  • a network side device in a fifth aspect, includes a processor and a memory.
  • the memory stores programs or instructions that can be run on the processor.
  • the program or instructions are executed by the processor.
  • a sixth aspect provides a model accuracy determination system, including: a network side device, the network device includes a first network element and a second network element, and the first network element can be used to perform the steps as described in the first aspect.
  • the second network element may be configured to perform the steps of the accuracy determination method of the model described in the third aspect.
  • a readable storage medium stores a program or Instructions, programs or instructions when executed by a processor implement the steps of the method described in the first aspect, or implement the steps of the method described in the third aspect.
  • a chip in an eighth aspect, includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the method described in the first aspect. , or implement the method as described in the third aspect.
  • a computer program/program product is provided, the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to implement the method described in the first aspect A method for determining the accuracy of the model, or steps for implementing the method for determining the accuracy of the model as described in the third aspect.
  • the inference result data corresponding to the task is obtained from the second network element through the first network element, and the inference result data is obtained by the second network element inferring the task based on the first model;
  • the first network element determines the accuracy information of the inference result data corresponding to the task;
  • the first network element sends the first information to the second network element and/or the third network element, and the first information It is used to indicate the accuracy information of the inference result data corresponding to the task, so that the accuracy of the model in the actual application process can be monitored, and when the accuracy decreases, corresponding measures can be taken in a timely manner to prevent wrong strategies. Make decisions or perform inappropriate actions.
  • Figure 1 is a schematic structural diagram of a wireless communication system applicable to the embodiment of the present application.
  • Figure 2 is a schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 3 is another schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 4 is another schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 5 is a schematic structural diagram of a model accuracy determination device provided by an embodiment of the present application.
  • Figure 6 is another schematic flow chart of the accuracy determination method of the model provided by the embodiment of the present application.
  • Figure 7 is another structural schematic diagram of the accuracy determination device of the model provided by the embodiment of the present application.
  • Figure 8 is a schematic structural diagram of a communication device provided by an embodiment of the present application.
  • Figure 9 is a schematic structural diagram of a network side device that implements an embodiment of the present application.
  • first, second, etc. in the description and claims of this application are used to distinguish similar objects and are not used to describe a specific order or sequence. It is to be understood that the terms so used are interchangeable under appropriate circumstances so that the embodiments of the present application can be practiced in sequences other than those illustrated or described herein, and that "first" and “second” are distinguished objects It is usually one type, and the number of objects is not limited.
  • the first object can be one or multiple.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the related objects are in an "or” relationship.
  • LTE Long Term Evolution
  • LTE-Advanced, LTE-A Long Term Evolution
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • FDMA Frequency Division Multiple Access
  • OFDMA Orthogonal Frequency Division Multiple Access
  • SC-FDMA Single-carrier Frequency Division Multiple Access
  • system and “network” in the embodiments of this application are often used interchangeably, and the described technology can be used not only for the above-mentioned systems and radio technologies, but also for other systems and radio technologies.
  • 5G 5th Generation
  • 6G 6th Generation
  • FIG. 1 shows a block diagram of a wireless communication system to which embodiments of the present application are applicable.
  • the wireless communication system includes a terminal 11 and a network side device 12.
  • the terminal 11 may be a mobile phone, a tablet computer (Tablet Personal Computer), a laptop computer (Laptop Computer), or a notebook computer, a personal digital assistant (Personal Digital Assistant, PDA), a palmtop computer, a netbook, or a super mobile personal computer.
  • Tablet Personal Computer Tablet Personal Computer
  • laptop computer laptop computer
  • PDA Personal Digital Assistant
  • PDA Personal Digital Assistant
  • UMPC ultra-mobile personal computer
  • UMPC mobile Internet device
  • MID mobile Internet Device
  • AR augmented reality
  • VR virtual reality
  • robots wearable devices
  • VUE vehicle user equipment
  • PUE pedestrian terminal
  • smart home home equipment with wireless communication functions, such as refrigerators, TVs, washing machines or furniture, etc.
  • game consoles personal computers (personal computer, PC), teller machine or self-service machine and other terminal-side devices.
  • Wearable devices include: smart watches, smart bracelets, smart headphones, smart glasses, smart jewelry (smart bracelets, smart bracelets, smart rings, smart necklaces, smart anklets) bracelets, smart anklets, etc.), smart wristbands, smart clothing, etc.
  • the network side device 12 may include an access network device or a core network device, where the access network device 12 may also be called a radio access network device, a radio access network (Radio Access Network, RAN), a radio access network function or Wireless access network unit.
  • the access network device 12 may include a base station, a Wireless Local Area Network (WLAN) access point or a Wireless Fidelity (WiFi) node, etc.
  • WLAN Wireless Local Area Network
  • WiFi Wireless Fidelity
  • the base station may be called a Node B, an Evolved Node B (eNB), Access point, Base Transceiver Station (BTS), radio base station, radio transceiver, Basic Service Set (BSS), Extended Service Set (ESS), home B-node, home Evolved B-node, Transmitting Receiving Point (TRP) or some other suitable terminology in the field, as long as the same technical effect is achieved, the base station is not limited to specific technical terms. It should be noted that in this article In the application embodiment, the base station in the 5G system is only introduced as an example, and the specific type of the base station is not limited.
  • Core network equipment may include but is not limited to at least one of the following: core network nodes, core network functions, mobility management entities (Mobility Management Entity, MME), access mobility Access and Mobility Management Function (AMF), Session Management Function (SMF), User Plane Function (UPF), Policy Control Function (PCF), policy and accounting Policy and Charging Rules Function (PCRF), Edge Application Server Discovery Function (EASDF), Unified Data Management (UDM), Unified Data Repository (UDR), Home Subscriber Server (HSS), Centralized network configuration (CNC), Network Repository Function (NRF), Network Exposure Function (NEF), Local NEF (Local NEF) , or L-NEF), binding support function (Binding Support Function, BSF), application function (Application Function, AF), etc.
  • MME mobility management entities
  • AMF Access Mobility Access and Mobility Management Function
  • SMF Session Management Function
  • UPF User Plane Function
  • PCF Policy Control Function
  • PCF Policy and accounting Policy and Charging Rules Function
  • EASDF Edge
  • the embodiment of the present application provides a method for determining the accuracy of a model.
  • the execution subject of the method includes a first network element, and the first network element includes a consumer network function (consumer Network Function, consumer NF). ), in other words, the method can be executed by software or hardware installed on the first network element.
  • the method includes the following steps.
  • the first network element obtains the inference result data corresponding to the task from the second network element.
  • the inference result data is obtained by the second network element inferring the task based on the first model; wherein, the first network element
  • the network element is the network element that triggers the task
  • the second network element is the network element that performs reasoning on the task.
  • the consumer NF can be a network element of the 5G system, or it can be a terminal or a third-party application function (Application Function, AF), etc.
  • Application Function Application Function
  • the second network element may have both a model inference function and a model
  • the network element of the training function for example, the second network element is NWDAF, and the NWDAF may include an analysis logical function network element (Analytics Logical Function, AnLF) and a model training logical function (MTLF).
  • NWDAF analysis logical function network element
  • AnLF Analytics Logical Function
  • MTLF model training logical function
  • the second network element includes a model inference function network element
  • the third network element includes a model training function network element.
  • the second network element is AnLF
  • the third network element is MTLF.
  • NWDAF is used as the second network element
  • the second network element and the third network element in the following embodiments may be the same network element, that is, the MTLF and AnLF are merged into NWDAF.
  • consumer NF is the first network element
  • AnLF is the second network element
  • MTLF is the third network element.
  • the method may include:
  • the consumer NF sends a task request message to AnLF, which is used to request inference on the task.
  • AnLF performs inference on the task based on the first model corresponding to the task according to the task request message to obtain inference result data and feeds it back to consumer NF.
  • the first model can be constructed and trained according to actual needs, such as an AI/ML model. Training data is collected by MTLF, and model training is performed based on the training data. After the training is completed, MTLF sends the information of the trained first model to AnLF, so that AnLF can perform inference on the task based on the first model and obtain inference result data.
  • the task is a data analysis task, which is used to indicate a task type rather than a single task.
  • AnLF can use the identification information (Analytics Identity, Analytics ID) of the task, etc. , determine the first model corresponding to the task, and then perform inference on the task based on the corresponding first model to obtain inference result data.
  • UE User Equipment
  • AnLF can reason about the task based on the first model corresponding to UE mobility.
  • the obtained inference result data is the predicted terminal location (UE location) information.
  • AnLF can perform one or more inferences on the task based on the first model to obtain multiple inference result data, or inference result data including multiple output result values.
  • the task can also be actively triggered by AnLF, for example, by setting up a verification test phase, in which AnLF actively simulates the triggering task to test the accuracy of the first model. .
  • the first network element determines the accuracy information of the inference result data corresponding to the task.
  • the accuracy information of the inference result data corresponding to the task can be determined in various ways.
  • the consumer NF can determine the accuracy of the inference result data corresponding to the task by calculating the local accuracy.
  • the accuracy information of the inference result data of the task is also called calculating local AiU (local AiU).
  • the step S220 includes:
  • the first network element obtains label data corresponding to the inference result data
  • the first network element determines the accuracy information of the inference result data corresponding to the task based on the inference result data and the label data.
  • the accuracy information of the inference result data corresponding to the task includes:
  • Comparison result information on whether the inference result data is consistent with the label data.
  • the comparison result information includes at least one of the following:
  • the first data corresponding to the inference result data that is inconsistent with the label data that is, only the first data of the task corresponding to the inconsistent comparison result needs to be transmitted, thereby reducing the amount of data transmission.
  • the first number of inference result data that is consistent with the corresponding tag data in the inference result data can be determined by comparing the inference result data with the corresponding label data, and dividing the first number by the total number of inference result data can be obtained.
  • the consistency between the inference result data and the label data may mean that the inference result data is the same as or similar to the corresponding label data, for example, in the same area, or the inference result data is consistent with the corresponding label data.
  • the corresponding label result data is within the allowed range.
  • the proportion value information can be expressed in various forms, and is not limited to a specific percentage value, such as 90%. It can also be a categorical expression form, such as high, medium, low, etc., or normalized data, such as 0.9.
  • the first network element obtains the tag data corresponding to the inference result data including:
  • the first network element determines the source device of the tag data corresponding to the task
  • the first network element obtains the tag data from the source device.
  • the source device of the tag data can be determined by the consumer NF based on the type information of the inference result data, the limit condition information of the task, the object information, etc.
  • the first network element sends first information to the second network element and/or the third network element.
  • the first information is used to indicate the accuracy information of the inference result data corresponding to the task.
  • the third network element is a network element that provides the first model.
  • the first information includes:
  • the first data includes at least one of the following:
  • AnLF can calculate the number of inference results corresponding to the task. Based on the accuracy information, determine the first model corresponding to the task, and perform subsequent operations, for example, send information to MTLF indicating that the accuracy of the first model does not meet the accuracy requirements or has declined, or stop using it. The first model, etc.
  • MTLF can determine the first model corresponding to the task based on the accuracy information of the inference result data corresponding to the task, and perform subsequent operations, for example, modify the first model Do retraining etc.
  • the first network element obtains the inference result data corresponding to the task from the second network element, and the inference result data is the second network element based on the first model.
  • the task is obtained through inference; the first network element determines the accuracy information of the inference result data corresponding to the task; the first network element sends the first information to the second network element and/or the third network element , the first information is used to indicate the accuracy information of the inference result data corresponding to the task, so that the accuracy of the model in the actual application process can be monitored, and corresponding measures can be taken in a timely manner when the accuracy decreases. Prevent poor policy decisions from being made or inappropriate actions performed.
  • the accuracy determination method of the model includes the following steps.
  • the process of the MTLF training the first model includes steps A1-A2.
  • Step A1.MTLF collects training data from the training data source device.
  • Step A2. MTLF trains the first model based on the training data.
  • Step A3. consumer NF sends a task request message to the AnLF.
  • the task request message is used to request inference on the task, thereby triggering AnLF to execute the inference process on the task based on the first model corresponding to the task. .
  • the task request message contains description information of the task.
  • the description information of the task can be diverse and can include identification information of the task, qualification information (Analytics Filter Information) of the task, and Object information (Analytics Target), etc.
  • the objects and scope involved in the task can be determined through the description information of the task.
  • the limiting condition information of the task is used to limit the execution scope of the task, which may include time scope and regional scope, etc.
  • the object information of the task is used to indicate the object targeted by the task, for example, a certain terminal identification (UE ID), a certain terminal group identification (UE group ID) or any terminal (any UE).
  • UE ID terminal identification
  • UE group ID terminal group identification
  • any terminal any UE
  • the AnLF may request a model from the MTLF according to the task request message, and obtain the information of the first model and the second accuracy of the first model from the MTLF.
  • Step A4 AnLF sends a message requesting the model to MTLF based on the task request information.
  • Step A5. After completing the training of the first model, MTLF may send the trained first model information to AnLF.
  • the message specifically carrying the information of the first model may be an Nnwdaf_MLModelProvision_Notify or Nnwdaf_MLModelInfo_Response message.
  • MTLF in the training phase of the first model or the testing phase after training in step A2, MTLF needs to evaluate the accuracy of the first model and calculate the second accuracy of the first model, That is AiT.
  • the second accuracy can be obtained using the same calculation formula as the first accuracy.
  • MTLF may set a verification data set for evaluating the second accuracy of the first model.
  • the verification data set includes input data for the first model and corresponding label data, and MTLF inputs the input data.
  • the first model after training obtains output data, and then compares whether the output data is consistent with the label data, and then calculates the second accuracy of the first model according to the above formula.
  • the MTLF when sending the information of the first model to AnLF in step A5, may also send the second accuracy of the first model at the same time, or send all the information to the AnLF through an independent message.
  • the second accuracy of the first model when sending the information of the first model to AnLF in step A5, the MTLF may also send the second accuracy of the first model at the same time, or send all the information to the AnLF through an independent message. The second accuracy of the first model.
  • the steps A1-A2 may be located after step A4, that is, after MTLF receives the message requesting the model sent by AnLF, it then trains the first model corresponding to the task, and sends the trained The first model message is sent to AnLF.
  • Step A6 AnLF obtains the inference input data corresponding to the task.
  • the step Step A6 before obtaining the inference input data corresponding to the task, the step Step A6 also includes:
  • AnLF determines at least one of the following relevant information based on the received task request message:
  • Type information of the input data of the first model
  • Type information of the output data of the first model
  • the source device of the inference input data corresponding to the task
  • the source device of the tag data corresponding to the task is the source device of the tag data corresponding to the task.
  • the first model corresponding to the task can be determined by the task type indicated by the analytics ID in the task request message; or, the first model that needs to be used by the task can be determined by the mapping relationship between the analytics ID and the first model. Determine; where the first model can be represented by the identification information (model ID) of the model, such as model 1.
  • the type information of the input data of the first model may also be called metadata information of the model.
  • the input data may include terminal identification (UE ID), time and current service status of the terminal, etc.
  • the type information of the output data of the first model includes a data type (data type), such as a tracking area (Tracking Area, TA) or cell (cell) used to indicate the UE location.
  • data type such as a tracking area (Tracking Area, TA) or cell (cell) used to indicate the UE location.
  • the source device of the inference input data corresponding to the task can be determined by AnLF based on the analytics filter information and analytics target information in the task request message, and then the objects and scope involved in the task can be determined based on the objects and scope and metadata information. , determine the network element that can obtain the inference input data corresponding to the task as the source device of the inference input data corresponding to the task.
  • the source device of the tag data corresponding to the task can be determined by AnLF based on the type information of the output data of the first model.
  • the qualification information and object information determine the specific network element instance (instance) corresponding to the network element device type, and use the network element instance as the source device of the label data.
  • the data type of the output data according to the first model corresponding to the task UE mobility UE location
  • AnLF determines that the network element equipment type AMF type can provide UE location data
  • AnLF then obtains the data from the Unified Data Management Entity (Unified Data Management, UDM) or Network Repository Function (NRF) query, the corresponding AMF instance is AMF 1, so AnLF uses AMF 1 as the source device of the tag data, and subsequently obtains the tag data of the UE location from AMF1.
  • UDM Unified Data Management Entity
  • NRF Network Repository Function
  • AnLF After determining the source device of the inference input data of the task, AnLF sends a request message for the inference input data to the source device of the inference input data for collecting the inference input data corresponding to the task.
  • Step A7 AnLF performs inference on the corresponding inference input data of the task based on the obtained first model, and obtains inference result data (analytics output).
  • step S210 includes step A8.
  • Step A8 AnLF sends the inference result data obtained through inference to one or more consumer NFs corresponding to the task.
  • the inference result data can be used to inform the consumer NF and the first model corresponding to the analytics ID of the statistical or predicted values obtained through inference, and to assist the consumer NF in executing corresponding strategic decisions.
  • statistics or prediction values corresponding to UE mobility can be used to assist AMF in optimizing user paging.
  • the message specifically carrying the inference result data may be an Nnwdaf_AnalyticsSubscription_Notify or Nnwdaf_AnalyticsInfo_Response message.
  • step S220 includes steps A9-A10.
  • Step A9.consumer NF obtains label data corresponding to the inference result data.
  • the consumer NF's message specifically requesting to obtain the tag data can be Think Nnf_EventExposure_Subscirbe message.
  • step A9 includes:
  • the first network element determines the source device of the tag data corresponding to the task.
  • the method for determining the source device of the tag data can be similar to the method used by AnLF to determine the source device of the tag data in step A6. For example, it can be based on the output result.
  • the type information of the data determines the type of network element device that can provide the output data, and then determines the specific network element instance corresponding to the network element device type based on the limit information and object information of the task, and uses the network element instance as The source device of the tag data.
  • the first network element obtains the tag data from the source device.
  • consumer NF can send a tag data request message to the source device of the tag data, including the type information of the tag data, object information corresponding to the tag data, time information (such as timestamp, time period), etc., using Determining which tag data should be fed back to the source device of the tag data.
  • the type information of the tag data, the object information corresponding to the tag data, time information, etc. in the request message of the tag data can be determined by the consumer NF according to the type information of the output result data, the object information of the task, and the Determine the condition information of the task described above.
  • consumer NF can determine the type information of the tag data that needs to be obtained based on the type information of the output result data; consumer NF can determine the object information of the tag data that needs to be obtained based on the object information of the task; If the qualification information of the task determines that the reasoning process of the task is a statistical calculation made at a certain time in the past or a prediction made at a certain time in the future, the consumer NF also needs to obtain the certain time in the past or a certain time in the future. Corresponding label data.
  • AMF Location Management Function
  • step A8 AnLF obtains multiple inference result data by executing one or more inference processes, consumer NF correspondingly needs to obtain multiple label data corresponding to the multiple inference result data.
  • A10.consumer NF determines the accuracy information of the inference result data corresponding to the task based on the inference result data and the label data.
  • the accuracy information of the inference result data corresponding to the task includes:
  • Comparison result information on whether the inference result data is consistent with the label data.
  • the comparison result information includes at least one of the following:
  • the first data corresponding to the inference result data that is inconsistent with the label data is inconsistent with the label data.
  • step S230 includes step A11.
  • A11.consumer NF sends the first information to AnLF or MTLF, where the first information is used to indicate the accuracy information of the inference result data corresponding to the task.
  • the first information includes:
  • the first data includes at least one of the following:
  • the method before performing step A11, the method further includes:
  • the first network element determines that the accuracy information of the inference result data corresponding to the task reaches a first preset condition
  • the first preset condition includes at least one of the following conditions:
  • the inference result data is inconsistent with the label data
  • the proportion of the inference result data that is consistent with the label data to the total inference result data is lower than the a threshold.
  • the AnLF may perform step A13.
  • the AnLF sends third information to the MTLF that provides the first model, where the third information is used to indicate that the accuracy of the first model does not meet accuracy requirements or has declined.
  • the third information may include at least one of the following:
  • the identification information of the first model such as Model ID;
  • the identification information of the task such as Analytics ID;
  • the condition definition information of the task is used to indicate the scope involved in the first information, that is, the object and scope of the task involved when the accuracy of the first model does not meet the accuracy requirements or decreases, including: Time range, regional range, object range, etc.;
  • Model re-request used to request MTLF to re-provide a model that can be used for inference on the task.
  • the model can be the first model after retraining, or it can be another model;
  • the first data of the task is used to retrain the first model.
  • the AnLF may also perform step A12.
  • Step A12. AnLF determines the first accuracy of the first model based on the received first information.
  • the calculation methods of the first accuracy may be various, and the embodiments of this application only provide several specific implementation methods.
  • the first accuracy can be determined based on the proportional value in the accuracy information.
  • the first accuracy can be a weighted calculation result of the proportional value corresponding to the task, that is, it can be calculated from different proportions.
  • the proportion value received by consumer NF for the same task is weighted and calculated. Or weighted calculations will be performed on multiple proportional values received after multiple inferences on the same task.
  • the first accuracy can be obtained based on the first data of the task.
  • the first accuracy can be calculated based on the inference result data and label data of the task.
  • AnLF determines whether the first accuracy satisfies the second preset condition, and if the first accuracy satisfies the second preset condition, performs step A13 and sends third information to MTLF, where the third information also The first accuracy may be included.
  • the second preset condition can be set according to actual needs.
  • the second preset condition includes at least one of the following conditions:
  • the first accuracy is lower than the second threshold
  • the first accuracy is lower than the second accuracy
  • the first accuracy is lower than the second accuracy, and the difference from the second accuracy is greater than a third threshold.
  • Step A14 The MTLF may obtain training data according to the third information.
  • step A14 includes:
  • MTLF determines the source device of the training data, that is, the inference data source device as shown in Figure 3;
  • the MTLF obtains the training data from the inference data source device. Specifically, the MTLF may request the inference data source device to provide the training data by sending data request information to the inference data source device.
  • the data request information includes at least one of the following information:
  • the source device of the training data is determined by at least one of the following:
  • the training data includes the first data of the task, that is, it may include inference input data, inference result data and label data corresponding to the task.
  • the source device of the training data may be consumer NF, and MTLF may obtain the first data of the task from the consumer NFA.
  • Step A15 The MTLF retrains the first model based on the training data.
  • the specific training process is basically the same as the training process in step A2.
  • the specific difference is that the training data may include the third part of the task. One data.
  • step A15 the method further includes:
  • Step A16 MTLF sends fourth information to AnLF, where the fourth information includes information about the retrained first model.
  • the fourth information further includes at least one of the following:
  • the applicable condition information of the retrained first model which may include the time range, regional range, object range, etc. targeted by the first model;
  • the third accuracy of the retrained first model is the AiT of the retrained first model.
  • the third accuracy is used to indicate that the retrained first model is in the training phase or the testing phase. How accurate the model outputs presented are.
  • Step A17 The first network element receives new inference result data of the task from the second network element, wherein the new inference result data is generated by the AnLF based on the retrained first model. Obtained after reasoning about the above task.
  • the task can be the above step A3.
  • the task triggered by the consumer NF can also be a task that is re-triggered by the consumer NF when it determines after step A10 that the accuracy information of the inference result data corresponding to the task meets the first preset condition.
  • step A15 the method further includes:
  • the MTLF sends the information of the retrained first model to the seventh network element, and the seventh network element is other AnLF network element that needs to use the first model for inference.
  • the seventh network element includes a model inference function network element.
  • MTLF Equivalently, after MTLF completes retraining the first model, it can also send the retrained first model to other AnLFs that need it, and the other AnLFs can use the first model.
  • the first network element obtains the inference result data corresponding to the task from the second network element, and determines the accuracy information of the inference result data corresponding to the task.
  • the first network element sends the first information to the second network element and/or the third network element, and the third network element retrains the first model corresponding to the task, so that the first model can be updated in time and quickly restored. Accuracy in reasoning about tasks, preventing making wrong policy decisions or performing inappropriate actions.
  • the method further includes:
  • the AnLF may save the first data to a fourth network element, and the fourth network element includes a storage network element, which may be a data analysis repository network element (Analytics Data Repository Function, ADRF).
  • ADRF Analytics Data Repository Function
  • the second information further includes at least one of the following:
  • Store reason information for example, the inference result data is inconsistent with the label data, or the accuracy information of the inference result data satisfies the first preset condition, etc.
  • the inference input data, inference result data and label data in the second information may be the inference input data, inference result data and label data corresponding to the inference result data that is inconsistent with the label data.
  • the first information sent to the AnLF or MTLF in step A11 may also include information about the fourth network element, such as identification information of the ADRF.
  • AnLF may perform step B13 according to the received information of the fourth network element.
  • Step B13 AnLF obtains the accuracy information of the inference result data corresponding to the task and/or the first data of the task from the ADRF.
  • step A14 the MTLF acquires training data according to the third information, where the source device of the training data may include ADRF, and the MTLF executes B14.
  • MTLF obtains training data from ADRF, that is, obtains the first data stored by ADRF. Specifically, MTLF can send data request information of the first data to ADRF to indicate the data range requested to be obtained; wherein, the data request The information includes at least one of the following information:
  • the data request information may also include a reason for the request, such as The first model needs to be retrained, or the accuracy of the first model does not meet accuracy requirements or decreases.
  • the fourth network element receives and stores the accuracy information of the inference result data corresponding to the task and/or the accuracy information corresponding to the task from the first network element.
  • the first data can be used to save the relevant data corresponding to the task in a timely manner when the inference result data and the label data are inconsistent, so as to facilitate the second network element or the third network element to flexibly call the first model according to actual needs. Monitor the accuracy, or be used to retrain the first model, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations .
  • step A10 when it is determined that the accuracy information of the inference result data corresponding to the task reaches the first preset condition, the method further includes:
  • the first network element performs at least one of the following operations:
  • This operation can be performed when the proportion of inconsistent inference result data in the accuracy information of the inference result data is small and does not exceed a preset threshold, such as the first threshold. Execution; in one implementation, if the inference result data corresponding to the task continues to be used, the weight of the inference result data for strategic decision-making can be appropriately reduced;
  • the fifth network element includes a model inference function network element, that is, the consumer NF can Other AnLFs outside the second network element send task request messages.
  • the embodiments of the present application perform corresponding operations after determining that the accuracy information of the inference result data corresponding to the task reaches the first preset condition, thereby being able to perform the inference results of the task.
  • the accuracy information of the data is monitored and when accuracy decreases, Take appropriate measures in a timely manner to prevent making wrong strategic decisions or performing inappropriate operations.
  • the method further includes:
  • the AnLF may request the sixth network element to obtain a second model, where the second model is a model provided by the sixth network element for the task.
  • the sixth network element includes a model training function network element, that is, the sixth network element may be other MTLF except the second network element;
  • the AnLF performs inference on the task based on the second model and obtains new inference result data of the task.
  • the task for reasoning can be a task triggered by the task request message sent by consumer NF in step A3, or a task triggered by consumer NF re-sending the task request message.
  • the new inference result data received by consumer NF in step A17 is obtained based on the second model.
  • the execution subject may be a model accuracy determination device.
  • the accuracy determination method of the model executed by the model accuracy determination apparatus is used as an example to illustrate the model accuracy determination apparatus provided by the embodiment of the present application.
  • the model accuracy determination device includes: a receiving module 501, an execution module 502 and a sending module 503.
  • the receiving module 501 is used to obtain the inference result data corresponding to the task from the second network element.
  • the inference result data is obtained by the second network element inferring the task based on the first model;
  • the execution module 502 used to determine the accuracy information of the inference result data corresponding to the task;
  • the The sending module 503 is configured to send first information to the second network element and/or the third network element, where the first information is used to indicate the accuracy information of the inference result data corresponding to the task; wherein, the model
  • the accuracy determining device is a network element that triggers the task
  • the second network element is a network element that performs inference on the task
  • the third network element is a network element that provides the first model.
  • the first network element includes a consumer network element.
  • the second network element includes a model inference function network element.
  • execution module 502 is used to:
  • the accuracy information of the inference result data corresponding to the task is determined.
  • the first information includes:
  • the fourth network element is used to receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task;
  • the first data includes at least one of the following:
  • the accuracy information of the inference result data corresponding to the task includes:
  • Comparison result information on whether the inference result data is consistent with the label data.
  • comparison result information includes at least one of the following:
  • the first data corresponding to the inference result data that is inconsistent with the label data is inconsistent with the label data.
  • the sending module 503 is also used to determine that the accuracy information of the inference result data corresponding to the task reaches a first predetermined level. set conditions;
  • the first preset condition includes at least one of the following conditions:
  • the inference result data is inconsistent with the label data
  • the proportion of the inference result data that is consistent with the label data to the total inference result data is lower than the first threshold.
  • execution module is used to:
  • the first network element determines the source device of the tag data corresponding to the task
  • the first network element obtains the tag data from the source device.
  • the embodiments of the present application obtain the inference result data corresponding to the task from the second network element.
  • the inference result data is obtained by the second network element inferring the task based on the first model.
  • Determine the accuracy information of the inference result data corresponding to the task and send first information to the second network element and/or the third network element, where the first information is used to indicate the inference corresponding to the task
  • the accuracy information of the result data can be used to monitor the accuracy of the model in the actual application process, and when the accuracy decreases, corresponding measures can be taken in a timely manner to prevent making wrong strategic decisions or performing inappropriate operations.
  • the sending module is further configured to send second information to the fourth network element, where the second information is used to instruct the fourth network element to store the inference result data corresponding to the task.
  • the second information also includes at least one of the following:
  • the fourth network element includes a storage network element.
  • the embodiments of the present application receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task through the fourth network element, thereby enabling inference
  • the relevant data corresponding to the task is saved in a timely manner to facilitate the second network element or the third network element to flexibly call according to actual needs to monitor the accuracy of the first model, or It is used to retrain the first model, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the execution module is also configured to perform at least one of the following:
  • the fifth network element includes a model inference function network element.
  • the embodiments of the present application perform corresponding operations after determining that the accuracy information of the inference result data corresponding to the task reaches the first preset condition, thereby being able to perform the inference results of the task.
  • the accuracy information of the data is monitored, and when the accuracy drops, corresponding measures are taken in a timely manner to prevent making wrong strategic decisions or performing inappropriate operations.
  • the receiving module is further configured to receive new inference result data of the task from the second network element;
  • the new inference result data is obtained based on at least one of the following models:
  • the second model is provided by the sixth network element.
  • the sixth network element includes a model training function network element.
  • the accuracy determination device of the model in the embodiment of the present application may be an electronic device, such as an electronic device with an operating system, or may be a component in the electronic device, such as an integrated circuit or chip.
  • the electronic device may be a terminal or other devices other than the terminal.
  • terminals may include but are not limited to the types of terminals 11 listed above, and other devices may be servers, network attached storage (Network Attached Storage, NAS), etc., which are not specifically limited in the embodiment of this application.
  • the model accuracy determination device provided by the embodiments of the present application can implement each process implemented by the method embodiments of Figures 2 to 4, and achieve the same technical effect. To avoid duplication, details will not be described here.
  • the embodiment of the present application also provides another method for determining the accuracy of the model.
  • the execution subject of this method is a second network element, where the second network element includes a model inference function network element.
  • the The method may be executed by software or hardware installed on the second network element. The method includes the following steps.
  • the second network element infers the task based on the first model, obtains the inference result data of the task and sends it to the first network element;
  • the second network element receives first information from the first network element, where the first information is used to indicate the accuracy information of the inference result data corresponding to the task.
  • the first network element includes a consumer network element.
  • the second network element includes a model inference function network element.
  • the first information includes at least one of the following:
  • the first data of the task
  • Identification information of a fourth network element the fourth network element being configured to receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task from the first network element;
  • the first data includes at least one of the following:
  • the accuracy information of the inference result data corresponding to the task includes:
  • Comparison result information on whether the inference result data is consistent with the label data.
  • comparison result information includes at least one of the following:
  • the first data corresponding to the inference result data that is inconsistent with the label data is inconsistent with the label data.
  • step S620 the method further includes:
  • the second network element sends third information to the third network element.
  • the third information is used to indicate that the accuracy of the first model does not meet the accuracy requirement or has declined.
  • the third network element provides the Network elements of the first model.
  • the second network element sending the third information to the third network element includes:
  • the second network element determines a first accuracy of the first model based on the first information, where the first accuracy is used to indicate the accuracy of the inference result of the first model for the task;
  • the third information is sent to the third network element.
  • the first accuracy of the first model is determined by at least one of the following:
  • the first data of the task
  • the first data includes at least one of the following:
  • the third network element includes a model training function network element.
  • the second preset condition includes:
  • the first accuracy is lower than the second threshold
  • the first accuracy is lower than the second accuracy
  • the first accuracy is lower than the second accuracy, and the difference from the second accuracy is greater than a third threshold.
  • the third information includes at least one of the following:
  • Model re-request used to request the third network element to re-provide a model that can be used to reason about the task
  • the first data of the task is used to retrain the first model.
  • the method further includes:
  • the second network element receives fourth information from the third network element, where the fourth information includes information of the retrained first model.
  • the fourth information also includes at least one of the following:
  • the third accuracy of the retrained first model is used to indicate the The accuracy of the model output results presented by the retrained first model during the training phase or testing phase.
  • the steps 610-620 can implement the method embodiments shown in Figure 2 and Figure 3, and obtain the same technical effect, and the repeated parts will not be described again here.
  • the second network element infers the task based on the first model, obtains the inference result data of the task and sends it to the first network element; the second network element infers the task from The first network element receives first information, and the first information is used to indicate the accuracy information of the inference result data corresponding to the task, so that the accuracy of the model in the actual application process can be monitored, and the accuracy of the inference result data corresponding to the task can be monitored.
  • the level drops take corresponding measures in a timely manner to prevent making wrong strategic decisions or performing inappropriate operations.
  • the method further includes:
  • the second network element obtains the accuracy information of the inference result data corresponding to the task and/or the first data of the task from the fourth network element.
  • the fourth network element includes a storage network element.
  • the embodiments of the present application receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task through the fourth network element, thereby enabling inference
  • the relevant data corresponding to the task is saved in a timely manner to facilitate the second network element or the third network element to flexibly call according to actual needs to monitor the accuracy of the first model, or It is used to retrain the first model, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the method further includes:
  • the second network element requests a sixth network element to obtain a second model, where the second model is a model provided by the sixth network element for the task;
  • the second network element performs inference on the task based on the second model and obtains new inference result data of the task.
  • the sixth network element includes a model training function network element.
  • the execution subject may be a model accuracy determination device.
  • the accuracy determination method of the model executed by the model accuracy determination apparatus is used as an example to illustrate the model accuracy determination apparatus provided by the embodiment of the present application.
  • the accuracy determination device of the model includes: an inference module 701 and a transmission module 702.
  • the inference module 701 is used to infer the task based on the first model, obtain the inference result data of the task and send it to the first network element; the transmission module 702 is used to receive the first information from the first network element , the first information is used to indicate the accuracy information of the inference result data corresponding to the task.
  • the first network element includes a consumer network element.
  • the second network element includes a model inference function network element.
  • the first information includes at least one of the following:
  • the first data of the task
  • Identification information of a fourth network element the fourth network element being configured to receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task from the first network element;
  • the first data includes at least one of the following:
  • the accuracy information of the inference result data corresponding to the task includes:
  • Comparison result information on whether the inference result data is consistent with the label data.
  • comparison result information includes at least one of the following:
  • the first data corresponding to the inference result data that is inconsistent with the label data is inconsistent with the label data.
  • the transmission module 702 is also configured to send third information to a third network element, where the third information is used to indicate that the accuracy of the first model does not meet accuracy requirements or has declined.
  • the third network element is A network element of the first model is provided.
  • transmission module 702 is used for:
  • the third information is sent to the third network element.
  • the first accuracy of the first model is determined by at least one of the following:
  • the first data of the task
  • the first data includes at least one of the following:
  • the third network element includes a model training function network element.
  • the second preset condition includes:
  • the first accuracy is lower than the second threshold
  • the first accuracy is lower than the second accuracy
  • the first accuracy is lower than the second accuracy, and the difference from the second accuracy is greater than a third threshold.
  • the third information includes at least one of the following:
  • Model re-request used to request the third network element to re-provide a model that can be used to reason about the task
  • the first data of the task is used to retrain the first model.
  • the transmission module 702 is further configured to receive fourth information from the third network element, where the fourth information includes the information of the retrained first model.
  • the fourth information also includes at least one of the following:
  • the third accuracy of the retrained first model is used to indicate the accuracy of the model output results presented by the retrained first model in the training phase or the testing phase.
  • the embodiments of the present application perform inference on the task based on the first model, obtain the inference result data of the task and send it to the first network element; receive the first information from the first network element , the first information is used to indicate the accuracy information of the inference result data corresponding to the task, so that the accuracy of the model in the actual application process can be monitored, and corresponding measures can be taken in a timely manner when the accuracy decreases. Prevent poor policy decisions from being made or inappropriate actions performed.
  • the transmission module 702 is further configured to obtain the accuracy information of the inference result data corresponding to the task and/or the first data of the task from the fourth network element.
  • the fourth network element includes a storage network element.
  • the embodiments of the present application receive and store the accuracy information of the inference result data corresponding to the task and/or the first data corresponding to the task through the fourth network element, thereby enabling inference
  • the relevant data corresponding to the task is saved in a timely manner to facilitate flexible call, monitor the accuracy of the first model, or be used to retrain the first model so that the second model can be used to retrain the first model.
  • a model can be updated in a timely manner to quickly restore the accuracy of reasoning about tasks and prevent wrong strategic decisions or inappropriate operations from being made.
  • the transmission module 702 is also used to:
  • the sixth network element includes a model training function network element.
  • the accuracy determination device of the model in the embodiment of the present application may be an electronic device, such as an electronic device with an operating system, or may be a component in the electronic device, such as an integrated circuit or chip.
  • the electronic device may be a terminal or other devices other than the terminal.
  • terminals may include but are not limited to the types of terminals 11 listed above, and other devices may be servers, network attached storage (Network Attached Storage, NAS), etc., which are not specifically limited in the embodiment of this application.
  • the model accuracy determination device provided by the embodiment of the present application can implement each process implemented by the method embodiment in Figure 6 and achieve the same technical effect. To avoid duplication, the details will not be described here.
  • this embodiment of the present application also provides a communication device 800, including a The processor 801 and the memory 802 store programs or instructions that can be run on the processor 801.
  • the processor 801 and the memory 802 store programs or instructions that can be run on the processor 801.
  • the communication device 800 is a terminal, when the program or instructions are executed by the processor 801, the above model is realized.
  • Each step of the accuracy determination method embodiment can achieve the same technical effect.
  • the communication device 800 is a network-side device, when the program or instruction is executed by the processor 801, the steps of the above-mentioned model accuracy determination method embodiment are implemented, and the same technical effect can be achieved. To avoid duplication, they will not be described again here. .
  • the embodiment of the present application also provides a network side device.
  • the network side device 900 includes: a processor 901, a network interface 902, and a memory 903.
  • the network interface 902 is, for example, a common public radio interface (CPRI).
  • CPRI common public radio interface
  • the network side device 900 in this embodiment of the present invention also includes: instructions or programs stored in the memory 903 and executable on the processor 901.
  • the processor 901 calls the instructions or programs in the memory 903 to execute Figures 5 and 7
  • the execution methods of each module are shown and achieve the same technical effect. To avoid repetition, they will not be described in detail here.
  • Embodiments of the present application also provide a readable storage medium, with a program or instructions stored on the readable storage medium.
  • a program or instructions stored on the readable storage medium.
  • the processor is the processor in the terminal described in the above embodiment.
  • the readable storage media includes computer-readable storage media, such as computer read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disks or optical disks, etc.
  • An embodiment of the present application further provides a chip.
  • the chip includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the accuracy determination method of the above model.
  • Each process of the embodiment can achieve the same technical effect, so to avoid repetition, it will not be described again here.
  • chips mentioned in the embodiments of this application may also be called system-on-chip, system-on-a-chip, system-on-chip or system-on-chip, etc.
  • Embodiments of the present application further provide a computer program/program product.
  • the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to achieve the accuracy determination of the above model.
  • Each process of the method embodiment can achieve the same technical effect, so to avoid repetition, it will not be described again here.
  • the embodiment of the present application also provides a model accuracy determination system, including: a network side device, the network side device includes a first network element and a second network element, and the first network element can be used to perform the above
  • the second network element may be configured to perform the steps of the method for determining accuracy of the model as described above.
  • the methods of the above embodiments can be implemented by means of software plus the necessary general hardware platform. Of course, it can also be implemented by hardware, but in many cases the former is better. implementation.
  • the technical solution of the present application can be embodied in the form of a computer software product that is essentially or contributes to the existing technology.
  • the computer software product is stored in a storage medium (such as ROM/RAM, disk , CD), including several instructions to cause a terminal (which can be a mobile phone, computer, server, air conditioner, or network device, etc.) to execute the methods described in various embodiments of this application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种模型的准确度确定方法、装置及网络侧设备，属于移动通信领域，本申请实施例的模型的准确度确定方法包括：第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。

Description

模型的准确度确定方法、装置及网络侧设备
交叉引用
本发明要求在2022年03月07日提交中国专利局、申请号为202210225808.4、发明名称为“模型的准确度确定方法、装置及网络侧设备”的中国专利申请的优先权，该申请的全部内容通过引用结合在本发明中。
技术领域
本申请属于移动通信技术领域，具体涉及一种模型的准确度确定方法、装置及网络侧设备。
背景技术
在通信网络中，引入了一些网元用于进行智能化数据分析，并生成一些任务的数据分析结果(analytics)(或称之为推理数据结果)，该数据分析结果可以辅助网内外设备进行策略决策，目的在于利用人工智能(Artificial Intelligence，AI)方法提升设备策略决策的智能化程度。
网络数据分析功能(Network Data Analytics Function，NWDAF)可以基于训练数据进行AI或机器学习(Machine Learning，ML)模型训练,获取适用于某AI任务对应的模型。基于AI/ML模型对某AI任务的推理输入数据进行推理，获得某具体AI任务对应的推理结果数据。策略控制功能实体(Policy Control Function，PCF)基于推理结果数据执行智能的策略控制和计费(Policy Control and Charging，PCC)，例如根据用户业务行为的推理结果数据制定智能的用户驻留策略，提升用户的业务体验；或者，接入和移动管理功能(Access and Mobility Management Function，AMF)基于某AI任务的推理结果数据执行智能化的移动性管理操作，例如根据用户的移动轨迹的推理结果数据智能 寻呼用户，提升寻呼可达率。
网内外设备根据AI数据分析结果做成正确的、优化的策略决策，前提是需要基于正确的数据分析结果的。倘若，数据分析结果的准确率比较低，其作为错误信息被提供给网内外设备参考，则最终会做成的错误的策略决策或执行不合适的操作。因此保证数据分析结果的准确度是必须的。
虽然模型在训练阶段的准确度(Accuracy in Training，AiT)满足了该模型的准确度需求，无法确定该模型在投入实际使用推理的准确度(Accuracy in Use，AiU)同样能达到的准确度需求，可能因为数据分布不同、模型泛化能力不足等原因而存在差距，导致该模型得到的推理结果数据的准确度比较低，在被提供给网内外设备参考时，容易做出错误的策略决策或执行不合适的操作。
发明内容
本申请实施例提供一种模型的准确度确定方法、装置及网络侧设备，能够解决模型得到的推理结果数据的准确率比较低的问题。
第一方面，提供了一种模型的准确度确定方法，应用于第一网元，该方法包括：
第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
所述第一网元确定所述任务对应的推理结果数据的准确度信息；
所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；
其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
第二方面，提供了一种模型的准确度确定装置，包括：
接收模块，用于从第二网元获取任务对应的推理结果数据，所述推理结 果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
执行模块，用于确定所述任务对应的推理结果数据的准确度信息；
发送模块，用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；
其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
第三方面，提供了一种模型的准确度确定方法，应用于第二网元，该方法包括：
第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
第四方面，提供了一种模型的准确度确定装置，包括：
推理模块，用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
传输模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
第五方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法，或者实现如第三方面所述的方法的步骤。
第六方面，提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络设备包括第一网元和第二网元，所述第一网元可用于执行如第一方面所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如第三方面所述的模型的准确度确定方法的步骤。
第七方面，提供了一种可读存储介质，所述可读存储介质上存储程序或 指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
第八方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第三方面所述的方法。
第九方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的模型的准确度确定方法，或者实现如第三方面所述的模型的准确度确定方法的步骤。
在本申请实施例中，通过第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
附图说明
图1是本申请实施例可应用的一种无线通信系统的结构示意图；
图2是本申请实施例提供的模型的准确度确定方法的一种流程示意图；
图3是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图4是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图5是本申请实施例提供的模型的准确度确定装置的一种结构示意图；
图6是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图7是本申请实施例提供的模型的准确度确定装置的另一种结构示意图；
图8是本申请实施例提供的一种通信设备结构示意图；
图9为实现本申请实施例的一种网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了第五代(5th Generation，5G)系统，并且在以下大部分描述中使用5G术语，但是这些技术也可应用于5G系统应用以外的应用，如第6代(6th Generation，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personal computer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(Vehicle User Equipment，VUE)、行人终端(Pedestrain User Equipment，PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、无线局域网(Wireless Local Area Network，WLAN)接入点或无线保真(Wireless Fidelity，WiFi)节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以5G系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(Mobility Management Entity，MME)、接入移 动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)，网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以5G系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的模型的准确度确定方法、装置及网络侧设备进行详细地说明。
如图2所示，本申请实施例提供了一种模型的准确度确定方法，该方法的执行主体包括第一网元，所述第一网元包括消费者网元(consumer Network Function，consumer NF)，换言之，该方法可以由安装在第一网元的软件或硬件来执行。所述方法包括以下步骤。
S210、第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元。
所述consumer NF可以是5G系统的网元，也可以是终端或第三方应用功能(Application Function，AF)等。
在一种实施方式中，所述第二网元可以为同时具有模型推理功能和模型 训练功能的网元，例如所述第二网元为NWDAF，所述NWDAF可以包括分析逻辑功能网元(Analytics Logical Function，AnLF)和模型训练逻辑网元(Model Training Logical Function，MTLF)。
在另一种实施方式中，所述第二网元包括模型推理功能的网元，第三网元包括模型训练功能网元，例如所述第二网元为AnLF，所述第三网元为MTLF。
若以NWDAF为第二网元，则下述实施例中的第二网元与第三网元可以为同一网元，即所述MTLF和AnLF合并为NWDAF。
为了简便起见，在下面的实施例中均以consumer NF为第一网元，AnLF为第二网元，MTLF为第三网元为例进行举例说明。
在步骤S210之前，所述方法可以包括：
consumer NF向AnLF发送任务请求消息，所述任务请求消息用于请求对任务进行推理。
AnLF根据所述任务请求消息，基于与所述任务对应的第一模型对所述任务进行推理，以得到推理结果数据，并反馈给consumer NF。
应理解的是，所述第一模型可以根据实际的需要进行构建和训练，例如AI/ML模型。由MTLF采集训练数据，并基于所述训练数据进行模型训练。在训练完成后，MTLF将训练后的第一模型的信息发送至AnLF，以使AnLF可以基于所述第一模型对所述任务进行推理，得到推理结果数据。
应理解的是，所述任务是数据分析任务，用于指示一种任务类型而非单次任务，在触发所述任务后，AnLF可以根据所述任务的标识信息(Analytics Identity，Analytics ID)等，确定与所述任务对应的第一模型，然后基于对应的第一模型对所述任务进行推理，得到推理结果数据。例如，若所述任务的Analytics ID＝UE mobility，用于预测终端(也称为用户设备(User Equipment，UE))的移动轨迹，则AnLF可基于与UE mobiltiy对应的第一模型对任务进行推理，得到的推理结果数据为预测的终端位置(UE location)信息。
AnLF可以基于第一模型对任务进行一次或多次推理，以得到多个推理结果数据，或包括多个输出结果值的推理结果数据。
应理解的是，所述任务也可以是由AnLF主动触发，例如，通过设置一个验证测试阶段，在所述验证测试阶段中由AnLF主动模拟触发任务，用于测试所述第一模型的准确度。
S220、所述第一网元确定所述任务对应的推理结果数据的准确度信息。
所述任务对应的推理结果数据的准确度信息的确定方法可以多种多样，在一种实施方式中，consumer NF可以通过计算与所述任务对应的推理结果数据在本地的准确度来确定所述任务的推理结果数据的准确度信息，也称为计算本地AiU(local AiU)。
在一种实施方式中，所述步骤S220包括：
所述第一网元获取与所述推理结果数据对应的标签数据；
所述第一网元根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
在一种实施方式中，所述任务对应的推理结果数据的准确度信息包括：
所述推理结果数据中和所述标签数据是否一致的比较结果信息。
在一种实施方式中，所述比较结果信息包括以下至少一项：
与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
与标签数据不一致的推理结果数据对应的第一数据，即仅需要传输比较结果不一致时所对应的所述任务的第一数据，从而减少数据的传输量。
具体可以通过比较推理结果数据与对应的标签数据，来确定推理结果数据中与对应的标签数据一致的推理结果数据的第一数量，将第一数量除以总的推理结果数据的数量得到所述比例值信息，公式表示如下：
比例值信息＝第一数量÷总的推理结果数量的数量
其中，所述推理结果数据与标签数据一致可以为所述推理结果数据与对应的标签数据相同或相近，例如，在同一区域内，或者，推理结果数据与对 应的标签结果数据在允许范围内。
所述比例值信息的表现形式可以多种多样，不限于具体的百分比数值，例如90％，还可以是分类表达形式，例如高、中、低等，或者归一化后的数据，例如0.9。
应理解的是，与标签数据不一致的推理结果数据对应的第一数据，具体可以包括以下至少一项：
与标签数据不一致的推理结果数据；
与标签数据不一致的推理结果数据对应的标签数据；
与标签数据不一致的推理结果数据对应的输入数据。
在一种实施方式中，所述第一网元获取所述推理结果数据对应的标签数据包括：
所述第一网元确定所述任务对应的标签数据的来源设备；
所述第一网元从所述来源设备获取所述标签数据。
其中，所述标签数据的来源设备可以由consumer NF根据所述推理结果数据的类型信息、所述任务的限定条件信息和对象信息等确定。
S230、所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，所述第三网元为提供所述第一模型的网元。
在一种实施方式中，所述第一信息包括：
所述任务对应的推理结果数据的准确度信息；
所述任务对应的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
AnLF在接收到所述第一信息之后，可根据所述任务对应的推理结果数 据的准确度信息，确定与所述任务对应的第一模型，并执行后续操作，例如，向MTLF发送指示所述第一模型的准确度不满足准确度需求或下降的信息，或者，停止使用所述第一模型等。
MTLF在接收到所述第一信息之后，可根据所述任务对应的推理结果数据的准确度信息，确定与所述任务对应的第一模型，并执行后续操作，例如，对所述第一模型进行重新训练等。
由上述实施例的技术方案可知，本申请实施例通过第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图3所示，所述模型的准确度确定方法包括以下步骤。
所述MTLF对所述第一模型进行训练的过程包括步骤A1-A2。
步骤A1.MTLF从训练数据来源设备采集训练数据。
步骤A2.MTLF基于所述训练数据对第一模型进行训练。
步骤A3.consumer NF向所述AnLF发送任务请求消息，所述任务请求消息用于请求对所述任务进行推理，从而触发AnLF基于与所述任务对应的第一模型执行对所述任务的推理过程。
所述任务请求消息包含所述任务的描述信息，所述任务的描述信息可以多种多样，可以包括所述任务的标识信息、所述任务的限定条件信息(Analytics Filter Information)，所述任务的对象信息(Analytics Target)等。通过所述任务的描述信息可以确定所述任务所涉及的对象和范围等。
所述任务的限定条件信息用于限定所述任务执行的范围，可以包括时间 范围和区域范围等。
所述任务的对象信息用于指明所述任务针对的对象，例如，某一终端标识(UE ID)，某一终端组标识(UE group ID)或者任意终端(any UE)。
所述AnLF可以根据所述任务请求消息向MTLF请求模型，从所述MTLF获取第一模型的信息和所述第一模型的第二准确度。
步骤A4.AnLF根据所述任务请求信息，向MTLF发送请求模型的消息。
步骤A5.在完成对所述第一模型的训练后，MTLF可以将训练后的第一模型的信息发送到AnLF。
在一种实施方式中，具体携带所述第一模型的信息的消息可以为Nnwdaf_MLModelProvision_Notify或Nnwdaf_MLModelInfo_Response消息。
在一种实施方式中，在步骤A2所述第一模型的训练阶段或者训练后的测试阶段中，MTLF需要评估所述第一模型的准确度，计算所述第一模型的第二准确度，即AiT。所述第二准确度可以采用与第一准确度相同的计算公式获取。具体地，MTLF可以设置一个验证数据集用于评估所述第一模型的第二准确度，该验证数据集中包括用于所述第一模型的输入数据和对应的标签数据，MTLF将输入数据输入训练后的第一模型得到输出数据，再比较输出数据与标签数据是否一致，进而根据上述公式计算得到所述第一模型的第二准确度。
相应地，在一种实施方式中，在步骤A5向AnLF发送所述第一模型的信息时，MTLF还可以同时发送所述第一模型的第二准确度，或者通过独立的消息向AnLF发送所述第一模型的第二准确度。
在一种实施方式中，所述步骤A1-A2可以位于步骤A4之后，即MTLF在接收AnLF发送的请求模型的消息后，再对与所述任务对应的第一模型进行训练，并将训练后的第一模型的消息发送给AnLF。
步骤A6.AnLF获取所述任务对应的推理输入数据。
在一种实施方式中，在获取所述任务对应的推理输入数据之前，所述步 骤A6还包括：
AnLF根据接收到的任务请求消息，确定以下至少一种相关信息：
所述任务对应的第一模型；
所述第一模型的输入数据的类型信息；
所述第一模型的输出数据的类型信息；
所述任务对应的推理输入数据的来源设备；
所述任务对应的标签数据的来源设备。
其中，所述任务对应的第一模型，可以通过任务请求消息中的analytics ID指示的任务类型，来确定所述任务需要使用的第一模型；或者，可以通过analytics ID与第一模型的映射关系确定；其中，可用模型的标识信息(model ID)来表示第一模型，例如model 1。
所述第一模型的输入数据的类型信息也可以称为模型的元数据(metadata)信息，例如输入数据可以包括终端标识(UE ID)、时间和终端当前业务状态等。
所述第一模型的输出数据的类型信息包括数据类型(data type)，例如用于指示UE location的跟踪区域(Tracking Area，TA)或小区(cell)。
所述任务对应的推理输入数据的来源设备，具体可以由AnLF根据所述任务请求消息中的analytics filter information和analytics target等信息确定所述任务涉及的对象和范围，再根据对象和范围以及metadata信息，确定可获取所述任务对应的推理输入数据的网元作为所述任务对应的推理输入数据的来源设备。
所述任务对应的标签数据的来源设备，具体可以由AnLF根据所述第一模型的输出数据的类型信息确定可提供所述输出数据的网元设备类型(NF type)，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例(instance)，并将该网元实例作为标签数据的来源设备。例如，根据与任务UE mobility对应的第一模型的输出数据的数据类型＝UE  location，AnLF确定可以由网元设备类型AMF type提供UE location的数据，AnLF再根据任务的限定条件信息(Availability of Information，AOI)等、以及所述任务的对象UE1，从统一数据管理实体(Unified Data Management，UDM)或网络存储功能(Network Repository Function，NRF)查询对应的AMF instance是AMF 1，从而AnLF将AMF 1作为标签数据的来源设备，并后续从AMF1中获取UE location的标签数据。
AnLF在确定所述任务的推理输入数据的来源设备之后，向所述推理输入数据的来源设备发送推理输入数据的请求消息，用于采集所述任务对应的推理输入数据。
步骤A7.AnLF基于获取的第一模型，对所述任务的对应的推理输入数据进行推理，得到推理结果数据(analytics output)。
例如，AnLF基于与analytics ID＝UE mobility对应的第一模型，对与所述任务对应的推理输入数据，例如UE ID、时间、UE当前业务状态等数值，进行推理，得到推理结果数据为UE location的输出数据。
在一种实施方式中，如图3所示，所述步骤S210包括步骤A8。
步骤A8.AnLF将经过推理得到的推理结果数据发送给与所述任务对应一个或多个consumer NF。
通过所述推理结果数据可用于告知consumer NF与analytics ID对应的第一模型通过推理得到的统计或预测值，用于辅助consumer NF执行相应的策略决策。例如，UE mobility对应的统计或预测值可用于辅助AMF进行用户寻呼优化。
在一种实施方式中，具体携带所述推理结果数据的消息可以为Nnwdaf_AnalyticsSubscription_Notify或Nnwdaf_AnalyticsInfo_Response消息。
在一种实施方式中，如图3所示，所述步骤S220包括步骤A9-A10。
步骤A9.consumer NF获取与所述推理结果数据对应的标签数据。
在一种实施方式中，consumer NF具体请求获取所述标签数据的消息可 以为Nnf_EventExposure_Subscirbe消息。
在一种实施方式中，所述步骤A9包括：
所述第一网元确定所述任务对应的标签数据的来源设备，所述标签数据的来源设备确定方法可以采用如步骤A6中AnLF确定标签数据的来源设备相似的方法，例如，可以根据输出结果数据的类型信息确定可提供所述输出数据的网元设备类型，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例，并将该网元实例作为标签数据的来源设备。
所述第一网元从所述来源设备获取所述标签数据。
具体地，consumer NF可以通过向标签数据的来源设备发送标签数据的请求消息，其中包括所述标签数据的类型信息、标签数据对应的对象信息、时间信息(例如时间戳、时间段)等，用于向所述标签数据的来源设备确定反馈哪些标签数据。
所述标签数据的请求消息中的标签数据的类型信息、标签数据对应的对象信息、时间信息等，可以分别由consumer NF根据所述输出结果数据的类型信息、所述任务的对象信息、和所述任务的限定条件信息等确定。具体地consumer NF可以根据所述输出结果数据的类型信息确定需要获取的标签数据的类型信息；consumer NF可以根据所述任务的对象信息确定需要获取的标签数据的对象信息；若consumer NF根据所述任务的限定条件信息确定所述任务的推理过程是针对过去某一时间所做的统计计算或未来某一时间所做的预测，则consumer NF还需要获取所述过去某一时间或未来某一时间对应的标签数据。
例如，consumer NF向AMF或位置管理功能(Location Management Function，LMF)发送标签数据的请求消息，其中携带标签数据对应的数据类型＝UE location，对象信息＝UE 1和时间信息＝某一具体时间段，用于请求AMF/LMF反馈UE1在某一具体时间段内的UE location的数据。
应理解的是，若步骤A8中，AnLF通过执行一次或多次推理过程获得了多个推理结果数据，则consumer NF对应需要获取与所述多个推理结果数据对应的多个标签数据。
A10.consumer NF根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
在一种实施方式中，所述任务对应的推理结果数据的准确度信息包括：
所述推理结果数据中和所述标签数据是否一致的比较结果信息。
在一种实施方式中，所述比较结果信息包括以下至少一项：
与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
与标签数据不一致的推理结果数据对应的第一数据。
在一种实施方式中，所述步骤S230包括步骤A11。
A11.consumer NF向AnLF或MTLF发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
在一种实施方式中，所述第一信息包括：
所述任务对应的推理结果数据的准确度信息；
所述任务对应的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
在一种实施方式中，在执行步骤A11之前，所述方法还包括：
所述第一网元确定所述任务对应的推理结果数据的准确度信息达到第一预设条件；
其中，所述第一预设条件包括以下条件至少之一：
所述推理结果数据与所述标签数据不一致；
所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第 一阈值。
在一种实施方式中，AnLF在接收到所述第一信息之后，可以执行步骤A13。
A13.所述AnLF向提供所述第一模型的MTLF发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第三信息可以包括以下至少一项：
所述第一模型的标识信息，例如Model ID；
所述任务的标识信息，例如Analytics ID；
所述任务的条件限定信息，用于指示所述第一信息所涉及的范围，也即所述第一模型出现准确度不满足准确度需求或下降时所涉及的任务的对象和范围，包括：时间范围、区域范围和对象范围等；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
对所述第一模型进行重新训练的请求指示信息，用于指示MTLF对所述第一模型进行重新训练；
模型重新请求的指示信息，用于请求MTLF重新提供可用于对所述任务进行推理的模型，该模型可以是重新训练后的第一模型，也可以是其它模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
在一种实施方式中，在执行步骤A13之前，所述AnLF还可以执行步骤A12。
步骤A12.AnLF根据接收到的第一信息，确定所述第一模型的第一准确度。
所述第一准确度的计算方法可以多种多样，本申请实施例仅给出了其中的几种具体实施方式。
在一种实施方式中，所述第一准确度可以根据所述准确度信息中的比例值确定，例如第一准确度可以与所述任务对应比例值的加权计算结果，即可以是将从不同consumer NF接收到的对于同一任务的比例值进行加权计算， 或者将对同一任务进行的多次推理后分别接收到的多个比例值进行加权计算。
在另一种实施方式中，所述第一准确度可以根据所述任务的第一数据得到，例如，可以根据所述任务的推理结果数据和标签数据，计算得到所述第一准确度。
AnLF确定所述第一准确度是否满足第二预设条件，并且在所述第一准确度满足第二预设条件的情况下执行步骤A13，向MTLF发送第三信息，所述第三信息还可以包括所述第一准确度。
所述第二预设条件可以根据实际的需要进行设定，在一种实施方式中，所述第二预设条件包括以下条件至少之一：
所述第一准确度低于第二阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
步骤A14.所述MTLF可以根据所述第三信息获取训练数据。
在一种实施方式中，所述步骤A14包括：
MTLF确定所述训练数据的来源设备，即如图3所示的推理数据来源设备；
MTLF从所述推理数据来源设备获取所述训练数据，具体可以通过向推理数据来源设备发送数据请求信息请求所述推理数据来源设备提供所述训练数据。
其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息；
所述任务的限定条件信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述训练数据的来源设备由以下至少一项确定：
任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述训练数据包括所述任务的第一数据，即可以包括所述任务对应的推理输入数据、推理结果数据和标签数据。
在一种实施方式中，所述训练数据的来源设备可以为consumer NF，MTLF可以从所述consumer NFA获取所述任务的第一数据。
步骤A15.所述MTLF基于所述训练数据对所述第一模型的重训练过程，具体的训练过程与步骤A2中的训练过程基本相同，具体的区别在于训练数据中可以包括所述任务的第一数据。
在一种实施方式中，在步骤A15之后，所述方法还包括：
步骤A16.MTLF向AnLF发送第四信息，所述第四信息包括重新训练后的第一模型的信息。
在一种实施方式中，所述第四信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息，所述适用条件信息可以包括所述第一模型针对的时间范围、区域范围和对象范围等；
所述重新训练后的第一模型的第三准确度，即重新训练后的第一模型的AiT，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
步骤A17.所述第一网元从所述第二网元接收所述任务的新的推理结果数据，其中，所述新的推理结果数据由所述AnLF基于重新训练后的第一模型对所述任务进行推理后获取的，此是，所述任务可以为上述步骤A3中 consumer NF触发的任务，也可以为consumer NF在步骤A10后确定所述任务对应的推理结果数据的准确度信息满足第一预设条件情况下，重新触发的任务。
在另一种实施方式中，在步骤A15之后，所述方法还包括：
MTLF将所述重新训练后的第一模型的信息发送给第七网元，所述第七网元为需要使用所述第一模型进行推理的其它AnLF网元。其中，第七网元包括模型推理功能网元。
相当于，MTLF在完成对所述第一模型的重新训练后，还可以将重新训练后的第一模型发送给需要的其它AnLF，由其它AnLF使用所述第一模型。
由上述实施例的技术方案可知，本申请实施例通过第一网元从第二网元获取任务对应的推理结果数据，确定所述任务对应的推理结果数据的准确度信息，所述第一网元向所述第二网元和/或第三网元发送第一信息，由第三网元对与所述任务对应的第一模型进行重新训练，从而使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图4所示，在步骤A10之后，所述方法还包括：
B12.向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息。
所述AnLF可以将所述第一数据保存到第四网元中，所述第四网元包括存储网元，可以为数据分析存储库网元(Analytics Data Repository Function，ADRF)。
在一种实施方式中，所述第二信息还包括以下至少一项：
所述任务的标识信息；
所述任务的条件限定信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息，例如，所述推理结果数据与标签数据不一致，或者，所述推理结果数据的准确度信息满足第一预设条件等。
在一种实施方式中，所述第二信息中的推理输入数据、推理结果数据和标签数据可以为与标签数据不一致的推理结果数据对应的推理输入数据、推理结果数据和标签数据。
相应地，在步骤A11向AnLF或MTLF发送的第一信息中还可以包括所述第四网元的信息，例如所述ADRF的标识信息。
在一种实施方式中，AnLF可以根据接收到的第四网元的信息执行步骤B13。
步骤B13.AnLF从所述ADRF获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
在一种实施方式中，所述步骤A14中MTLF根据所述第三信息获取训练数据，其中，所述训练数据的来源设备可以包括ADRF，所述MTLF执行B14。
B14.MTLF从ADRF获取训练数据，即获取ADRF存储的第一数据，具体地，可以由MTLF向ADRF发送第一数据的数据请求信息，用于指示请求获取的数据范围；其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述数据请求信息中还可以包括请求原因，例如需 要对第一模型进行重新训练，或者，所述第一模型的准确度不满足准确度需求或下降。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在所述步骤A10后，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述方法还包括：
所述第一网元执行以下至少一种操作：
继续使用所述任务对应的推理结果数据，该操作可以在所述推理结果数据的准确度信息中不一致的推理结果数据所占比例值较小，未超过预设阈值，例如第一阈值的情况下执行；在一种实施方式中，若继续使用所述任务对应的推理结果数据，则可以适当减少所述推理结果数据对进行策略决策的权重；
停止使用所述任务对应的推理结果数据，该操作可以在所述推理结果数据的准确度信息中不一致的推理结果数据所占比例值较高的情况下执行；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理，其中，所述第五网元包括模型推理功能网元，即consumer NF可以向除第二网元外的其它AnLF发送任务请求消息。
由上述实施例所述的技术方案可见，本申请实施例通过在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下执行相应操作，从而能够对任务的推理结果数据的准确度信息进行监控，并在准确度下降时， 及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步的，在所述步骤A11之后，或者，在步骤A12之后确定第一准确度满足第二预设条件的情况下，所述方法还包括：
AnLF可以向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型，具体过程可以参考步骤A4-A5。其中，所述第六网元包括模型训练功能网元，即所述第六网元可以为除所述第二网元外的其它MTLF；
所述AnLF基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。此时，进行推理的任务可以为根据步骤A3中consumer NF发送的任务请求消息触发的任务，也可以为consumer NF重新发送任务请求消息而触发的任务。
相应地，在步骤A17中consumer NF接收到的新的推理结果数据是基于所述第二模型获取的。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图5所示，所述模型的准确度确定装置，包括：接收模块501、执行模块502和发送模块503。
所述接收模块501用于从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述执行模块502用于确定所述任务对应的推理结果数据的准确度信息；所述 发送模块503用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
进一步地，所述第一网元包括消费者网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，所述执行模块502用于：
获取与所述推理结果数据对应的标签数据；
根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
进一步地，所述第一信息包括：
所述任务对应的推理结果数据的准确度信息；
所述任务对应的第一数据；
第四网元的信息，所述第四网元用于接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，所述任务对应的推理结果数据的准确度信息包括：
所述推理结果数据中和所述标签数据是否一致的比较结果信息。
进一步地，所述比较结果信息包括以下至少一项：
与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
与标签数据不一致的推理结果数据对应的第一数据。
进一步地，在向所述第二网元或第三网元发送第一信息之前，所述发送模块503还用于确定所述任务对应的推理结果数据的准确度信息达到第一预 设条件；
其中，所述第一预设条件包括以下条件至少之一：
所述推理结果数据与所述标签数据不一致；
所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第一阈值。
进一步地，所述执行模块用于：
所述第一网元确定所述任务对应的标签数据的来源设备；
所述第一网元从所述来源设备获取所述标签数据。
由上述实施例的技术方案可知，本申请实施例通过从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；确定所述任务对应的推理结果数据的准确度信息，并向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述发送模块还用于向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据。
进一步地，所述第二信息还包括以下至少一项：
所述任务的标识信息；
所述任务的条件限定信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息。
进一步地，所述第四网元包括存储网元。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述执行模块还用于执行以下至少一项：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
进一步地，所述第五网元包括模型推理功能网元。
由上述实施例所述的技术方案可见，本申请实施例通过在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下执行相应操作，从而能够对任务的推理结果数据的准确度信息进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述接收模块还用于从所述第二网元接收所述任务的新的推理结果数据；
其中，所述新的推理结果数据基于以下至少一种模型获取：
重新训练后的第一模型；
由第六网元提供的第二模型。
进一步地，所述第六网元包括模型训练功能网元。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图2至图4的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图6所示，本申请实施例还提供了另一种模型的准确度确定方法，该方法的执行主体为第二网元，其中，第二网元包括模型推理功能网元，换言之，该方法可以由安装在第二网元的软件或硬件来执行。所述方法的包括以下步骤。
S610、第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
S620、所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
进一步地，所述第一网元包括消费者网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，所述第一信息包括以下至少一项：
所述任务对应的推理结果数据的准确度信息；
所述任务的第一数据；
第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务的标签数据。
进一步地，所述任务对应的推理结果数据的准确度信息包括：
所述推理结果数据中和所述标签数据是否一致的比较结果信息。
进一步地，所述比较结果信息包括以下至少一项：
与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
与标签数据不一致的推理结果数据对应的第一数据。
进一步地，在步骤S620之后，所述方法还包括：
所述第二网元向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。
进一步地，所述第二网元向第三网元发送第三信息包括：
所述第二网元根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。
进一步地，所述第一模型的第一准确度由以下至少一项确定：
所述任务对应的推理结果数据的准确度信息；
所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务的标签数据。
进一步地，所述第三网元包括模型训练功能网元。
进一步地，所述第二预设条件包括：
所述第一准确度低于第二阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
进一步地，所述第三信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的条件限定信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
对所述第一模型进行重新训练的请求指示信息；
模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
进一步地，在向第三网元发送第三信息之后，所述方法还包括：
所述第二网元从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。
进一步地，所述第四信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所 述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
所述步骤610-620可以实现如图2、图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例的技术方案可知，本申请实施例通过第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述方法还包括：
所述第二网元从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
进一步地，所述第四网元包括存储网元。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述方法还包括：
所述第二网元向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；
所述第二网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
进一步地，所述第六网元包括模型训练功能网元。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图7所示，所述模型的准确度确定装置，包括：推理模块701和传输模块702。
所述推理模块701用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；所述传输模块702用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
进一步地，所述第一网元包括消费者网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，所述第一信息包括以下至少一项：
所述任务对应的推理结果数据的准确度信息；
所述任务的第一数据；
第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务的标签数据。
进一步地，所述任务对应的推理结果数据的准确度信息包括：
所述推理结果数据中和所述标签数据是否一致的比较结果信息。
进一步地，所述比较结果信息包括以下至少一项：
与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
与标签数据不一致的推理结果数据对应的第一数据。
进一步地，传输模块702还用于向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。
进一步地，传输模块702用于：
根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。
进一步地，所述第一模型的第一准确度由以下至少一项确定：
所述任务对应的推理结果数据的准确度信息；
所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务的标签数据。
进一步地，所述第三网元包括模型训练功能网元。
进一步地，所述第二预设条件包括：
所述第一准确度低于第二阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
进一步地，所述第三信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的条件限定信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
对所述第一模型进行重新训练的请求指示信息；
模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
进一步地，所述传输模块702还用于从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。
进一步地，所述第四信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
由上述实施例的技术方案可知，本申请实施例通过基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述传输模块702还用于从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
进一步地，所述第四网元包括存储网元。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述传输模块702还用于：
向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；
基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
进一步地，所述第六网元包括模型训练功能网元。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图6的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
可选的，如图8所示，本申请实施例还提供一种通信设备800，包括处 理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，例如，该通信设备800为终端时，该程序或指令被处理器801执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果。该通信设备800为网络侧设备时，该程序或指令被处理器801执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体地，本申请实施例还提供了一种网络侧设备。如图9所示，该网络侧设备900包括：处理器901、网络接口902和存储器903。其中，网络接口902例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本发明实施例的网络侧设备900还包括：存储在存储器903上并可在处理器901上运行的指令或程序，处理器901调用存储器903中的指令或程序执行图5和图7所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元和第二网元，所述第一网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如上所述的模型的准确度确定方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (38)

  1. 一种模型的准确度确定方法，包括：
    第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
    所述第一网元确定所述任务对应的推理结果数据的准确度信息；
    所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；
    其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
  2. 根据权利要求1所述的方法，其中，所述第一网元确定所述任务对应的推理结果数据的准确度信息，包括：
    所述第一网元获取与所述推理结果数据对应的标签数据；
    所述第一网元根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
  3. 根据权利要求1所述的方法，其中，所述第一信息包括：
    所述任务对应的推理结果数据的准确度信息；
    所述任务对应的第一数据；
    第四网元的信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
    其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据。
  4. 根据权利要求1-3任一所述的方法，其中，所述任务对应的推理结果数据的准确度信息包括：
    所述推理结果数据中和所述标签数据是否一致的比较结果信息。
  5. 根据权利要求4所述的方法，其中，所述比较结果信息包括以下至少一项：
    与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
    与标签数据不一致的推理结果数据对应的第一数据。
  6. 根据权利要求1所述的方法，其中，所述第一网元向所述第二网元或第三网元发送第一信息之前，所述方法还包括：
    所述第一网元确定所述任务对应的推理结果数据的准确度信息达到第一预设条件；
    其中，所述第一预设条件包括以下条件至少之一：
    所述推理结果数据与所述标签数据不一致；
    所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第一阈值。
  7. 根据权利2所述的方法，其中，所述第一网元获取所述推理结果数据对应的标签数据包括：
    所述第一网元确定所述任务对应的标签数据的来源设备；
    所述第一网元从所述来源设备获取所述标签数据。
  8. 根据权利要求1所述的方法，其中，在确定所述任务对应的推理结果数据的准确度信息之后，所述方法还包括：
    向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据。
  9. 根据权利要求7所述的方法，其中，所述第二信息还包括以下至少一项：
    所述任务的标识信息；
    所述任务的条件限定信息；
    所述任务的对象信息；
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据；
    存储原因信息。
  10. 根据权利要求1所述的方法，其中，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述方法还包括：
    所述第一网元执行以下至少一种操作：
    继续使用所述任务对应的推理结果数据；
    停止使用所述任务对应的推理结果数据；
    向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
    向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
  11. 根据权利要求1所述的方法，其中，在向所述第二网元和/或第三网元发送第一信息发送第一信息之后，所述方法还包括：
    所述第一网元从所述第二网元接收所述任务的新的推理结果数据；
    其中，所述新的推理结果数据基于以下至少一种模型获取：
    重新训练后的第一模型；
    由第六网元提供的第二模型。
  12. 根据权利要求1所述的方法，其中，所述第一网元包括消费者网元。
  13. 根据权利要求1所述的方法，其中，所述第二网元包括模型推理功能网元。
  14. 根据权利要求6所述的方法，其中，所述第四网元包括存储网元。
  15. 根据权利要求10所述的方法，其中，所述第五网元包括模型推理功能网元。
  16. 根据权利要求11所述的方法，其中，所述第六网元包括模型训练功 能网元。
  17. 一种模型的准确度确定装置，包括：
    接收模块，用于从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
    执行模块，用于确定所述任务对应的推理结果数据的准确度信息；
    发送模块，用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；
    其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
  18. 一种模型的准确度确定方法，包括：
    第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
    所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
  19. 根据权利要求18所述的方法，其中，所述第一信息包括以下至少一项：
    所述任务对应的推理结果数据的准确度信息；
    所述任务的第一数据；
    第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
    其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务的标签数据。
  20. 根据权利要求18或19所述的方法，其中，所述任务对应的推理结果数据的准确度信息包括：
    所述推理结果数据中和所述标签数据是否一致的比较结果信息。
  21. 根据权利要求20所述的方法，其中，所述比较结果信息包括以下至少一项：
    与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
    与标签数据不一致的推理结果数据对应的第一数据。
  22. 根据权利要求18所述的方法，其中，在从所述第一网元接收第一信息之后，所述方法还包括：
    所述第二网元向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。
  23. 根据权利要求22所述的方法，其中，所述第二网元向第三网元发送第三信息包括：
    所述第二网元根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
    在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。
  24. 根据权利要求23所述的方法，其中，所述第一模型的第一准确度由以下至少一项确定：
    所述任务对应的推理结果数据的准确度信息；
    所述任务的第一数据；
    其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务的标签数据。
  25. 根据权利要求23所述的方法，其中，所述第二预设条件包括：
    所述第一准确度低于第二阈值；
    所述第一准确度低于第二准确度；
    所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
  26. 根据权利要求21所述的方法，其中，所述第三信息包括以下至少一项：
    所述第一模型的标识信息；
    所述任务的标识信息；
    所述任务的条件限定信息；
    所述第一模型的准确度不满足准确度需求或下降的指示信息；
    所述第一准确度；
    对所述第一模型进行重新训练的请求指示信息；
    模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；
    所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
  27. 根据权利要求19所述的方法，其中，所述方法还包括：
    所述第二网元从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
  28. 根据权利要求22所述的方法，其中，在向第三网元发送第三信息之后，所述方法还包括：
    所述第二网元从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。
  29. 根据权利要求28所述的方法，其中，所述第四信息还包括以下至少一项：
    所述重新训练后的第一模型的适用条件信息；
    所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准 确程度。
  30. 根据权利要求18所述的方法，其中，所述方法还包括：
    所述第二网元向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；
    所述第二网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
  31. 根据权利要求18所述的方法，其中，所述第一网元包括消费者网元。
  32. 根据权利要求18所述的方法，其中，所述第二网元包括模型推理功能网元。
  33. 根据权利要求22所述的方法，其中，所述第三网元包括模型训练功能网元。
  34. 根据权利要求19所述的方法，其中，所述第四网元包括存储网元。
  35. 根据权利要求30所述的方法，其中，所述第六网元包括模型训练功能网元。
  36. 一种模型的准确度确定装置，包括：
    推理模块，用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
    传输模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
  37. 一种网络侧设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至16任一项所述的模型的准确度确定方法，或者实现如权利要求18至35任一项所述的模型的准确度确定方法的步骤。
  38. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-16任一项所述的模型的准确度确定方法，或者实现如权利要求18至35任一项所述的模型的准确度确定方法 的步骤。
PCT/CN2023/079986 2022-03-07 2023-03-07 模型的准确度确定方法、装置及网络侧设备 WO2023169392A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210225808.4A CN116776987A (zh) 2022-03-07 2022-03-07 模型的准确度确定方法、装置及网络侧设备
CN202210225808.4 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023169392A1 true WO2023169392A1 (zh) 2023-09-14

Family

ID=87935977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/079986 WO2023169392A1 (zh) 2022-03-07 2023-03-07 模型的准确度确定方法、装置及网络侧设备

Country Status (2)

Country Link
CN (1) CN116776987A (zh)
WO (1) WO2023169392A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
CN111629319A (zh) * 2019-02-28 2020-09-04 中国移动通信有限公司研究院 一种位置预测方法及设备
US20200401945A1 (en) * 2018-03-30 2020-12-24 Huawei Technologies Co., Ltd. Data Analysis Device and Multi-Model Co-Decision-Making System and Method
CN112883024A (zh) * 2018-04-27 2021-06-01 华为技术有限公司 一种模型更新方法、装置及系统
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200401945A1 (en) * 2018-03-30 2020-12-24 Huawei Technologies Co., Ltd. Data Analysis Device and Multi-Model Co-Decision-Making System and Method
CN112883024A (zh) * 2018-04-27 2021-06-01 华为技术有限公司 一种模型更新方法、装置及系统
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
CN111629319A (zh) * 2019-02-28 2020-09-04 中国移动通信有限公司研究院 一种位置预测方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Also Published As

Publication number Publication date
CN116776987A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US11985025B2 (en) Network system fault resolution via a machine learning model
US10805186B2 (en) Mobile communication network failure monitoring system and method
CN109783337B (zh) 模型服务方法、系统、装置和计算机可读存储介质
WO2023169392A1 (zh) 模型的准确度确定方法、装置及网络侧设备
US20230403206A1 (en) Model training method and apparatus
WO2023169378A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023169404A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023093894A1 (zh) 感知业务实现方法、装置、网络侧设备及终端
Khatib et al. Knowledge acquisition for fault management in LTE networks
WO2023169425A1 (zh) 通信网络中的数据处理方法及网络侧设备
WO2022147786A1 (en) Method and apparatus for determining prediction for status of wireless network
WO2024061254A1 (zh) 数据获取方法、装置、系统和设备
WO2023213246A1 (zh) 模型选择方法、装置及网络侧设备
CN116776989A (zh) 模型的准确度确定方法、装置及网络侧设备
CN117044375A (zh) 通信网络中的方法和节点
WO2024061252A1 (zh) 信息获取方法、装置、网络侧设备及存储介质
WO2023213288A1 (zh) 模型获取方法及通信设备
WO2023125879A1 (zh) 数据处理的方法、装置及通信设备
CN116776988A (zh) 通信网络中的数据处理方法及网络侧设备
WO2023185826A1 (zh) 网元注册方法、模型请求方法、装置、网元、通信系统及存储介质
WO2023179709A1 (zh) 信息处理方法、装置、通信设备及可读存储介质
WO2024061287A1 (zh) 人工智能ai模型传输方法、装置、终端及介质
WO2023185818A1 (zh) 设备确定方法、装置及通信设备
WO2024088119A1 (zh) 数据处理方法、装置、终端及网络侧设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23765970

Country of ref document: EP

Kind code of ref document: A1