WO2023213246A1 - 模型选择方法、装置及网络侧设备 - Google Patents

模型选择方法、装置及网络侧设备 Download PDF

Info

Publication number
WO2023213246A1
WO2023213246A1 PCT/CN2023/091723 CN2023091723W WO2023213246A1 WO 2023213246 A1 WO2023213246 A1 WO 2023213246A1 CN 2023091723 W CN2023091723 W CN 2023091723W WO 2023213246 A1 WO2023213246 A1 WO 2023213246A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
information
network element
candidate
models
Prior art date
Application number
PCT/CN2023/091723
Other languages
English (en)
French (fr)
Inventor
崇卫微
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2023213246A1 publication Critical patent/WO2023213246A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This application belongs to the field of communication technology, and specifically relates to a model selection method, device and network side equipment.
  • NWDAF Network Data Analytics Function
  • the Model Training Logical Function (MTLF) in NWDAF can perform artificial intelligence (artificial intelligence, AI)/machine language (ML) model training based on training data, thereby obtaining data suitable for a certain AI Model of analysis tasks.
  • the Analytical Logical Function (AnLF) in NWDAF can perform model inference based on the AI/ML model and inference input data to obtain the data analysis results of a specific AI data analysis task (also called inference results (analytics)) .
  • the Policy Control Function (PCF) in the network can intelligently execute corresponding policies based on the data analysis results. For example, intelligent user retention strategies can be formulated based on user business behavior analysis results to improve users' business experience.
  • the Access and Mobility Management Function (AMF) intelligently performs mobility management operations based on the data analysis results, such as intelligently paging users based on the user's movement trajectory analysis results to improve paging efficiency. reach rate.
  • Embodiments of the present application provide a model selection method, device, and network-side equipment, which can solve the problem of poor data analysis performance of existing AI/ML models.
  • a model selection method includes: the first network element records model information of N candidate models, and the N candidate models are suitable for data analysis tasks corresponding to the first analysis identification; the first network element records the model information of N candidate models.
  • the second network element receives the first model request message; when the model information of M candidate models among the N candidate models matches the model information corresponding to the first model request message, the first network element sends a message to the second network element.
  • Model information of P candidate models among M candidate models where N, M and P are all positive integers, and N ⁇ M ⁇ P.
  • a model selection device including: a recording module, used to record model information of N candidate models, which are suitable for data analysis tasks corresponding to the first analysis identification; a first receiving module, for receiving the first model request message from the second network element; the first sending module is configured to send the first model request message to The second network element sends model information of P candidate models among M candidate models; where N, M and P are all positive integers, And N ⁇ M ⁇ P.
  • a network side device in a third aspect, includes a processor and a memory.
  • the memory stores programs or instructions that can be run on the processor. When the program or instructions are executed by the processor, the method of the first aspect is implemented. A step of.
  • a network-side device including a processor and a communication interface, wherein the processor is used to record model information of N candidate models, and the N candidate models are suitable for data analysis tasks corresponding to the first analysis identification, and the communication
  • the interface is used to receive the first model request message from the second network element, and when the model information of M candidate models among the N candidate models matches the model information corresponding to the first model request message, send the request message to the second network element.
  • a readable storage medium is provided. Programs or instructions are stored on the readable storage medium. When the program or instructions are executed by a processor, the steps of the model selection method of the first aspect are implemented.
  • a sixth aspect provides a chip.
  • the chip includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the model selection method of the first aspect.
  • a seventh aspect provides a computer program/program product, the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to implement the steps of the model selection method of the first aspect.
  • the first network element can record the model information of N candidate models, and the N candidate models are suitable for the data analysis tasks corresponding to the first analysis identification; and receive the first model request message from the second network element; And when the model information of M candidate models among the N candidate models matches the model information corresponding to the first model request message, the first network element sends P candidate models among the M candidate models to the second network element.
  • model information among them, N, M and P are all positive integers, and N ⁇ M ⁇ P.
  • the first network element can record the model information of the candidate model suitable for a data analysis task, after the first network element receives the first model request message, it can be determined whether the recorded model information of the candidate model is Match the model information corresponding to the first model request message, thereby determining the best model that conforms to the first model request message or a model that meets the performance requirements. This can ensure the performance of the model in data analysis.
  • Figure 1 is a block diagram of a wireless communication system provided by an embodiment of the present application.
  • Figure 2 is a schematic flow chart of a model selection method provided by an embodiment of the present application.
  • Figure 3 is one of the application flow diagrams of the model selection method provided by the embodiment of the present application.
  • Figure 4 is a second schematic diagram of the application flow of the model selection method provided by the embodiment of the present application.
  • Figure 5 is a schematic structural diagram of a model selection device provided by an embodiment of the present application.
  • Figure 6 is a schematic structural diagram of a network side device provided by an embodiment of the present application.
  • Figure 7 is a hardware schematic diagram of a network-side device provided by an embodiment of the present application.
  • first, second, etc. in the description and claims of this application are used to distinguish similar objects and are not used to describe a specific order or sequence. It is to be understood that the terms so used are interchangeable under appropriate circumstances so that the embodiments of the present application can be practiced in sequences other than those illustrated or described herein, and that "first" and “second” are distinguished objects It is usually one type, and the number of objects is not limited.
  • the first model can be one or multiple.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the related objects are in an "or” relationship.
  • LTE Long Term Evolution
  • LTE-Advanced, LTE-A Long Term Evolution
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • FDMA Frequency Division Multiple Access
  • OFDMA Orthogonal Frequency Division Multiple Access
  • SC-FDMA Single-carrier Frequency Division Multiple Access
  • system and “network” in the embodiments of this application are often used interchangeably, and the described technology can be used not only for the above-mentioned systems and radio technologies, but also for other systems and radio technologies.
  • 5G 5th Generation
  • 6G 6th Generation
  • FIG. 1 shows a block diagram of a wireless communication system to which embodiments of the present application are applicable.
  • the wireless communication system includes a terminal 11 and a network side device 12.
  • the terminal may also be called user equipment (UE), and the terminal 11 may be a mobile phone, a tablet computer (Tablet Personal Computer), a laptop computer (Laptop Computer), or a notebook computer or a personal digital assistant (Personal Digital Assistant).
  • UE user equipment
  • the terminal 11 may be a mobile phone, a tablet computer (Tablet Personal Computer), a laptop computer (Laptop Computer), or a notebook computer or a personal digital assistant (Personal Digital Assistant).
  • PDA personal computer
  • UMPC ultra-mobile personal computer
  • UMPC mobile Internet device
  • MID mobile Internet Device
  • AR augmented reality
  • VR virtual reality
  • VR virtual reality
  • PUE vehicle-mounted equipment
  • PUE pedestrian terminals
  • smart home home equipment with wireless communication functions, such as refrigerators, TVs, washing machines or furniture, etc.
  • games Terminal devices such as computers, personal computers (PCs), teller machines or self-service machines.
  • Wearable devices include: smart watches, smart bracelets, smart headphones, smart glasses, smart jewelry (smart bracelets, smart bracelets, smart rings) , smart necklaces, smart anklets, smart anklets, etc.), smart wristbands, smart clothing, etc.
  • the network side device 12 may include an access network device or a core network device, where the access network device 12 may also be called a radio access network device, a radio access network (Radio Access Network, RAN), a radio access network function or Wireless access network unit.
  • the access network device 12 may include a base station, a WLAN access point or a WiFi node, etc.
  • the base station may be called a Node B, an evolved Node B (eNB), an access point, a Base Transceiver Station (BTS), a radio Base station, radio transceiver, Basic Service Set (BSS), Extended Service Set (ESS), Home Node B, Home Evolved Node B, Transmitting Receiving Point (TRP) or all
  • eNB evolved Node B
  • BTS Base Transceiver Station
  • BSS Basic Service Set
  • ESS Extended Service Set
  • Home Node B Home Evolved Node B
  • TRP Transmitting Receiving Point
  • Core network equipment may include but is not limited to at least one of the following: core network nodes, core network functions, network data analytics function (NWDAF), analytics data storage function (ADRF), and mobile management entities (Mobility Management Entity, MME), Access and Mobility Management Function (AMF), Session Management Function (SMF), User Plane Function (UPF), Policy Control Function (Policy Control Function (PCF), Policy and Charging Rules Function (PCRF), Edge Application Server Discovery Function (EASDF), Unified Data Management (UDM), unified Data warehousing (Unified Data Repository, UDR), Home Subscriber Server (HSS), Centralized network configuration (CNC), Network Repository Function (NRF), Network Exposure Function, NEF), local NEF (Local NEF, or L-NEF), binding support function (Binding Support Function, BSF), application function (Application Function, AF), etc.
  • MME Mobility Management Entity
  • AMF Access and Mobility Management Function
  • SMF Session Management Function
  • UPF User Plane Function
  • MTLF and AnLF can be used as independent network elements, or as logical function modules within NWDAF.
  • MTLF and AnLF can be deployed in the same NWDAF, independently deployed in different NWDAFs, or deployed outside the NWDAF.
  • this embodiment of the present application provides a model selection method, which includes the following steps 201 to 203.
  • Step 201 The first network element records model information of N candidate models.
  • the above N candidate models can be applied to the data analysis task corresponding to the first analysis ID (analytic ID).
  • Data analysis tasks can also be called inference tasks.
  • analysis ID can be used to identify a data analysis task, which itself is a type, that is, the analysis ID can be used to indicate a data analysis task type. It can be understood that the data analysis task corresponding to the above-mentioned first analysis identifier may be the data analysis task identified by the first analysis identifier.
  • the data analysis task identified by the analytic ID is to predict the movement trajectory of the UE; assuming that the analytic ID is UE communication, then the data analysis task identified by the analytic ID To predict the communication performance and behavior of UE.
  • the first network element may include MTLF or analytics data storage function (ADRF).
  • ADRF analytics data storage function
  • the model information of the N candidate models recorded by MTLF may be model information determined by MTLF itself, and the model information of the N candidate models recorded by ADRF may be model information obtained from MTLF.
  • the above N candidate models may be multiple different models, or may be different models obtained after one model has been trained or retrained multiple times.
  • the details can be determined according to actual usage requirements, and are not limited in the embodiments of this application.
  • the model information of the candidate model may include at least one of the following.
  • the model identifier (model ID) of the candidate model is used to uniquely identify the candidate model.
  • Model file information of the candidate model can save any information related to the candidate model such as the network structure, weight parameters, input and output data of the candidate model.
  • the download address information of the candidate model is used to indicate the storage address of the model file of the candidate model. That is, the download address information is used to indicate the download address of the model file of the candidate model.
  • the download address information can be the address information of ADRF.
  • the analysis identification of the candidate model is used to identify the data analysis tasks applicable to the candidate model. For example, the first analysis identifier.
  • Usage scope information of the candidate model can indicate at least one of the following: usage area range, usage time range, and usage scope.
  • the usage object may include one UE, multiple UEs, or any UE.
  • the details can be determined according to actual usage requirements, and are not limited in the embodiments of this application.
  • the UE can be identified by UE ID, UE address information, UE group ID, etc.
  • model performance information can be used to characterize the degree of consistency or matching between the output results of the model (ie, predicted values or statistical values) and the real values.
  • matching means that the deviation between the predicted value (or statistical value) and the true value is within a preset range.
  • the matching degree can be obtained through one or more comparison results, for example, by comparing the predicted value and the real value multiple times to obtain the matching degree; in another way, the matching degree can be obtained by comparing the predicted value and the real value.
  • the ratio of the number of times values were consistent or matched to the total number of predictions.
  • the performance indicated by the model performance information includes at least one of model accuracy (accuracy) and model mean absolute error (MAE).
  • model accuracy accuracy
  • MAE model mean absolute error
  • the model performance information may also include other information that can reflect the performance of the model, which is determined based on actual usage requirements.
  • the performance indicated by the model performance information can be expressed in any possible form such as numerical value, grade, percentage, etc.
  • the model accuracy may be represented by an accurate numerical value.
  • the first network element can determine the best model matching the model request message it sends (for example, the first model request message in the embodiment of the present application) based on this information. For example, when the model information includes usage range information, the first network element can provide different models for different usage ranges, thereby improving the performance of the model for data analysis in the network. When the model information includes model performance information, the first network element can select a qualified model according to the requested model performance requirements, thereby improving the performance of the model for data analysis in the network.
  • the above actual use process may include the process of actual use and data reasoning (or data analysis) in the network.
  • Step 202 The first network element receives the first model request message from the second network element.
  • the second network element may include AnLF or MTLF.
  • the first network element is MTLF and the second network element is AnLF; or the first network element is ADRF and the second network element is AnLF or MTLF; or the first network element is MTLF1 and the second network element is AnLF.
  • the network element is MTLF2.
  • MTLF 1 and MTLF 2 can be different MTLFs.
  • the embodiment of the present application is exemplarily described by taking the first network element as MTLF and the second network element as AnLF as an example.
  • the above-mentioned first model request message may include at least one of the following.
  • the second analysis identifier can be used to identify the data analysis task to which the requested model is applicable.
  • the second analysis identifier is UE mobility (mobility)
  • the data analysis task used by the requested model is: predicting user movement trajectories.
  • Model filtering information can be used to indicate the conditions that the requested model needs to meet. For example, area of interest (AOI), single network slice selection assistance information (S-NSSAI), data network name (DNN), etc.
  • AOI area of interest
  • S-NSSAI single network slice selection assistance information
  • DNN data network name
  • Model object information can be used to indicate the training object of the requested model.
  • the training object can be one UE, multiple UEs or any UE.
  • the model reporting information may include at least one of the reporting method, applicable time or reporting time of the requested model.
  • the model reporting method can include periodic reporting or conditional reporting.
  • the model reporting information may also include any other possible information, which is not specifically limited in the embodiment of this application.
  • Model performance requirement information can be used to indicate the performance that the requested model needs to meet, such as the minimum accuracy, maximum MAE, etc. that the model needs to achieve.
  • Step 203 When the model information of M candidate models among the N candidate models matches the model information corresponding to the first model request message, the first network element sends P of the M candidate models to the second network element. Model information for candidate models.
  • N, M and P are all positive integers, and N ⁇ M ⁇ P.
  • P candidate models can be M candidate models, or they can be among the M candidate models. Some candidate models.
  • the first network element may determine a candidate model whose model information matches the model information corresponding to the first model request message from the above-mentioned N candidate models. , such as the above M candidate models.
  • the first network element may send model information of some or all of the M candidate models (ie, the above-mentioned P candidate models) to the second network element.
  • the second network element can perform the data analysis task corresponding to the first analysis identification based on the P candidate models, and obtain the corresponding data analysis result.
  • matching the model information of the M candidate models with the model information corresponding to the first model request message may include at least one of the following.
  • the first analysis identifier and the second analysis identifier are the same. It can be understood that when the first analysis identification and the second analysis identification are the same, the data analysis task corresponding to the first analysis identification and the data analysis task corresponding to the second analysis identification are the same.
  • the usage area range contained in the model usage range information of the M candidate models matches the model filtering information contained in the above-mentioned first model request message.
  • the S-NSSAI, region of interest, and DNN contained in the model usage range information of the M candidate models are the same as the S-NSSAI, region of interest, or DNN in the above model filtering information, or the model usage range of the M candidate models
  • the S-NSSAI, region of interest, or DNN contained in the information contains the S-NSSAI, region of interest, or DNN contained in the above model filtered information.
  • the model usage range information of M candidate models can include multiple DNNs, that is, the model usage range information can correspond to a DNN list (list), then the DNN in the model filtering information can be the DNN in the DNN list.
  • the usage object scope contained in the model usage scope information of the M candidate models matches the model object information contained in the above-mentioned first model request message.
  • the usage object range contained in the model usage range information of M candidate models may include multiple objects (such as multiple UEs), that is, the usage object range may correspond to an object list, then the objects indicated by the model object information may be The objects in this object list.
  • the usage time range contained in the model usage range information of the M candidate models matches the model reporting information contained in the above-mentioned first model request message.
  • the usage time range included in the model usage range information of the M candidate models is the same as the applicable time of the model corresponding to the above-mentioned model reporting information, or the applicable time of the model corresponding to the above-mentioned model reporting information is included in the usage time range. wait.
  • the model performance information of the M candidate models meets the performance indicated by the model performance requirement information contained in the first model request message. For example, the performance of the model corresponding to the model performance information of the M candidate models is higher than the performance indicated by the above model performance requirement information.
  • the first network element is MTLF and the second network element is AnLF
  • AnLF and MTLF request and obtain model information through Nnwdaf_MLModelProvision_Subscribe and Nnwdaf_MLModelProvision_Notify; or
  • AnLF and MTLF use Nnwdaf_MLModelInfo_Request message and Nnwdaf_MLModelInfo_Response Messages request and obtain model information.
  • the first network element is ADRF and the second network element is AnLF
  • AnLF and ADRF request and obtain model information through Nadrf_DataManagement_RetrievalRequest message and Nadrf_DataManagement_RetrievalResponse message; or AnLF and ADRF request and obtain model information through Nadrf_DataManagement_RetrievalSubscribe and Nadrf_DataManagement_RetrievalNotify.
  • the first network element since the first network element can record model information of a candidate model suitable for a data analysis task, after the first network element receives the first model request message, it can determine the model of the recorded candidate model. Whether the information matches the model information corresponding to the first model request message sent by the second network element, thereby determining the best model that conforms to the first model request message or a model that meets the performance requirements. This can ensure the performance of the model in data analysis.
  • the model selection method provided by the embodiment of the present application may also include the following step 204.
  • Step 204 The first network element determines N candidate models that meet the preset conditions from the K models based on the model performance information of the K models.
  • the above K models can be applied to the data analysis task corresponding to the above first analysis identification, and K is a positive integer.
  • the above preset conditions can include any of the following:
  • the performance indicated by the model performance information is the highest among the above K models
  • the model performance information indicates performance that is higher than the first preset performance.
  • the performance indicated by the model performance information can be expressed in any possible form such as numerical value, grade, percentage, etc.
  • the model accuracy may be represented by an accurate numerical value.
  • the above-mentioned first preset performance can also be a numerical value, level or percentage.
  • the K models may include multiple candidate models suitable for data analysis tasks corresponding to the first analysis identification, or the K models may include data analysis tasks corresponding to the first analysis identification. Multiple models obtained after multiple training tasks.
  • the model selection method provided by the embodiment of the present application also The following steps 205 and 206 may be included.
  • Step 205 When the performance of the first model sent by the first network element to the fourth network element is lower than the second preset performance, the first network element re-modifies the first model based on the usage range information of the first model. Train or perform model reselection to obtain the second model.
  • the above-mentioned second model is a model among the K models.
  • the above-mentioned fourth network element may be AnLF, for example, the fourth network element may be AnLF 1.
  • the fourth network element may be the same as the second network element. That is to say, the model request message for obtaining the first model and the above-mentioned first model request message are sent by the same network element, for example, both are sent by ANLF1. For example, after ANLF1 loses the best model due to failure, a model request message can be sent to MTLF or ADRF to reacquire the best model.
  • the usage range information of the first model may be obtained from the fourth network element.
  • the above-mentioned first network element retraining the first model according to the usage range information of the first model means: retraining the first model according to the usage range of the first model.
  • MTLF collects label data corresponding to the usage range of the first model as a training data set, and retrains the model based on the training data set.
  • the training data in this training data set can include label data obtained from the data provider (data provider), and MTLF obtains label data from AnLF 1. It can be understood that the training data used by MTLF contains label data.
  • the first network element can update and iterate the first model according to the performance of the first model in the existing network, and record the performance of each model, and find and record the data corresponding to the first model.
  • the best model or most suitable model using range information of the model.
  • the first network element can provide the best model or the most appropriate model according to the usage range of the requested model.
  • the above model reselection refers to: after the first network element sends the model information of the first model to the fourth network element, a model request message for the fourth network element (for example, the second model request message in the embodiment of the present application) , when there are multiple candidate models (including the first model that has been sent) to choose from, if the performance of the first model is lower than the second preset performance, the first network element can reselect from the multiple candidate models.
  • Another candidate model (for example, the second model) is sent to the fourth network element.
  • the first network element can obtain and record the performance of the above multiple models in actual use and their corresponding usage ranges. Subsequently, when other network elements (for example, the fourth network element or the fifth network element) request to obtain the model, the first network element provides the best model or the most appropriate model according to the usage range of the requested model.
  • other network elements for example, the fourth network element or the fifth network element
  • Step 206 The first network element sends the model information of the second model to the fourth network element or the fifth network element.
  • the fifth network element may be AnLF. It can be understood that the fifth network element and the above-mentioned fourth network element are different AnLFs.
  • the fourth network element is AnLF 1 and the fifth network element is AnLF 2.
  • the above-mentioned first network element sending the model information of the second model to the fourth network element may include two possible implementation methods: one method, after the first network element obtains the second model , the first network element actively pushes the model information of the second model to the fourth network element; in another way, after the first network element obtains the second model, the first network element receives a request from the fourth network element to send the model again.
  • message for example, a third model request message
  • the first network element may send the model information of the second model to the fourth network element.
  • the requested model usage scope corresponding to the third model request message is the same as the usage scope of the second model.
  • the model identifier of the second model is the same as the model identifier of the first model. (such as model ID1) are the same; if the second model is a model obtained by model reselection, or the second model is a new model based on retraining the first model (without replacing the first model), then the second model
  • the model identifier corresponds to a new model identifier (such as model ID2), and the new model identifier can be different from the model identifier of the first model.
  • the model selection method provided by the embodiment of this application may also include the following step 207.
  • Step 207 The first network element sends the usage range information of the second model to the fourth network element or the fifth network element.
  • the usage scope indicated by the usage scope information of the second model is the same as the usage scope indicated by the usage scope information of the first model, or the usage scope indicated by the usage scope information of the second model is based on the usage scope indicated by the usage scope information of the first model. Scope determined.
  • the use range information of the second model is determined based on the use range information of the first model, which can be understood as: the use range indicated by the use range information of the second model includes the use range indicated by the use range information of the first model, Or the usage scope indicated by the usage scope information of the second model intersects with the usage scope indicated by the usage scope information of the first model.
  • the usage scope may include at least one of a usage time scope, a usage object scope, and a usage area scope.
  • the first network element when the first network element sends the above-mentioned second model to the fourth network element, the first network element can send the usage range information of the second model to the fourth network element; when the first network element sends the second model to the fourth network element, When the fifth network element sends the second model, the first network element may send the usage range information of the second model to the fifth network element.
  • the first model can determine whether the performance of the first model is lower than the above-mentioned second preset based on the model performance information of the first model. performance so that it can be determined whether to retrain the first model.
  • the model selection method provided by the embodiment of the present application may also include any one of the following steps 208, 209 or 210.
  • Step 208 The first network element calculates model performance information of the first model.
  • model performance information of the first model is used to indicate the performance of the first model.
  • MTLF obtains the corresponding verification data set (including label data, ground truth, etc.) based on the usage scope information of the first model, and executes the first verification data set based on the verification data set and itself.
  • the data analysis output result of the model is used to calculate the output result performance of the first model, for example, the accuracy of the output result of the first model is calculated, thereby obtaining the model performance information of the first model.
  • the first network element may record the usage range information of the first model.
  • the usage range information indicates the scope of using the first model for data task analysis or model performance measurement, including the usage area range of the first model, the usage time range of the first model, the scope of usage objects of the first model, etc.
  • Step 209 The first network element receives the model performance information of the first model from the fourth network element.
  • AnLF obtains the corresponding verification data set (including label data, ground truth, etc.) based on the usage scope information of the first model, and based on the verification data set and the data of the first model Analyze the output result set, calculate the output result performance of the first model, for example, calculate the output result accuracy of the first model, thereby obtain the model performance information of the first model, and send the model performance information of the first model to the first network element, such as MTLF.
  • the first network element such as MTLF.
  • the fourth network element can send the usage range information of the first model to the first network element, so that the first network element can receive the usage range information of the first model from the fourth network element.
  • Use scope information For details about the usage range information of the first model, please refer to the relevant descriptions in the above embodiments. To avoid duplication, the details will not be described again here.
  • the fourth network element may include multiple network elements. Based on this, the multiple network elements can jointly use the same first model and use the first model within the same or overlapping usage range. And the multiple network elements can respectively report model performance information of the first model, such as the accuracy of the output result of the first model (ie, model accuracy).
  • Step 210 The first network element receives model performance information of the first model from the data analysis consumer.
  • the above-mentioned data analysis consumer can be any other possible data analysis consumer such as PCF, AMF, etc.
  • the details can be determined according to actual usage requirements, and are not limited in the embodiments of this application.
  • the data analysis consumer obtains the corresponding verification based on the data analysis result of the first model obtained from the fourth network element (such as AnLF) and the scope of use of the model data analysis result by the data analysis consumer.
  • Data set (including label data, ground truth, etc.), and based on the verification data set and the data analysis results of the first model, calculate the output result performance of the first model, such as the output result accuracy of the first model, so that you can Model performance information of the first model is obtained, and the model performance information of the first model is sent to the first network element, such as MTLF.
  • the data analysis consumer may directly send the model performance information of the first model to the first network element, or may send the model performance information of the first model to the first network element through the fourth network element.
  • the above-mentioned data analysis consumers may be multiple, that is, multiple data analysis consumers who use the above-mentioned data analysis results.
  • the multiple data analysis consumers can jointly calculate and report the model performance information of the above-mentioned first model, such as the accuracy of the output result of the first model (ie, model accuracy).
  • the data analysis consumer can send the usage scope information of the first model to the first network element, so that the first network element can receive the usage scope information of the first model from the data analysis consumer.
  • Use scope information The data analysis consumer may directly send the usage scope information of the first model to the first network element, or may send the usage scope information of the first model to the first network element through the fourth network element.
  • the first network element can pass the above step 208, step 209 or In step 210, model performance information of the multiple candidate models is obtained.
  • the model selection method provided by the embodiment of the present application may also include the following steps 211 and 212.
  • Step 211 The first network element receives the second model request message from the fourth network element.
  • Step 212 The first network element sends the model information of the first model to the fourth network element according to the second model request message.
  • the above-mentioned first model may include one model or multiple models.
  • the second model request message please refer to the detailed description of the first model request message in the above embodiment, which will not be described again here.
  • the model selection method provided by the embodiment of the present application may also include the following step 213 or step 214.
  • Step 213 The first network element determines whether the fourth network element supports acquiring multiple models.
  • Step 214 The first network element determines the model usage capability of the fourth network element.
  • the first network element can determine whether the fourth network element supports obtaining multiple models or determine the model usage of the fourth network element. capability to determine whether the fourth network element supports the use of multiple models. If the fourth network element can support the use of multiple models, then the first network element sends the model information of the multiple models to the fourth network element; otherwise, the first network element One network element only sends one model among the multiple models to the fourth network element, that is, the first network element does not send the model information of the multiple models to the fourth network element at the same time.
  • the model selection method provided by the embodiment of the present application may also include the following step 215.
  • Step 215 The first network element obtains model information of N candidate models from the third network element.
  • the third network element may be MTLF.
  • ADRF can first obtain the model information of the N candidate models from MTLF.
  • MTLF can first obtain the model information of the N candidate models by itself, and then record the model information of the N candidate models.
  • the model selection method provided by the embodiment of the present application may also include the following step 216.
  • Step 216 The first network element obtains the usage range information and/or model performance information of each candidate model among the N candidate models.
  • the first network element before the first network element records the model information of the N candidate models, the first network element first obtains the usage range information and/or model performance information of each of the N candidate models, Therefore, the model information of the N candidate models can be correspondingly recorded.
  • the first network element does not filter the N candidate models, but only records the information corresponding to the N candidate models (including usage range information, model performance information, etc.). After receiving model request messages sent by other network elements, an appropriate model can be selected and sent to the network element based on this information.
  • step 216 may be specifically implemented through the following step 216a, step 216b or step 216c.
  • Step 216a The first network element determines the usage range information of each candidate model among the N candidate models and/or calculates the model performance information of each candidate model among the N candidate models.
  • Step 216b The first network element receives usage range information and/or model performance information of each of the N candidate models from the seventh network element.
  • the seventh network element may include one network element or multiple network elements.
  • the seventh network element may be AnLF.
  • the seventh network element may be the same as or different from the second network element in the above embodiment.
  • the details can be determined according to actual usage requirements, and are not limited in the embodiments of this application.
  • Step 216c The first network element receives usage range information and/or model performance information of each of the N candidate models from the data analysis consumer.
  • the first network element obtaining the usage range information and/or model performance information of each candidate model among the N candidate models please refer to the description of the first network element obtaining the first model in the above embodiment. A detailed description of the usage range information and/or model performance information will not be repeated here to avoid duplication.
  • the model selection provided by the embodiment of the present application
  • the method may also include step 217 described below.
  • Step 217 The first network element stores the model information of the N candidate models to the sixth network element.
  • the above-mentioned sixth network element may include ADRF or unified data repository (unified data repository, UDR).
  • the above step 203 can be specifically implemented through the following step 203a.
  • Step 203a The first network element sends first information to the second network element, where the first information is used to indicate that the model information of the P candidate models is stored in the sixth network element.
  • the above-mentioned first information may include at least one of the identification information of the sixth network element, a fully qualified domain name (fully qualified domain name, FQDN), and address information.
  • the first information may also include other information corresponding to the sixth network element, and the details may be determined according to actual usage requirements, which are not limited in the embodiments of this application.
  • At least one of the identification information, FQDN, or address information of the sixth network element can be used as the download address information of the P candidate models, so that the second network element can use the identification information, FQDN, or address information of the sixth network element. Or at least one item of address information, download the model information of the P candidate models.
  • the second network element after MTLF stores the model information of the N candidate models to the sixth network element, if the second network element sends the first model request message to the first network element, then in the N candidate models If the model information of the M candidate models matches the model information corresponding to the first model request message, the first network element may send the above-mentioned first information to the second network element. Therefore, after the second network element receives the first information, the second network element can download the model information of the P candidate models from the sixth network element.
  • the eighth network element can directly send a model request message to the sixth network element to obtain from The sixth network element obtains model information of the model.
  • the eighth network element may be configured to obtain the model information of the model from the sixth network element, and the eighth network element may be AnLF, such as AnLF 3.
  • AnLF1 can send a model request message (such as request (request) 1) to MTLF.
  • the model request message can include analysis ID (analytic ID), model filter information (model filter information 1) wait.
  • MTLF can provide model information of the ML model (for example, a model suitable for AI task 1) to AnLF1.
  • the model information can be an initial model (initial model), and the model identifier is model ID1.
  • step 2 the MTLF/AnLF 1/data analytics consumer performs analytics performance evaluation on the ML model in step 1b. Among them, the model identification of the model, the data analysis tasks applicable to the model, and the scope of use of the model are recorded. If AnLF 1/data analysis consumer performs performance measurement on the model, then report the model performance information to MTLF and report the model's usage scope information.
  • step 3 if the performance of the above ML model is lower than the preset performance, MTLF reselects or retrains a new ML model based on the above model usage range.
  • the new ML model can be a model different from the initial model, or an updated model of the initial model.
  • AnLF 1 sends a model request message (e.g. request 2) to MTLF.
  • a model request message e.g. request 2
  • MTLF sends the model information of the new ML model to AnLF 1.
  • the model information may include model identification and model usage scope. If the new ML model is a model different from the initial model, the model identifier can be model ID2; if it is an updated model from the initial model, the model identifier can be model ID1.
  • step 5 the MTLF/AnLF 1/data analysis consumer performs performance measurement/evaluation of the new ML model in step 4b.
  • the MTLF/AnLF 1/data analysis consumer performs performance measurement/evaluation of the new ML model in step 4b.
  • MTLF determines the target model based on the model performance information corresponding to the multiple models obtained in steps 2-5 above.
  • the target model may be the highest/best performing model among the plurality of models, or the target model may be the one whose performance is higher/better than the preset performance among the plurality of models. There can be one or more target models.
  • AnLF2 sends a model request message (such as request 3) to MTLF to request analytic The model corresponding to the ID.
  • the analytic ID can be the same as the analytic ID in step 1a.
  • the model request message includes model filter information (for example, model filter information 2) and so on.
  • step 8 MTLF determines whether the model information corresponding to the model request message in step 7 matches the model information of the target model. If it matches, the following step 9 is performed.
  • step 9 MTLF sends the model information of the target model to AnLF2.
  • step 1b if MTLF has multiple candidate models that meet the requirements for the model request message sent by AnLF1, MTLF can simultaneously deliver the multiple candidate models to AnLF1. .
  • MTLF needs to first confirm that AnLF supports the ability to obtain or use multiple models. If it does not support it, MTLF will not send multiple candidate models to AnLF at the same time.
  • step 2 a method similar to step 2 in Embodiment 1 can be used to perform performance measurement on the multiple candidate models.
  • MTLF stores the obtained model information of the target model in a database or unified data platform (such as ADRF, UDR, etc.).
  • AnLF2 sends a model acquisition request message to the database or unified data platform.
  • step 8 the database or unified data platform determines whether the model information corresponding to the model request message in step 7 matches the model information of the target model. If it matches, the following step 9 is performed.
  • the matching method in step 8 above may be similar to the matching method in step 8 in Embodiment 1.
  • step 9 the database or unified data platform sends the model information of the target model to AnLF2.
  • Steps 1-6 are the same as steps 1-6 in the above-mentioned Embodiment 1.
  • MTLF stores the model information of the target model (that is, the candidate model in the embodiment of this application) into ADRF, and records the corresponding ADRF information (such as ADRF identification information, ADRF address information, etc.).
  • Steps 7-8 are the same as steps 7-8 in the above-mentioned Embodiment 1.
  • MTLF sends the ADRF information stored in the matched target model to AnLF2, so that AnLF2 can obtain the model information of the target model from ADRF.
  • the execution subject may be a model selection device.
  • the model selection device executing the model selection method is used as an example to illustrate the model selection device provided by the embodiment of the present application.
  • this embodiment of the present application provides a model selection device 300 , which includes a recording module 301 , a first receiving module 302 and a first sending module 303 .
  • the recording module 301 is used to record the model information of N candidate models, and the N candidate models are suitable for the data analysis tasks corresponding to the first analysis identification;
  • the first receiving module 302 is used to receive the first model request message from the second network element ;
  • the first sending module 303 is configured to send the M candidate models to the second network element when the model information of the M candidate models among the N candidate models matches the model information corresponding to the first model request message.
  • Model information of P candidate models where N, M and P are all positive integers, and N ⁇ M ⁇ P.
  • the model selection device further includes: a determination module, configured to determine N candidate models that meet the preset conditions from the K models based on the model performance information of the K models, and the K models are suitable For the data analysis task corresponding to the first analysis identifier, K is a positive integer; where the preset conditions include any of the following: the performance indicated by the model performance information is the highest among the K models; the performance indicated by the model performance information is higher than the A preset performance.
  • the model selection device further includes: a first acquisition module, configured to obtain the data from the third network Yuan obtains the model information of N candidate models.
  • the model information of the candidate model includes at least one of the following:
  • the download address information of the candidate model which is used to indicate the storage address of the model file of the candidate model
  • the analysis identifier of the candidate model which is used to identify the data analysis tasks applicable to the candidate model
  • Model performance information for candidate models is
  • the usage range information indicates at least one of the following:
  • the performance indicated by the model performance information includes at least one of model accuracy and model mean absolute error.
  • the model selection device further includes: a second acquisition module, configured to acquire usage range information and/or model performance information of each candidate model among the N candidate models.
  • the second acquisition module is specifically used to determine the usage range information of each candidate model and/or calculate the model performance information of each candidate model; or, the second acquisition module is specifically used to Receive usage range information and/or model performance information of each candidate model from the seventh network element; or, a second acquisition module specifically configured to receive usage range information and/or model performance information of each candidate model from the data analysis consumer information.
  • the first model request message includes at least one of the following:
  • the second analysis identifier is used to identify the data analysis task applicable to the requested model
  • Model filtering information which is used to indicate the conditions that the requested model needs to meet
  • Model object information which is used to indicate the training object of the requested model
  • Model reporting information which includes at least one of the reporting method, applicable time or reporting time of the requested model
  • Model performance requirement information which is used to indicate the performance that the requested model needs to meet.
  • matching the model information of the M candidate models with the model information corresponding to the first model request message includes at least one of the following:
  • the first analysis identifier is the same as the second analysis identifier
  • the usage area range contained in the model usage range information of the M candidate models matches the model filtering information
  • the usage object scope contained in the model usage scope information of the M candidate models matches the model object information
  • the usage time range contained in the model usage range information of the M candidate models matches the model reported information
  • the model performance information of the M candidate models meets the performance indicated by the model performance requirement information.
  • the K models include multiple candidate models suitable for the data analysis tasks corresponding to the first analysis identification, or the K models include multiple training based on the data analysis tasks corresponding to the first analysis identification. Multiple models obtained afterwards.
  • the model selection device further includes: an execution module, configured to When the performance of the first model sent by the sending module to the fourth network element is lower than the second preset performance, the first model is retrained or the model is reselected according to the usage range information of the first model, and the first model is obtained.
  • an execution module configured to When the performance of the first model sent by the sending module to the fourth network element is lower than the second preset performance, the first model is retrained or the model is reselected according to the usage range information of the first model, and the first model is obtained.
  • Two models the second model is a model among the K models; the second sending module is used to send model information of the second model to the fourth network element or the fifth network element.
  • the model selection device further includes: a third sending module, configured to send the data to the fourth network
  • the network element or the fifth network element sends the usage scope information of the second model; wherein the usage scope indicated by the usage scope information of the second model is the same as the usage scope indicated by the usage scope information of the first model, or the usage scope information of the second model
  • the indicated usage range is determined based on the usage range indicated by the usage range information of the first model.
  • the model selection device further includes: a calculation module, configured to calculate the model performance information of the first model; or, a second receiving module, further configured to receive the model performance information of the first model from the fourth network element.
  • Model performance information; or, the third receiving module is also configured to receive model performance information of the first model from the data analysis consumer; wherein the model performance information of the first model is used to indicate the performance of the first model.
  • the model selection device further includes: a storage module, configured to store model information of N candidate models to the sixth network element.
  • the first sending module is specifically configured to send first information to the second network element.
  • the first information is used to indicate that the model information of P candidate models is stored in the sixth network element.
  • the first information includes at least one of identification information, FQDN, and address information of the sixth network element.
  • the sixth network element includes ADRF or UDR.
  • the second network element includes AnLF or MTLF.
  • the model selection device since the model selection device can record model information of a candidate model suitable for a data analysis task, the model selection device can determine the recorded candidate model after receiving the first model request message. Whether the model information matches the model information corresponding to the first model request message, thereby determining the best model that meets the first model request message or the model that meets the performance requirements. This can ensure the performance of the model in data analysis.
  • the model selection device in the embodiment of the present application may be a network-side device, such as a network-side device with an operating system, or may be a component in the network-side device, such as an integrated circuit or chip.
  • the network side device may be NWDAF, MTLF, AnLF, ARDF, etc., which are not specifically limited in the embodiment of this application.
  • the model selection device provided by the embodiments of the present application can implement each process implemented by the embodiments of the above model selection method and achieve the same technical effect. To avoid duplication, the details will not be described here.
  • this embodiment of the present application also provides a network side device 400, which includes a processor 401 and a memory 402.
  • the memory 402 stores programs or instructions that can be run on the processor 401, for example,
  • the network side device 400 is a network side device
  • the program or instruction is executed by the processor 401, each step of the above model selection method embodiment is implemented, and the same technical effect can be achieved. To avoid duplication, the details will not be described here.
  • the embodiment of the present application also provides a network side device.
  • the network side device 500 includes: a processor 501 , a network interface 502 and a memory 503 .
  • the network interface 502 is, for example, a common public radio interface (CPRI).
  • CPRI common public radio interface
  • the network side device 500 in this embodiment of the present invention also includes: instructions or programs stored in the memory 503 and executable on the processor 501.
  • the processor 501 calls the instructions or programs in the memory 503 to execute each of the steps shown in Figure 6. The method of module execution and achieving the same technical effect will not be described in detail here to avoid duplication.
  • Embodiments of the present application also provide a readable storage medium. Programs or instructions are stored on the readable storage medium. When the program or instructions are executed by the processor, each process of the above model selection method embodiment is implemented, and the same technology can be achieved. The effect will not be described here to avoid repetition.
  • Readable storage media includes computer-readable storage media, such as computer read-only memory ROM, random access memory RAM, magnetic disks or optical disks.
  • the embodiment of the present application also provides a chip.
  • the chip includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement each process of the above model selection method embodiment, and can achieve the same To avoid repetition, the technical effects will not be repeated here.
  • chips mentioned in the embodiments of this application may also be called system-on-chip, system-on-a-chip, system-on-chip or system-on-chip, etc.
  • the embodiment of the present application further provides a computer program/program product.
  • the computer program/program product is stored in In the storage medium, the computer program/program product is executed by at least one processor to implement each process of the above model selection method embodiment, and can achieve the same technical effect. To avoid duplication, the details will not be described here.
  • the methods of the above embodiments can be implemented by means of software plus the necessary general hardware platform. Of course, it can also be implemented by hardware, but in many cases the former is better. implementation.
  • the technical solution of the present application can be embodied in the form of a computer software product that is essentially or contributes to the existing technology.
  • the computer software product is stored in a storage medium (such as ROM/RAM, disk , CD), including several instructions to cause a terminal (which can be a mobile phone, computer, server, air conditioner, or network side device, etc.) to execute the methods of various embodiments of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种模型选择方法、装置及网络侧设备，属于通信技术领域。本申请实施例的模型选择方法包括：第一网元记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一网元从第二网元接收第一模型请求消息；在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

Description

模型选择方法、装置及网络侧设备
相关申请的交叉引用
本申请主张在2022年05月05日在中国提交的中国专利申请号202210483837.0的优先权，其全部内容通过引用包含于此。
技术领域
本申请属于通信技术领域，具体涉及一种模型选择方法、装置及网络侧设备。
背景技术
在通信网络中，一些网元(例如，网络数据分析功能(Network Data Analytics Function，NWDAF)等)可以进行智能化数据分析，并生成一些任务的数据分析结果。该数据分析结果可以辅助网内外设备进行策略决策，从而可以提升设备的策略决策的智能化程度。
其中，NWDAF中的模型训练逻辑功能(Model Training Logical Function，MTLF)可以基于训练数据，进行人工智能(artificial intelligence，AI)/机器语言(machine language，ML)模型训练，从而获取适用于某AI数据分析任务的模型。NWDAF中的分析逻辑功能(Analytics Logical Function，AnLF)可以基于AI/ML模型和推理输入数据，进行模型推理，获得某具体AI数据分析任务的数据分析结果(也可以称为推理结果(analytics))。从而，网内的策略控制功能实体(Policy Control Function，PCF)可以基于该数据分析结果，智能化地执行相应的策略。比如根据用户业务行为分析结果制定智能的用户驻留策略，提升用户的业务体验。或者，接入和移动性管理实体(Access and Mobility Management Function，AMF)基于该数据分析结果，智能化地执行移动性管理操作，比如根据用户的移动轨迹分析结果智能寻呼用户，提升寻呼可达率。
然而，在上述过程中，网内外设备是否能够根据数据分析结果做出正确的策略决策的前提是基于正确的数据分析结果。假如数据分析结果的准确度较低，那么错误信息可能会被提供给网内外设备参考，从而导致网内外设备做出错误的策略决策或执行不合适的操作。因此，如何保证AI/ML模型的数据分析性能(例如准确度)成为一个亟待解决的问题。
发明内容
本申请实施例提供一种模型选择方法、装置及网络侧设备，能够解决现有的AI/ML模型的数据分析性能较差的问题。
第一方面，提供了一种模型选择方法，该方法包括：第一网元记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一网元从第二网元接收第一模型请求消息；在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。
第二方面，提供了一种模型选择装置，包括：记录模块，用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一接收模块，用于从第二网元接收第一模型请求消息；第一发送模块，用于在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数， 且N≥M≥P。
第三方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面，提供了一种网络侧设备，包括处理器及通信接口，其中，处理器用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务，通信接口用于从第二网元接收第一模型请求消息，并在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。
第五方面，提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的模型选择方法的步骤
第六方面，提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的模型选择方法。
第七方面，提供了一种计算机程序/程序产品，计算机程序/程序产品被存储在存储介质中，计算机程序/程序产品被至少一个处理器执行以实现如第一方面的模型选择方法的步骤。
在本申请实施例中，第一网元可以记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；并从第二网元接收第一模型请求消息；以及在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。通过该方案，由于第一网元可以记录适用于一种数据分析任务的候选模型的模型信息，因此在第一网元接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。
附图说明
图1是本申请实施例提供的无线通信系统的框图；
图2是本申请实施例提供的模型选择方法的流程图示意图；
图3是本申请实施例提供的模型选择方法的应用流程示意图之一；
图4是本申请实施例提供的模型选择方法的应用流程示意图之二；
图5是本申请实施例提供的模型选择装置的结构示意图；
图6是本申请实施例提供的网络侧设备的结构示意图；
图7是本申请实施例提供的网络侧设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一模型可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了5G系统，并且在以下大部分描述中使用5G术语，但是这些技术也可应用于5G系统应用以外的应用，如第6代(6th Generation，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端也可以称为用户设备(user equipment，UE)，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personal computer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、数据网络分析功能(Network Data Analytics Function，NWDAF)、分析数据存储功能(analytics data storage function，ADRF)、移动管理实体(Mobility Management Entity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)，网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以5G系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。
本申请实施例中，MTLF和AnLF可以分别作为独立的网元，或者作为NWDAF内部的逻辑功能模块。MTLF和AnLF可以部署在同一个NWDAF中，或者独立部署在不同的NWDAF中，又或者部署在NWDAF之外。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的模型选择方法进行详细地说明。
如图2所示，本申请实施例提供一种模型选择方法，该方法包括下述的步骤201-步骤203。
步骤201、第一网元记录N个候选模型的模型信息。
其中，上述N个候选模型可以适用于第一分析标识(analytic ID)对应的数据分析任务。数据分析任务也可以称为推理任务。
需要说明的是，分析标识(analytic ID)可以用于标识一种数据分析任务，其本身是一种类型，也即分析标识可以用于指示一种数据分析任务类型。可以理解，上述第一分析标识对应的数据分析任务可以为第一分析标识所标识的数据分析任务。
示例性地，假设analytic ID为UE移动性(mobility)，那么该analytic ID标识的数据分析任务为预测UE的移动轨迹；假设analytic ID为UE通信(communication)，那么该analytic ID标识的数据分析任务为预测UE的通信性能和行为。
可选地，本申请实施例中，上述第一网元可以包括MTLF或分析数据存储功能(analytics data storage function，ADRF)。
在一些实施例中，MTLF记录的N个候选模型的模型信息可以为MTLF自身确定的模型信息，ADRF记录的N个候选模型的模型信息可以为从MTLF获取的模型信息。
可选地，本申请实施例中，上述N个候选模型可以为多个不同的模型，也可以为一个模型经过多次训练或重新训练后得到的不同模型。具体可以根据实际使用需求确定，本申请实施例不作限定。
可选地，本申请实施例中，候选模型的模型信息可以包括以下至少一项。
a.候选模型的模型标识(model identifier，model ID)，候选模型的标识用于唯一的标识候选模型。
b.候选模型的模型文件信息，候选模型的模型文件信息中可以保存候选模型的网络结构、权重参数、输入输出数据等任意与候选模型相关的信息。
c.候选模型的下载地址信息，候选模型的下载地址信息用于指示候选模型的模型文件的存储地址，即该下载地址信息用于指示候选模型的模型文件的下载地址，比如当候选模型存储在ADRF中时，该下载地址信息可以为ADRF的地址信息。
d.候选模型的分析标识，候选模型的分析标识用于标识候选模型所适用的数据分析任务。例如第一分析标识。
e.候选模型的使用范围(usage scope)信息，该使用范围信息可以指示以下至少一项：使用区域范围、使用时间范围、使用对象范围。
其中，使用对象可以包括一个UE，或多个UE，或者任何UE。具体可以根据实际使用需求确定，本申请实施例不作限定。其中，UE可以通过UE ID、UE地址信息，UE group ID等进行标识。
f.候选模型的模型性能信息。
本申请实施例中，模型性能信息可以用于表征模型的输出结果(即预测值或统计值)与真实值之间相同一致或匹配的程度。其中，匹配是指预测值(或统计值)与真实值之间的偏差在预设范围内。
在一种方式中，匹配程度可以通过一次或多次的比较结果获取，例如，通过多次比较预测值和真实值，获取匹配程度；在另一种方式中，匹配程度可以为预测值和真实值一致或匹配的次数与预测总次数的比值。
可选地，本申请实施例中，模型性能信息指示的性能包括模型准确度(accuracy)、模型平均绝对误差(mean absolute error，MAE)中的至少一项。当然，实际实现时，模型性能信息还可以包括其它能够反映模型的性能的信息，具体根据实际使用需求确定。
需要说明的是，模型性能信息指示的性能可以通过数值、等级，百分比等任意可能的形式表示。例如，当模型性能指示信息指示的性能包括模型准确度时，该模型准确度可以通过准确数值表示。
本申请实施例中，由于候选模型的模型信息可以反映候选模型在实际使用过程中的性能表现以及其对应的使用范围，因此其它网元(例如本申请实施例中的第二网元)请求模型时，第一网元可以根据这些信息确定与其所发送的模型请求消息(例如本申请实施例中的第一模型请求消息)匹配的最佳模型。比如，在模型信息包括使用范围信息的情况下，第一网元可以针对不同的使用范围提供不同的模型，从而可以提升模型在网络中进行数据分析的性能。在模型信息包括模型性能信息的情况下，第一网元可以根据所请求的模型性能要求，选择符合条件的模型，从而可以提升模型在网络中进行数据分析的性能。
需要说明的是，上述实际使用过程可以包括实际使用与在网络中进行数据推理(或数据分析)的过程。
步骤202、第一网元从第二网元接收第一模型请求消息。
可选的，本申请实施例中，第二网元可以包括AnLF或MTLF。
本申请实施例中，第一网元为MTLF，第二网元为AnLF；或者，第一网元为ADRF，第二网元为AnLF或MTLF；又或者，第一网元为MTLF1，第二网元为MTLF2。其中，MTLF 1和MTLF 2可以为不同的MTLF。
需要说明的是，本申请实施例是以第一网元为MTLF，第二网元为AnLF为例进行示例性描述的。
可选地，本申请实施例中，上述第一模型请求消息可以包括以下至少一项。
A.第二分析标识，第二分析标识可以用于标识请求的模型所适用的数据分析任务。例如第二分析标识为UE移动性(mobility)，那么请求的模型所使用的数据分析任务为：预测用户移动轨迹。
B.模型过滤信息，模型过滤信息可以用于指示请求的模型需要满足的条件。例如感兴趣区域(area of interest，AOI)、单一网络切片选择辅助信息(single network slice selection assistance information，S-NSSAI)、数据网络名(data network name，DNN)等。
C.模型对象信息，模型对象信息可以用于指示请求的模型的训练对象。其中，该训练对象可以为一个UE，多个UE或任意UE。
D.模型上报信息，模型上报信息可以包括请求的模型的上报方式、适用时间或上报时间中的至少一项。其中，模型上报方式可以包括周期性上报或条件上报。当然，实际实现时，模型上报信息还可以包括其它任意可能的信息，本申请实施例不做具体限定。
E.模型性能要求信息，模型性能要求信息可以用于指示请求的模型需要满足的性能，例如模型需要达到的最低准确度、最大MAE等。
步骤203、在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息。
其中，N、M和P均为正整数，且N≥M≥P。
可以理解，上述P个候选模型可以为M个候选模型，也可以为M个候选模型中 的部分候选模型。
本申请实施例中，在第一网元接收到上述第一模型请求消息之后，第一网元可以从上述N个候选模型中确定模型信息与第一模型请求消息对应的模型信息匹配的候选模型，比如上述M个候选模型。在该M个候选模型确定之后，第一网元可以将该M个候选模型中的部分模型或全部模型(即上述P个候选模型)的模型信息发送给第二网元。从而使得第二网元可以基于该P个候选模型进行第一分析标识对应的数据分析任务，得到相应的数据分析结果。
可选地，本申请实施例中，上述M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配可以包括以下至少一项。
(1)第一分析标识与第二分析标识相同。可以理解，在第一分析标识与第二分析标识相同的情况下，第一分析标识对应的数据分析任务与第二分析标识对应的数据分析任务相同。
(2)M个候选模型的模型使用范围信息中包含的使用区域范围与上述第一模型请求消息中包含的模型过滤信息匹配。例如，M个候选模型的模型使用范围信息中包含的S-NSSAI，感兴趣区域，DNN与上述模型过滤信息中的S-NSSAI，感兴趣区域或DNN相同，或者M个候选模型的模型使用范围信息中包含的S-NSSAI，感兴趣区域或DNN包含上述模型过滤信息中的S-NSSAI，感兴趣区域或DNN。其中，M个候选模型的模型使用范围信息可以包括多个DNN，即该模型使用范围信息可以对应一个DNN列表(list)，那么模型过滤信息中的中的DNN可以为该DNN list中的DNN。
(3)M个候选模型的模型使用范围信息中包含的使用对象范围与上述第一模型请求消息中包含的模型对象信息匹配。例如，M个候选模型的模型使用范围信息中包含的使用对象范围可以包括多个对象(例如多个UE)，即该使用对象范围可以对应一个对象list，那么该模型对象信息指示的对象可以为该对象list中的对象。
(4)M个候选模型的模型使用范围信息中包含的使用时间范围与上述第一模型请求消息中包含的模型上报信息匹配。例如，该M个候选模型的模型使用范围信息中包含的使用时间范围与上述模型上报信息对应的模型的适用时间相同，或上述模型上报信息对应的模型的适用时间包含于该使用时间范围之内等。
(5)M个候选模型的模型性能信息满足上述第一模型请求消息中包含的模型性能要求信息指示的性能。例如，该M个候选模型的模型性能信息对应的模型的性能高于上述模型性能要求信息指示的性能。
可选地，本申请实施例中，在第一网元为MTLF，第二网元为AnLF的情况下，AnLF与MTLF通过Nnwdaf_MLModelProvision_Subscribe和Nnwdaf_MLModelProvision_Notify请求并获取模型信息；或者AnLF与MTLF通过Nnwdaf_MLModelInfo_Request消息和Nnwdaf_MLModelInfo_Response消息请求并获取模型信息。
可选地，在第一网元为ADRF，第二网元为AnLF的情况下，AnLF与ADRF通过Nadrf_DataManagement_RetrievalRequest消息和Nadrf_DataManagement_RetrievalResponse消息请求并获取模型信息；或AnLF与ADRF通过Nadrf_DataManagement_RetrievalSubscribe和Nadrf_DataManagement_RetrievalNotify请求并获取模型信息。
本申请实施例中，由于第一网元可以记录适用于一种数据分析任务的候选模型的模型信息，因此在第一网元接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第二网元发送的第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。
可选地在上述步骤201之前，本申请实施例提供的模型选择方法还可以包括下述的步骤204。
步骤204、第一网元根据K个模型的模型性能信息，从K个模型中确定满足预设条件的N个候选模型。
其中，上述K个模型可以适用于上述第一分析标识对应的数据分析任务，K为正整数。上述预设条件可以包括以下任意一项：
模型性能信息指示的性能为上述K个模型中最高的；
模型性能信息指示的性能高于第一预设性能。
需要说明的是，模型性能信息指示的性能可以通过数值、等级，百分比等任意可能的形式表示。例如，当模型性能指示信息指示的性能包括模型准确度时，该模型准确度可以通过准确数值表示。可以理解，上述第一预设性能也可以为一个数值、等级或者百分比。
可选地，本申请实施例中，上述K个模型可以包括适用于第一分析标识对应的数据分析任务的多个候选模型，或者，该K个模型可以包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。
可选地，本申请实施例中，在上述K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，本申请实施例提供的模型选择方法还可以包括下述的步骤205和步骤206。
步骤205、在第一网元向第四网元发送的第一模型的性能低于第二预设性能的情况下，第一网元根据第一模型的使用范围信息，对第一模型进行重新训练或进行模型重选，得到第二模型。
其中，上述第二模型为K个模型中的模型。上述第四网元可以为AnLF，例如第四网元可以为AnLF 1。
可选地，本申请实施例中，上述第四网元可以与第二网元相同。也就是说，获取第一模型的模型请求消息与上述第一模型请求消息为同一个网元发送的，例如均为ANLF1发送的。例如，在ANLF1因故障丢失最佳模型后，可以向MTLF或ADRF发送模型请求消息，以重新获取最佳模型。
可选地，本申请实施例中，上述第一模型的使用范围信息可以为从第四网元获取的。
本申请实施例中，上述第一网元根据第一模型的使用范围信息，对第一模型进行重新训练是指：针对第一模型的使用范围，对第一模型重新进行模型训练。具体地，以第一网元为MTLF为例，第四网元为AnLF 1为例，MTLF采集第一模型的使用范围所对应的标签数据作为训练数据集，并基于该训练数据集重新训练模型。该训练数据集中的训练数据可以包括从数据提供者(data provider)获取的标签数据，MTLF从AnLF 1获取的标签数据。可以理解，MTLF使用的训练数据中包含标签数据。
基于上述对第一模型进行重新训练，第一网元可以根据第一模型在现网中的性能表现，更新迭代该第一模型，并记录每次模型的性能表现，寻找并记录对应于第一模型的使用范围信息的最佳模型或最合适模型。后续，当其它网元(例如上述第四网元或第五网元)请求获取模型时，第一网元以可根据其所请求的模型的使用范围提供最佳模型或最合适模型。
上述模型重选是指：在第一网元向第四网元发送第一模型的模型信息之后，针对该第四网元的模型请求消息(例如本申请实施例中的第二模型请求消息)，存在多个候选模型(包括已经发送的第一模型)可供选择的情况下，若第一模型的性能低于第二预设性能，第一网元可以从该多个候选模型中重新选择另一个候选模型(例如第二模型)发送给第四网元。
基于上述模型重选，第一网元可以获取并记录上述多个模型在实际使用过程中的性能表现以及其对应的使用范围。后续，当其它网元(例如与第四网元或第五网元)请求获取模型时，第一网元以可根据其所请求的模型的使用范围提供最佳模型或最合适模型。
步骤206、第一网元向第四网元或第五网元发送第二模型的模型信息。
可选地，本申请实施例中，上述第五网元可以为AnLF。可以理解，第五网元与上述第四网元为不同的AnLF，例如第四网元为AnLF 1，第五网元为AnLF 2。
可选地，本申请实施例中，上述第一网元向第四网元发送第二模型的模型信息可以包括两种可能的实现方式：一种方式，在第一网元得到第二模型之后，第一网元主动向第四网元推送第二模型的模型信息；另一种方式，在第一网元得到第二模型之后，第一网元接收到第四网元的再次发送模型请求消息(例如第三模型请求消息)，第一网元可以向第四网元发送该第二模型的模型信息。可选地，该第三模型请求消息对应的请求的模型使用范围与第二模型的使用范围相同。
本申请实施例中，若上述第二模型为对第一模型重新训练得到的模型，并且所述第二模型更新取代了第一模型，则该第二模型的模型标识与第一模型的模型标识(如model ID1)相同；若第二模型为进行模型重选得到的模型，或者第二模型为基于对第一模型重新训练得到的新模型(并未取代第一模型)，则第二模型的模型标识对应新的模型标识(如model ID2)，该新的模型标识可以与第一模型的模型标识不同。
可选地，本申请实施例提供的模型选择方法还可以包括下述的步骤207。
步骤207、第一网元向第四网元或第五网元发送第二模型的使用范围信息。
其中，第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围相同，或者第二模型的使用范围信息指示的使用范围根据第一模型的使用范围信息指示的使用范围确定。
需要说明的是，上述第二模型的使用范围信息根据第一模型的使用范围信息确定可以理解为：第二模型的使用范围信息指示的使用范围包含第一模型的使用范围信息指示的使用范围，或者第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围存在交集。其中，该使用范围可以包括使用时间范围、使用对象范围以及使用区域范围中的至少一项。
本申请实施例中，在第一网元向第四网元发送上述第二模型的情况下，第一网元可以向第四网元发送第二模型的使用范围信息；在第一网元向第五网元发送第二模型的情况下，第一网元可以向第五网元发送第二模型的使用范围信息。
本申请实施例中，在第一网元获取到第一模型的模型性能信息之后，第一模型可以根据该第一模型的模型性能信息，确定第一模型的性能是否低于上述第二预设性能，从而可以确定是否对第一模型进行重新训练。基于此，本申请实施例提供的模型选择方法还可以包括下述的步骤208、步骤209或步骤210中的任意一项。
步骤208、第一网元计算第一模型的模型性能信息。
其中，上述第一模型的模型性能信息用于指示第一模型的性能。
以第一网元为MTLF为例，由MTLF根据第一模型的使用范围信息，获取对应的验证数据集(其中，包括标签数据、ground truth等)，并基于该验证数据集和自身执行第一模型的数据分析输出结果，计算第一模型的输出结果性能，例如计算第一模型的输出结果准确度，从而得到第一模型的模型性能信息。
可选地，本申请实施例中，基于上述步骤208，第一网元可以记录第一模型的使用范围信息。其中，该使用范围信息指示的是使用第一模型进行数据任务分析或者模型性能测算的范围，包括第一模型的使用区域范围，第一模型的使用时间范围，第一模型的使用对象范围等。
步骤209、第一网元从第四网元接收第一模型的模型性能信息。
以第四网元为AnLF为例，由AnLF根据第一模型的使用范围信息，获取对应的验证数据集(其中包括标签数据、ground truth等)，并基于该验证数据集和第一模型的数据分析输出结果集，计算第一模型的输出结果性能，例如计算第一模型的输出结果准确度，从而得到第一模型的模型性能信息，并将该第一模型的模型性能信息发送给第一网元，例如MTLF。
可选地，本申请实施例中，基于上述步骤209，第四网元可以向第一网元发送第一模型的使用范围信息，从而第一网元可以从第四网元接收第一模型的使用范围信息。其中，对于第一模型的使用范围信息具体可以参见上述实施例中的相关描述，为避免重复，此处不再赘述。
可选地，本申请实施例中，第四网元可以包括多个网元。基于此，该多个网元可以共同使用相同的第一模型，并在相同或存在交集的使用范围内使用该第一模型。且该多个网元可以分别上报第一模型的模型性能信息，例如第一模型的输出结果准确度(即模型准确度)。
步骤210、第一网元从数据分析消费者接收第一模型的模型性能信息。
可选地，本申请实施例中，上述数据分析消费者可以为PCF，AMF等其它任意可能的数据分析消费者。具体可以根据实际使用需求确定，本申请实施例不作限定。
本申请实施例中，由数据分析消费者根据从第四网元(例如AnLF)获取的第一模型的数据分析结果，以及该模型数据分析结果被数据分析消费者使用的范围，获取对应的验证数据集(其中包括标签数据、ground truth等)，并基于该验证数据集和该第一模型的数据分析结果，计算第一模型的输出结果性能，例如第一模型的输出结果准确度，从而可以得到该第一模型的模型性能信息，并将该第一模型的模型性能信息发送给第一网元，例如MTLF。其中，数据分析消费者可以直接将该第一模型的模型性能信息发送给第一网元，也可以通过第四网元将该第一模型的模型性能信息发送给第一网元。
可选地，本申请实施例中，上述数据分析消费者可以为多个，即多个使用上述数据分析结果的数据分析消费者。该多个数据分析消费者可以共同计算并上报上述第一模型的模型性能信息，例如第一模型的输出结果准确度(即模型准确度)。
可选地，本申请实施例中，基于上述步骤210，数据分析消费者可以向第一网元发送第一模型的使用范围信息，从而第一网元可以从数据分析消费者接收第一模型的使用范围信息。其中，数据分析消费者可以直接将该第一模型的使用范围信息发送给第一网元，也可以通过第四网元将该第一模型的使用范围信息发送给第一网元。对于第一模型的使用范围信息具体可以参见上述实施例中的相关描述，为避免重复，此处不再赘述。
需要说明的是，本申请实施例中，对于上述K个模型包括适用于上述第一分析标识对应的数据分析任务的多个候选模型的场景，第一网元可以通过上述步骤208、步骤209或步骤210的方式，获取该多个候选模型的模型性能信息。
可选地，本申请实施例中，在上述步骤205之前，本申请实施例提供的模型选择方法还可以包括下述的步骤211和步骤212。
步骤211、第一网元接收第四网元的第二模型请求消息。
步骤212、第一网元根据第二模型请求消息，向第四网元发送第一模型的模型信息。
其中，上述第一模型可以包括一个模型或多个模型。对于第二模型请求消息的描述具体可以参见上述实施例中对第一模型请求消息的详细描述，此处不再赘述。
可选地，本申请实施例中，在上述第一模型包括多个模型的情况下，在上述步骤 212之前，本申请实施例提供的模型选择方法还可以包括下述的步骤213或步骤214。
步骤213、第一网元确定第四网元是否支持获取多个模型。
步骤214、第一网元确定第四网元的模型使用能力。
本申请实施例中，如果存在与第二模型请消息对应的模型信息匹配的多个模型，那么第一网元可以确定第四网元是否支持获取多个模型或者确定第四网元的模型使用能力，以确定第四网元是否支持使用多个模型，如果第四网元可以支持使用多个模型，那么第一网元将该多个模型的模型信息均发送给第四网元，否则第一网元仅向第四网元发送该多个模型中的一个模型，即第一网元不同时将该多个模型的模型信息发送给第四网元。
可选地，本申请实施例中，上述第一网元为ADRF的情况下，本申请实施例提供的模型选择方法还可以包括下述的步骤215。
步骤215、第一网元从第三网元获取N个候选模型的模型信息。
本申请实施例中，上述第三网元可以为MTLF。如此，在ADRF记录上述N个候选模型的模型信息之前，ADRF可以先从MTLF获取该N个候选模型的模型信息。
可以理解，在第一网元为MTLF的情况下，MTLF可以先自身获取上述N个候选模型的模型信息，再记录该N个候选模型的模型信息。
可选地，本申请实施例中，在上述步骤201(第一网元记录N个候选模型的模型信息)之前，本申请实施例提供的模型选择方法还可以包括下述的步骤216。
步骤216、第一网元获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。
本申请实施例中，在第一网元记录上述N个候选模型的模型信息之前，第一网元先获取该N个候选模型中的每个候选模型的使用范围信息和/或模型性能信息，从而可以对应记录该N个候选模型的模型信息。
可以理解，在该方式中，第一网元不对该N个候选模型进行筛选，仅记录该N个候选模型对应的信息(包括使用范围信息、模型性能信息等)。之后接收到其它网元发送的模型请求消息后，可以根据这些信息，选择合适的模型发送给该网元。
可选地，本申请实施例中，上述步骤216具体可以通过下述的步骤216a、步骤216b或步骤216c实现。
步骤216a、第一网元确定N个候选模型中每个候选模型的使用范围信息和/或计算N个候选模型中每个候选模型的模型性能信息。
步骤216b、第一网元从第七网元接收N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。
其中，上述第七网元可以包括一个网元或多个网元。第七网元可以为AnLF。
可选地，该第七网元可以与上述实施例中的第二网元相同，也可以不同。具体可以根据实际使用需求确定，本申请实施例不作限定。
步骤216c、第一网元从数据分析消费者接收N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。
需要说明的是，对于第一网元获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息的相关描述，具体可以参见上述实施例中第一网元获取第一模型的使用范围信息和/或模型性能信息的详细描述，为避免重复，此处不再赘述。
可选地，本申请实施例中，在上述第一网元为MTLF的情况下，在上述步骤201(第一网元记录N个候选模型的模型信息)之后，本申请实施例提供的模型选择方法还可以包括下述的步骤217。
步骤217、第一网元将N个候选模型的模型信息存储至第六网元。
其中，上述第六网元可以包括ADRF或统一数据存储库(unified data repository， UDR)。
可选地，本申请实施例中，基于上述步骤217，上述步骤203具体可以通过下述的步骤203a实现。
步骤203a、第一网元向第二网元发送第一信息，该第一信息用于指示P个候选模型的模型信息存储在第六网元中。
其中，上述第一信息可以包括第六网元的标识信息、全限定域名(fully qualified domain name，FQDN)、地址信息中的至少一项。当然，该第一信息还可以包括第六网元对应的其它信息，具体可以根据实际使用需求确定，本申请实施例不作限定。
可以理解，第六网元的标识信息、FQDN、或地址信息中的至少一项可以作为P个候选模型的下载地址信息，以使第二网元可以根据第六网元的标识信息、FQDN、或地址信息中的至少一项，下载该P个候选模型的模型信息。
本申请实施例中，在MTLF将上述N个候选模型的模型信息存储至第六网元之后，如果第二网元向第一网元发送上述第一模型请求消息，那么在该N个候选模型中的M个候选模型的模型信息与该第一模型请求消息对应的模型信息匹配的情况下，第一网元可以向第二网元发送上述第一信息。从而在第二网元接收到该第一信息之后，第二网元可以从该第六网元下载上述P个候选模型的模型信息。
可选地，本申请实施例中，在第一网元将上述N个候选模型的模型信息存储至第六网元之后，第八网元可以直接向第六网元发送模型请求消息，以从第六网元获取模型的模型信息。其中，该第八网元可以被配置为从第六网元获取模型的模型信息，该第八网元可以为AnLF，例如AnLF 3。
下面再结合附图，对本申请实施例提供的模型选择方法进行示例性地说明。
实施例一
如图3所示，在步骤1a中，AnLF1可以向MTLF发送模型请求消息(例如请求(request)1)，该模型请求消息可以包括分析标识(analytic ID)，模型过滤信息(model filter information 1)等。
在步骤1b中，MTLF可以向AnLF1提供ML模型(例如适用于AI任务1的模型)的模型信息，该模型信息可以为初始模型(initial model)，模型标识为model ID1。
在步骤2中，MTLF/AnLF 1/数据分析消费者对步骤1b中的ML模型进行性能测算/评估(analytics performance evaluation)。其中，记录模型的模型标识、模型适用的数据分析任务、模型使用范围。如果是AnLF 1/数据分析消费者对该模型进行性能测算，那么向MTLF上报该模型性能信息，并上报该模型的使用范围信息。
在步骤3中，如果上述ML模型的性能低于预设性能，MTLF根据上述模型使用范围重新选择或重新训练一个新的ML模型。该新的ML模型可以为一个不同于初始模型的模型，或者是初始模型更新后的模型。
在步骤4a中(可选地)，AnLF 1向MTLF发送模型请求消息(例如request 2)。
在步骤4b中，MTLF向AnLF 1发送该新的ML模型的模型信息。该模型信息可以包括模型标识，模型使用范围(model usage scope)。如果该新的ML模型为一个不同于初始模型的模型，那么模型标识可以为model ID2；如果是初始模型更新后的模型，那么模型标识可以为model ID1。
在步骤5中，MTLF/AnLF 1/数据分析消费者对步骤4b中的新的ML模型进行性能测算/评估。具体可以参见上述步骤2中的描述。
在步骤6中，MTLF根据上述步骤2-5所获取的多个模型对应的模型性能信息，确定目标模型。该目标模型可以为该多个模型中性能最高的/最好的，或者目标模型可以为性能该多个模型中高于/优于预设性能的。目标模型可以为一个或多个。
在步骤7中，AnLF2向MTLF发送模型请求消息(例如request 3)，用于请求analytic  ID对应的模型，该analytic ID可以与步骤1a中的analytic ID相同。该模型请求消息包括模型过滤信息(例如model filter information 2)等。
在步骤8中，MTLF判断步骤7中的模型请求消息对应的模型信息是否与目标模型的模型信息匹配，如果匹配，执行下述的步骤9。
在步骤9中，MTLF将目标模型的模型信息发送给AnLF2。
实施例二
仍然结合图3，与实施例一不同的是，在步骤1b中，若针对AnLF1发送的模型请求消息，MTLF存在满足要求的多个候选模型，则MTLF可同时下发该多个候选模型给AnLF1。可选地，下发模型之前，MTLF需要先确定AnLF支持多个模型获取或使用能力，若不支持，则MTLF并不同时发送多个候选模型给AnLF。
步骤2中，可利用实施例一的步骤2类似地方法，对该多个候选模型进行性能测算。
实施例三
如图4所示，与实施例一、实施例二不同的是，在步骤6b中，MTLF将获取的目标模型的模型信息存储到数据库或统一数据平台(如ADRF，UDR等)上。
在步骤7中，AnLF2是向数据库或统一数据平台发送模型获取请求消息。
在步骤8中，数据库或统一数据平台判断步骤7中的模型请求消息对应的模型信息是否与目标模型的模型信息匹配，如果匹配，执行下述的步骤9。
其中，上述步骤8的匹配方法可以与实施例一中的步骤8的匹配方法类似。
在步骤9中，数据库或统一数据平台将目标模型的模型信息发送给AnLF2。
需要说明的是，实施例二和实施例三中未描述的步骤，可以参考实施例一中的相关描述，为避免重复，此处不予赘述。
实施例四
步骤1-6与上述实施例一中的步骤1-6相同。
在步骤6a中，MTLF将目标模型(即本申请实施例中的候选模型)的模型信息存储至ADRF中，并记录对应的ADRF信息(例如ADRF的标识信息、ADRF的地址信息等)。
步骤7-8与上述实施例一中的步骤7-8相同。
在步骤9中，MTLF将匹配的目标模型存储的ADRF信息发送给AnLF2，从而AnLF2可以从ADRF获取目标模型的模型信息。
本申请实施例提供的模型选择方法，执行主体可以为模型选择装置。本申请实施例中以模型选择装置执行模型选择方法为例，说明本申请实施例提供的模型选择装置。
如图5所示，本申请实施例提供一种模型选择装置300，该模型选择装置300包括记录模块301、第一接收模块302和第一发送模块303。记录模块301，用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一接收模块302，用于从第二网元接收第一模型请求消息；第一发送模块303，用于在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。
可选地，本申请实施例中，模型选择装置还包括：确定模块，用于根据K个模型的模型性能信息，从K个模型中确定满足预设条件的N个候选模型，K个模型适用于第一分析标识对应的数据分析任务，K为正整数；其中，预设条件包括以下任意一项：模型性能信息指示的性能为K个模型中最高的；模型性能信息指示的性能高于第一预设性能。
可选地，本申请实施例中，模型选择装置还包括：第一获取模块，用于从第三网 元获取N个候选模型的模型信息。
可选地，本申请实施例中，候选模型的模型信息包括以下至少一项：
候选模型的模型标识；
候选模型的模型文件信息；
候选模型的下载地址信息，下载地址信息用于指示候选模型的模型文件的存储地址；
候选模型的分析标识，分析标识用于标识候选模型所适用的数据分析任务；
候选模型的使用范围信息；
候选模型的模型性能信息。
可选地，本申请实施例中，使用范围信息指示以下至少一项：
使用区域范围；
使用时间范围；
使用对象范围。
可选地，本申请实施例中，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。
可选地，本申请实施例中，模型选择装置还包括：第二获取模块，用于获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。
可选地，本申请实施例中，第二获取模块，具体用于确定每个候选模型的使用范围信息和/或计算每个候选模型的模型性能信息；或者，第二获取模块，具体用于从第七网元接收每个候选模型的使用范围信息和/或模型性能信息；或者，第二获取模块，具体用于从数据分析消费者接收每个候选模型的使用范围信息和/或模型性能信息。
可选地，本申请实施例中，第一模型请求消息包括以下至少一项：
第二分析标识，第二分析标识用于标识请求的模型所适用的数据分析任务；
模型过滤信息，模型过滤信息用于指示请求的模型需要满足的条件；
模型对象信息，模型对象信息用于指示请求的模型的训练对象；
模型上报信息，模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；
模型性能要求信息，模型性能要求信息用于指示请求的模型需要满足的性能。
可选地，本申请实施例中，M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配包括以下至少一项：
第一分析标识与第二分析标识相同；
M个候选模型的模型使用范围信息中包含的使用区域范围与模型过滤信息匹配；
M个候选模型的模型使用范围信息中包含的使用对象范围与模型对象信息匹配；
M个候选模型的模型使用范围信息中包含的使用时间范围与模型上报信息匹配；
M个候选模型的模型性能信息满足模型性能要求信息指示的性能。
可选地，本申请实施例中，K个模型包括适用于第一分析标识对应的数据分析任务的多个候选模型，或者K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。
可选地，本申请实施例中，在K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，模型选择装置还包括：执行模块，用于在发送模块向第四网元发送的第一模型的性能低于第二预设性能的情况下，根据第一模型的使用范围信息，对第一模型进行重新训练或进行模型重选，得到第二模型，第二模型为K个模型中的模型；第二发送模块，用于向第四网元或第五网元发送第二模型的模型信息。
可选地，本申请实施例中，模型选择装置还包括：第三发送模块，用于向第四网 元或第五网元发送第二模型的使用范围信息；其中，第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围相同，或者第二模型的使用范围信息指示的使用范围根据第一模型的使用范围信息指示的使用范围确定。
可选地，本申请实施例中，模型选择装置还包括：计算模块，用于计算第一模型的模型性能信息；或者，第二接收模块，还用于从第四网元接收第一模型的模型性能信息；或者，第三接收模块，还用于从数据分析消费者接收第一模型的模型性能信息；其中，第一模型的模型性能信息用于指示第一模型的性能。
可选地，本申请实施例中，模型选择装置还包括：存储模块，用于将N个候选模型的模型信息存储至第六网元。
可选地，本申请实施例中，第一发送模块，具体用于向第二网元发送第一信息，第一信息用于指示P个候选模型的模型信息存储在所述第六网元中。其中，该第一信息包括第六网元的标识信息、FQDN、地址信息中的至少一项。
可选地，本申请实施例中，第六网元包括ADRF或UDR。
可选地，本申请实施例中，第二网元包括AnLF或MTLF。
本申请实施例提供的模型选择装置，由于模型选择装置可以记录适用于一种数据分析任务的候选模型的模型信息，因此模型选择装置在接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。
本申请实施例中的模型选择装置可以是网络侧设备，例如具有操作系统的网络侧设备，也可以是网络侧设备中的部件，例如集成电路或芯片。该网络侧设备可以为NWDAF、MTLF、AnLF、ARDF等，本申请实施例不作具体限定。
本申请实施例提供的模型选择装置能够实现上述模型选择方法的实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
可选地，如图6所示，本申请实施例还提供一种网络侧设备400，包括处理器401和存储器402，存储器402上存储有可在处理器401上运行的程序或指令，例如，该网络侧设备400为网络侧设备时，该程序或指令被处理器401执行时实现上述模型选择方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体地，本申请实施例还提供了一种网络侧设备。如图7所示，该网络侧设备500包括：处理器501、网络接口502和存储器503。其中，网络接口502例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本发明实施例的网络侧设备500还包括：存储在存储器503上并可在处理器501上运行的指令或程序，处理器501调用存储器503中的指令或程序执行图6所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的终端中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，计算机程序/程序产品被存储在 存储介质中，计算机程序/程序产品被至少一个处理器执行以实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络侧设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (40)

  1. 一种模型选择方法，包括：
    第一网元记录N个候选模型的模型信息，所述N个候选模型适用于第一分析标识对应的数据分析任务；
    所述第一网元从第二网元接收第一模型请求消息；
    在所述N个候选模型中的M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配的情况下，所述第一网元向所述第二网元发送所述M个候选模型中的P个候选模型的模型信息；
    其中，N、M和P均为正整数，且N≥M≥P。
  2. 根据权利要求1所述的方法，其中，所述第一网元记录N个候选模型的模型信息之前，所述方法还包括：
    所述第一网元根据K个模型的模型性能信息，从所述K个模型中确定满足预设条件的所述N个候选模型，所述K个模型适用于所述第一分析标识对应的数据分析任务，K为正整数；
    其中，所述预设条件包括以下任意一项：
    模型性能信息指示的性能为所述K个模型中最高的；
    模型性能信息指示的性能高于第一预设性能。
  3. 根据权利要求1或2所述的方法，其中，所述方法还包括：
    所述第一网元从第三网元获取所述N个候选模型的模型信息。
  4. 根据权利要求1至3任一项所述的方法，其中，候选模型的模型信息包括以下至少一项：
    候选模型的模型标识；
    候选模型的模型文件信息；
    候选模型的下载地址信息，所述下载地址信息用于指示候选模型的模型文件的存储地址；
    候选模型的分析标识，所述分析标识用于标识候选模型所适用的数据分析任务；
    候选模型的使用范围信息；
    候选模型的模型性能信息。
  5. 根据权利要求4所述的方法，其中，所述使用范围信息指示以下至少一项：
    使用区域范围；
    使用时间范围；
    使用对象范围。
  6. 根据权利要求2或4所述的方法，其中，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。
  7. 根据权利要求1至6任一项所述的方法，其中，所述第一网元记录N个候选模型的模型信息之前，所述方法还包括：
    所述第一网元获取所述N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。
  8. 根据权利要求7所述的方法，其中，所述第一网元获取所述N个候选模型中每个候选模型的使用范围信息和/或模型性能信息，包括：
    所述第一网元确定所述每个候选模型的使用范围信息和/或计算所述每个候选模型的模型性能信息；
    所述第一网元从第七网元接收所述每个候选模型的使用范围信息和/或模型性能信息；
    所述第一网元从数据分析消费者接收所述每个候选模型的使用范围信息和/或模型性能信息。
  9. 根据权利要求1至8任一项所述的方法，其中，所述第一模型请求消息包括以下至少一项：
    第二分析标识，所述第二分析标识用于标识请求的模型所适用的数据分析任务；
    模型过滤信息，所述模型过滤信息用于指示请求的模型需要满足的条件；
    模型对象信息，所述模型对象信息用于指示请求的模型的训练对象；
    模型上报信息，所述模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；
    模型性能要求信息，所述模型性能要求信息用于指示请求的模型需要满足的性能。
  10. 根据权利要求9所述的方法，其中，所述M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配包括以下至少一项：
    所述第一分析标识与所述第二分析标识相同；
    所述M个候选模型的模型使用范围信息中包含的使用区域范围与所述模型过滤信息匹配；
    所述M个候选模型的模型使用范围信息中包含的使用对象范围与所述模型对象信息匹配；
    所述M个候选模型的模型使用范围信息中包含的使用时间范围与所述模型上报信息匹配；
    所述M个候选模型的模型性能信息满足所述模型性能要求信息指示的性能。
  11. 根据权利要求2至10任一项所述的方法，其中，所述K个模型包括适用于所述第一分析标识对应的数据分析任务的多个候选模型，或者所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。
  12. 根据权利要求11所述的方法，其中，在所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，所述方法还包括：
    在所述第一网元向第四网元发送的第一模型的性能低于第二预设性能的情况下，所述第一网元根据所述第一模型的使用范围信息，对所述第一模型进行重新训练或进行模型重选，得到第二模型，所述第二模型为所述K个模型中的模型；
    所述第一网元向所述第四网元或第五网元发送所述第二模型的模型信息。
  13. 根据权利要求12所述的方法，其中，所述方法还包括：
    所述第一网元向所述第四网元或所述第五网元发送所述第二模型的使用范围信息；
    其中，所述第二模型的使用范围信息指示的使用范围与所述第一模型的使用范围信息指示的使用范围相同，或者所述第二模型的使用范围信息指示的使用范围根据所述第一模型的使用范围信息指示的使用范围确定。
  14. 根据权利要求12所述的方法，其中，所述方法还包括以下任意一项：
    所述第一网元计算所述第一模型的模型性能信息；
    所述第一网元从所述第四网元接收所述第一模型的模型性能信息；
    所述第一网元从数据分析消费者接收所述第一模型的模型性能信息；
    其中，所述第一模型的模型性能信息用于指示所述第一模型的性能。
  15. 根据权利要求1至14任一项所述的方法，其中，所述第一网元记录N个候选模型的模型信息之后，所述方法还包括：
    所述第一网元将所述N个候选模型的模型信息存储至第六网元。
  16. 根据权利要求15所述的方法，其中，所述第一网元向所述第二网元发送所述 M个候选模型中的P个候选模型的模型信息，包括：
    所述第一网元向所述第二网元发送第一信息，所述第一信息用于指示所述P个候选模型的模型信息存储在所述第六网元中；
    其中，所述第一信息包括所述第六网元的标识信息、全限定域名FQDN、地址信息中的至少一项。
  17. 根据权利要求15或16所述的方法，其中，所述第六网元包括分析数据存储功能ADRF或统一数据存储库UDR。
  18. 根据权利要求1至16任一项所述的方法，其中，所述第一网元包括模型训练逻辑功能MTLF或分析数据存储功能ADRF。
  19. 根据权利要求1所述的方法，其中，所述第二网元包括分析逻辑功能AnLF或MTLF。
  20. 一种模型选择装置，包括：
    记录模块，用于记录N个候选模型的模型信息，所述N个候选模型适用于第一分析标识对应的数据分析任务；
    第一接收模块，用于从第二网元接收第一模型请求消息；
    第一发送模块，用于在所述N个候选模型中的M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配的情况下，向所述第二网元发送所述M个候选模型中的P个候选模型的模型信息；
    其中，N、M和P均为正整数，且N≥M≥P。
  21. 根据权利要求20所述的装置，其中，所述装置还包括：
    确定模块，用于根据K个模型的模型性能信息，从所述K个模型中确定满足预设条件的所述N个候选模型，所述K个模型适用于所述第一分析标识对应的数据分析任务，K为正整数；
    其中，所述预设条件包括以下任意一项：
    模型性能信息指示的性能为所述K个模型中最高的；
    模型性能信息指示的性能高于第一预设性能。
  22. 根据权利要求20或21所述的装置，其中，所述装置还包括：
    第一获取模块，用于从第三网元获取所述N个候选模型的模型信息。
  23. 根据权利要求20至22任一项所述的装置，其中，候选模型的模型信息包括以下至少一项：
    候选模型的模型标识；
    候选模型的模型文件信息；
    候选模型的下载地址信息，所述下载地址信息用于指示候选模型的模型文件的存储地址；
    候选模型的分析标识，所述分析标识用于标识候选模型所适用的数据分析任务；
    候选模型的使用范围信息；
    候选模型的模型性能信息。
  24. 根据权利要求23所述的装置，其中，所述使用范围信息指示以下至少一项：
    使用区域范围；
    使用时间范围；
    使用对象范围。
  25. 根据权利要求21或23所述的装置，其中，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。
  26. 根据权利要求20至25任一项所述的装置，其中，所述装置还包括：
    第二获取模块，用于获取所述N个候选模型中每个候选模型的使用范围信息和/ 或模型性能信息。
  27. 根据权利要求26所述的装置，其中，所述第二获取模块，具体用于确定所述每个候选模型的使用范围信息和/或计算所述每个候选模型的模型性能信息；或者
    所述第二获取模块，具体用于从第七网元接收所述每个候选模型的使用范围信息和/或模型性能信息；或者
    所述第二获取模块，具体用于从数据分析消费者接收所述每个候选模型的使用范围信息和/或模型性能信息。
  28. 根据权利要求20至27任一项所述的装置，其中，所述第一模型请求消息包括以下至少一项：
    第二分析标识，所述第二分析标识用于标识请求的模型所适用的数据分析任务；
    模型过滤信息，所述模型过滤信息用于指示请求的模型需要满足的条件；
    模型对象信息，所述模型对象信息用于指示请求的模型的训练对象；
    模型上报信息，所述模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；
    模型性能要求信息，所述模型性能要求信息用于指示请求的模型需要满足的性能。
  29. 根据权利要求28所述的装置，其中，所述M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配包括以下至少一项：
    所述第一分析标识与所述第二分析标识相同；
    所述M个候选模型的模型使用范围信息中包含的使用区域范围与所述模型过滤信息匹配；
    所述M个候选模型的模型使用范围信息中包含的使用对象范围与所述模型对象信息匹配；
    所述M个候选模型的模型使用范围信息中包含的使用时间范围与所述模型上报信息匹配；
    所述M个候选模型的模型性能信息满足所述模型性能要求信息指示的性能。
  30. 根据权利要求21至29任一项所述的装置，其中，所述K个模型包括适用于所述第一分析标识对应的数据分析任务的多个候选模型，或者所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。
  31. 根据权利要求30所述的装置，其中，在所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，所述装置还包括：
    执行模块，用于在所述发送模块向第四网元发送的第一模型的性能低于第二预设性能的情况下，根据所述第一模型的使用范围信息，对所述第一模型进行重新训练或进行模型重选，得到第二模型，所述第二模型为所述K个模型中的模型；
    第二发送模块，用于向所述第四网元或第五网元发送所述第二模型的模型信息。
  32. 根据权利要求31所述的装置，其中，所述装置还包括：
    第三发送模块，用于向所述第四网元或所述第五网元发送所述第二模型的使用范围信息；
    其中，所述第二模型的使用范围信息指示的使用范围与所述第一模型的使用范围信息指示含的使用范围相同，或者所述第二模型的使用范围信息指示的使用范围根据所述第一模型的使用范围信息指示的使用范围确定。
  33. 根据权利要求31所述的装置，其中，所述装置还包括：
    计算模块，用于计算所述第一模型的模型性能信息；或者
    第二接收模块，用于从所述第四网元接收所述第一模型的模型性能信息；或者
    第三接收模块，用于从数据分析消费者接收所述第一模型的模型性能信息；
    其中，所述第一模型的模型性能信息用于指示所述第一模型的性能。
  34. 根据权利要求20至33任一项所述的装置，其中，所述装置还包括：
    存储模块，用于将所述N个候选模型的模型信息存储至第六网元。
  35. 根据权利要求34所述的装置，其中，所述第一发送模块，具体用于向所述第二网元发送第一信息，所述第一信息用于指示所述P个候选模型的模型信息存储在所述第六网元中；
    其中，所述第一信息包括所述第六网元的标识信息、全限定域名FQDN、地址信息中的至少一项。
  36. 根据权利要求34或35所述的装置，其中，所述第六网元包括分析数据存储功能ADRF或统一数据存储库UDR。
  37. 根据权利要求20所述的装置，其中，所述第二网元包括分析逻辑功能AnLF或模型训练逻辑功能MTLF。
  38. 一种网络侧设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至19任一项所述的模型选择方法的步骤。
  39. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-19任一项所述的模型选择方法的步骤。
  40. 一种计算机程序产品，所述程序产品被至少一个处理器执行以实现如权利要求1至19中任一项所述的模型选择方法。
PCT/CN2023/091723 2022-05-05 2023-04-28 模型选择方法、装置及网络侧设备 WO2023213246A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210483837.0 2022-05-05
CN202210483837.0A CN117076916A (zh) 2022-05-05 2022-05-05 模型选择方法、装置及网络侧设备

Publications (1)

Publication Number Publication Date
WO2023213246A1 true WO2023213246A1 (zh) 2023-11-09

Family

ID=88646279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/091723 WO2023213246A1 (zh) 2022-05-05 2023-04-28 模型选择方法、装置及网络侧设备

Country Status (2)

Country Link
CN (1) CN117076916A (zh)
WO (1) WO2023213246A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287332A (zh) * 2019-06-06 2019-09-27 中国人民解放军国防科技大学 云环境下仿真模型选择方法与装置
CN114118440A (zh) * 2021-11-16 2022-03-01 智道网联科技(北京)有限公司 模型迭代方法、装置、电子设备和计算机可读存储介质
CN114428677A (zh) * 2022-01-28 2022-05-03 北京百度网讯科技有限公司 任务处理方法、处理装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287332A (zh) * 2019-06-06 2019-09-27 中国人民解放军国防科技大学 云环境下仿真模型选择方法与装置
CN114118440A (zh) * 2021-11-16 2022-03-01 智道网联科技(北京)有限公司 模型迭代方法、装置、电子设备和计算机可读存储介质
CN114428677A (zh) * 2022-01-28 2022-05-03 北京百度网讯科技有限公司 任务处理方法、处理装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117076916A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US20170293681A1 (en) Techniques to respond to user requests using natural-language machine learning based on example conversations
WO2021032497A1 (en) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
WO2021032498A1 (en) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
US10599402B2 (en) Techniques to configure a web-based application for bot configuration
WO2023213246A1 (zh) 模型选择方法、装置及网络侧设备
CN107450986B (zh) 一种基于软件通信体系结构的资源调度方法
US11889332B2 (en) System and method of hierarchical computation of KPIs
WO2023169425A1 (zh) 通信网络中的数据处理方法及网络侧设备
US11620575B2 (en) Interactive and dynamic mapping engine (iDME)
WO2023213288A1 (zh) 模型获取方法及通信设备
WO2024061252A1 (zh) 信息获取方法、装置、网络侧设备及存储介质
WO2024061254A1 (zh) 数据获取方法、装置、系统和设备
WO2023207980A1 (zh) 模型信息获取方法、发送方法、装置、节点和储存介质
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
CN101482816B (zh) 中介软件桥接系统及方法
WO2023169378A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023169392A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023185818A1 (zh) 设备确定方法、装置及通信设备
WO2023185822A1 (zh) 网元注册方法、模型确定方法、装置、网元、通信系统及存储介质
WO2021107830A1 (en) Methods for determining application of models in multi-vendor networks
WO2023185788A1 (zh) 候选成员的确定方法、装置及设备
WO2024099187A1 (zh) Ai模型策略确定方法、装置、第一设备及第二设备
CN116776988A (zh) 通信网络中的数据处理方法及网络侧设备
WO2023186099A1 (zh) 信息反馈方法、装置及设备
WO2023185826A1 (zh) 网元注册方法、模型请求方法、装置、网元、通信系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799232

Country of ref document: EP

Kind code of ref document: A1