WO2023241537A1 - 一种数据传输的方法、通信装置和通信系统 - Google Patents

一种数据传输的方法、通信装置和通信系统 Download PDF

Info

Publication number
WO2023241537A1
WO2023241537A1 PCT/CN2023/099816 CN2023099816W WO2023241537A1 WO 2023241537 A1 WO2023241537 A1 WO 2023241537A1 CN 2023099816 W CN2023099816 W CN 2023099816W WO 2023241537 A1 WO2023241537 A1 WO 2023241537A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data
information
entity
inference
Prior art date
Application number
PCT/CN2023/099816
Other languages
English (en)
French (fr)
Inventor
黄谢田
曹龙雨
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2023241537A1 publication Critical patent/WO2023241537A1/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Definitions

  • the present application relates to the field of communication technology, and more specifically, to a data transmission method, communication device and communication system.
  • inference models such as artificial intelligence (AI) models and machine learning (ML) models
  • AI artificial intelligence
  • ML machine learning
  • Model entities used to process inference models need to use network data in the process of obtaining or running inference models.
  • data entities used to manage network data usually do not have the ability to parse inference models. Therefore, when the model entity requests network data from the data entity, it needs to provide the data entity with data description information of the network data, for example, a data field used to describe the network data.
  • data description information of the network data for example, a data field used to describe the network data.
  • the field information of network data usually requires more bits, and the inference model usually needs to obtain network data multiple times during operation, which will cause high transmission overhead.
  • This application provides a data transmission method and communication device, which can reduce transmission overhead.
  • a data transmission method which method can be executed by a data entity or a chip in the data entity.
  • the method includes: the data entity accepts correspondence information from the model entity, and the correspondence information indicates the inference model and The corresponding relationship of the data description information; the data entity receives the model information corresponding to the inference model from the model entity; the data entity sends the first network data set corresponding to the data description information to the model entity based on the model information and the corresponding relationship information, and the first network data Sets are used for model processing of inference models.
  • the data entity may store the correspondence information, or the data entity may store the correspondence indicated by the correspondence information.
  • the data entity receives the correspondence information from the model entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data entity can index based on the model information corresponding to the inference model and the correspondence information. to the first network data set corresponding to the data description information. Furthermore, every time the model entity needs to obtain the network data set, the model entity can obtain the network data set by sending the model information corresponding to the inference model to the data entity. Reduce transmission overhead.
  • the correspondence information indicates correspondences between multiple inference models and multiple data description information. Therefore, in some scenarios, for example, there are corresponding duplicate data description information in multiple inference models, or there are corresponding duplicate data fields, the correspondence information can simultaneously indicate the correspondence between the multiple inference models and the data description information. , which can further reduce transmission overhead.
  • the model information includes at least one of the following information: identification information of the inference model, and inference type of the inference model.
  • Both the identification information and the inference type can be used to identify the inference model.
  • the data entity can index to the inference model based on the model information, index to the data description information based on the correspondence information, and then return the network data set corresponding to the data description information to the model entity, which can reduce transmission overhead.
  • the data description information includes at least one data field
  • the first network data set includes network data corresponding to the at least one data field
  • This data field can be used to describe network data.
  • the correspondence information can describe the correspondence between the inference model and at least one data field.
  • the model entity can obtain the network data corresponding to the data field by sending the model information corresponding to the inference model to the data entity, which can reduce transmission overhead.
  • the method further includes: the data entity obtains the second network data set based on the model information and the correspondence information; the data entity performs data processing on the second network data set to Generate the first network data set.
  • the data entity receives the second network data set from the network device based on the model information and the correspondence information; or, the data entity obtains the second network data set from the local storage medium based on the model information and the correspondence information.
  • the second network data set may be original data obtained by the data entity.
  • the data processing may be used to make the quality of the generated first network data set higher than that of the second network data set, and/or the data processing may be used to make the data amount of the generated first network data set smaller than that of the second network data. set.
  • the data entity can obtain the second network data set based on the model information and correspondence information of the inference model, perform data processing on the second network data set and then return it to the model entity, which can improve the quality of network data and/or Reduce interface overhead.
  • the method includes: the data entity receives data processing method information from the model entity, the data processing method information indicates at least one data processing method, and the at least one data processing method The processing method is used to perform data processing on the network data set; the data entity performs data processing on the second network data set, including: the data entity uses one or more of the at least one data processing method to perform data processing on the second network data set. Perform data processing.
  • the data entity can obtain at least one method of data processing from the model entity, and perform data processing on the second network data set related to the inference model based on this method to generate the first network data set and improve the data reliability.
  • the at least one data processing method includes at least one of the following: missing data processing, deduplication processing, filtering processing, merging processing, or quantification processing.
  • data entities can adopt a variety of data processing methods that can improve data quality and/or reduce data volume, improve the quality of network data and/or reduce interface overhead.
  • the method further includes: the data entity receives model processing information from the model entity, the model processing information indicates that the inference model is used to perform at least one of the following model processing Item: model training, model inference, model evaluation or model testing; the data entity sends the first network data set to the model entity based on the model information and the correspondence information, including: the data entity is based on the model information and the correspondence information and sending the first network data set to the model entity with the model processing information.
  • the data description information corresponding to different model processes can be the same or different.
  • the first network data set may be related to the model processing used by the inference model.
  • the model entity can send model processing information indicating the model processing used by the inference model to the data entity. Furthermore, the data entity can send the first network data set corresponding to the model processing to the model entity, for example , if the model processing information indicates that the inference model is used for model inference, then the data entity can return the network data set used for model inference to the model entity, thereby reducing the transmission overhead of data acquisition during the model inference process.
  • the correspondence information also indicates a correspondence between the data description information and the model processing used for model inference.
  • the correspondence information can be the correspondence between the inference model, the model processing used by the inference model, and the data description information, and then the data entity can provide the corresponding information to the inference model based on the model information, model processing information and correspondence information.
  • the model entity returns the corresponding network data set, which can reduce transmission overhead.
  • the method further includes: the data entity receives first request information from the model entity, the first request information requests the data entity to delete the inference model and data description information. Correspondence information.
  • the data entity may delete the information on the correspondence between the inference model and the data description information based on the first request information.
  • the model entity can request the data entity to delete the information on the correspondence between the inference model and the data description information. For example, in scenarios such as when the model entity stops running the inference model, it can request the data entity to delete the corresponding information, so that the data entity can Save the memory of data entities by deleting corresponding information.
  • the method further includes: the data entity receives second request information from the model entity, the second request information requests the data entity to delete the at least one data processing method. information.
  • the data entity may delete the information of the at least one data processing method based on the second request information.
  • the model entity can request the data entity to delete relevant information about the data processing method. For example, in scenarios such as when the model entity stops running the inference model, it can request the data entity to delete the corresponding information, so that the data entity can delete the relevant information. way to save memory for data entities.
  • a data transmission method which method can be executed by a model entity or a chip in the model entity.
  • the method includes: the model entity generates or obtains correspondence information, and the correspondence information indicates the inference model and data description. Correspondence of information; the model entity sends the correspondence information to the data entity; the model entity sends the model information corresponding to the inference model to the data entity; the model entity receives the first data corresponding to the data description information from the data entity A network data set, the first network data set is used to perform model processing on the inference model.
  • the data entity receives the correspondence information from the model entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data entity can index based on the model information corresponding to the inference model and the correspondence information. to the first network data set corresponding to the data description information. Furthermore, every time the model entity needs to obtain the network data set, the model entity can obtain the network data set by sending the model information corresponding to the inference model to the data entity. Reduce transmission overhead.
  • the model information includes at least one of the following information: identification information of the inference model and inference type of the inference model.
  • the data description information includes at least one data word segment
  • the first network data set includes network data corresponding to the at least one data field.
  • the method further includes: the model entity sending data processing method information to the data entity, the data processing method information indicating at least one data processing method, and the at least one data processing method.
  • a data processing method is used to perform data processing on network data sets.
  • the method further includes: the model entity sending model processing information to the data entity, the model processing information indicating that the inference model is used to perform at least one of the following model processing One item: model training, model inference, model evaluation, or model testing.
  • the correspondence information also indicates the correspondence between the data description information and the model processing information.
  • the method further includes: the model entity sending second request information to the data entity, the second request information requesting deletion of the data processing information.
  • the various implementation methods of the second aspect are methods of model entities corresponding to the various implementation methods of the first aspect.
  • the beneficial technical effects of the various implementation methods of the second aspect please refer to the description of the relevant implementation methods of the first aspect. , will not be described in detail here.
  • a data transmission method is provided.
  • the method can be executed by the data entity or a chip in the data entity, and the model entity or a chip in the model entity.
  • the method includes: the model entity generates or obtains correspondence information.
  • the correspondence information indicates the correspondence between the inference model and the data description information; the model entity sends the correspondence information to the data entity; the model entity sends the model information corresponding to the inference model to the data entity; the data entity sends the model entity to the model entity based on the model information and correspondence information
  • the first network data set corresponding to the data description information is sent, and the first network data set is used to perform model processing on the inference model.
  • the data description information includes at least one data field
  • the first network data set includes network data corresponding to the at least one data field
  • the method further includes: the data entity obtains the second network data set based on the model information and the correspondence information; the data entity performs data processing on the second network data set to generate The first network data set.
  • the method further includes: the model entity sends data processing method information to the data entity, the data processing method information indicates at least one data processing method, and the at least one data processing method is perform data processing on the network data set; the data entity performs data processing on the second network data set to generate
  • the first network data set includes: the data entity uses one or more of at least one data processing method to perform data processing on the second network data set.
  • the method further includes: the model entity sends model processing information to the data entity, and the inference model is used to perform at least one of the following model processing: model training, model inference , model evaluation or model testing; the data entity sends the first network data set to the model entity based on the model information and correspondence information, including: the data entity sends the first network data set to the model entity based on the model information, correspondence information and model processing information. .
  • the correspondence information also indicates a correspondence between the data description information and the model processing used by the inference model.
  • the method further includes: the model entity sends second request information to the data entity, and the second request information requests the data entity to delete information on at least one data processing method.
  • the data entity obtains the second network data set from the network device based on the data query information; or, the data entity obtains the second network data set from the local storage medium based on the data query information.
  • the data entity can obtain the second network data set based on the data query information, perform data processing on the second network data set and then return it to the model entity, which can improve the quality of network data and/or reduce the interface overhead.
  • the data description information includes at least one data field
  • the first network data set includes network data corresponding to the at least one data field.
  • the correspondence information can describe the correspondence between the inference model and at least one data field.
  • the model entity can obtain the network data corresponding to the data field by sending the model information corresponding to the inference model to the data entity, which can reduce transmission overhead.
  • the model information includes at least one of the following information: identification information of the inference model and inference type of the inference model.
  • Both the identification information and the inference type can be used to identify the inference model.
  • the model entity can send model processing information indicating the model processing used by the inference model to the data entity. Furthermore, the data entity can send the first network data set corresponding to the model processing to the model entity, for example , if the model processing information indicates that the inference model is used for model inference, then the data entity can return the network data set used for model inference to the model entity, thereby further reducing the transmission overhead.
  • the correspondence information also indicates a correspondence between the data description information and the model processing used by the inference model.
  • a data transmission method which method can be executed by a model entity or a chip in the model entity.
  • the method includes: the model entity generates or obtains data processing method information, and the data processing method information indication indicates at least one A data processing method, the at least one data processing method is used to perform data processing on the network data set; the model entity sends the data processing method information to the data entity; the model entity sends data query information to the data entity, and the data query The information is used to request a network data set corresponding to the inference model; the model entity receives a first network data set from the data entity in response to the data query information, the first network data set is generated based on the at least one data processing method .
  • the model entity sends the first request to the data entity.
  • Requesting information the first request information requests deletion of information on the correspondence between the inference model and the data description information.
  • the at least one data processing method includes at least one of the following: missing data processing, deduplication processing, filtering processing, merging processing, or quantification processing.
  • the model information includes at least one of the following information: identification information of the inference model and inference type of the inference model.
  • the data query information includes model processing information
  • the model processing information indicates that the inference model is used to perform at least one of the following model processing: model training, model inference , model evaluation or model testing.
  • the transceiver module is also configured to receive data processing method information from the model entity, where the data processing method information indicates at least one data processing method, and the at least one A data processing method is used to perform data processing on the network data set; the processing module is used to use one or more of the at least one data processing method to perform data processing on the second network data set.
  • the transceiver module is also configured to receive first request information from the model entity, where the first request information requests the data entity to delete the inference model and data description. Correspondence information of information.
  • the transceiver module is also configured to receive second request information from the model entity, the second request information requests the data entity to delete the at least one data processing method information.
  • the various implementations of the seventh aspect are devices of data entities corresponding to the various implementations of the first aspect.
  • the beneficial technical effects of the various implementations of the seventh aspect please refer to the description of the relevant implementations of the first aspect. , will not be described in detail here.
  • a data transmission device in an eighth aspect, includes a transceiver module and a processing module.
  • the processing module is used to generate or obtain correspondence information.
  • the correspondence information indicates the correspondence between the inference model and the data description information;
  • the module is used to send the corresponding relationship information to the data entity;
  • the transceiver module is also used to send the data entity Send model information corresponding to the inference model;
  • the transceiver module is also used to receive a first network data set corresponding to the data description information from the data entity, and the first network data set is used to perform model processing on the inference model.
  • the model information includes at least one of the following information: identification information of the inference model and inference type of the inference model.
  • the transceiver module is further configured to send data processing method information to the data entity, where the data processing method information indicates at least one data processing method, and the at least one Data processing methods are used to perform data processing on network data sets.
  • the at least one data processing method includes at least one of the following: missing data processing, deduplication processing, filtering processing, merging processing, or quantification processing.
  • the correspondence information also indicates the correspondence between the data description information and the model processing information.
  • the transceiver module is also configured to send first request information to the data entity, where the first request information requests the data entity to delete the inference model and data description information. Correspondence information.
  • the transceiver module is further configured to send second request information to the data entity, the second request information requesting deletion of the information of the at least one data processing method.
  • the various implementations of the eighth aspect are devices of model entities corresponding to the various implementations of the second aspect.
  • the beneficial technical effects of the various implementations of the eighth aspect please refer to the description of the relevant implementations of the second aspect. , will not be described in detail here.
  • a ninth aspect provides a device for transmitting data, the device having the function of implementing the method in the fourth aspect, or any possible implementation of the fourth aspect.
  • the functions described can be implemented by hardware, or can be implemented by hardware executing corresponding software.
  • the hardware or software includes one or more units corresponding to the above functions.
  • a tenth aspect provides a device for transmitting data, the device having the function of implementing the method in the fifth aspect, or any possible implementation of the fifth aspect.
  • the functions described can be implemented by hardware, or can be implemented by hardware executing corresponding software.
  • the hardware or software includes one or more units corresponding to the above functions.
  • a communication device which may include a processing module, a sending unit and a receiving unit.
  • the sending unit and the receiving unit may also be transceiver modules.
  • the processing module may be a processor, and the sending unit and receiving unit may be a transceiver; the device may also include a storage unit, which may be a memory; the storage unit is used to store instructions, The processing module executes instructions stored in the storage unit, so that the data entity executes any method in the first aspect or the fourth aspect.
  • the processing module may be a processor, and the The sending unit and the receiving unit may be input/output interfaces, pins or circuits, etc.; the processing module executes instructions stored in the storage unit, so that the chip executes any method in the first aspect or the fourth aspect.
  • the storage unit is used to store instructions.
  • the storage unit can be a storage unit within the chip (for example, a register, a cache, etc.), or it can be a storage unit within the data entity located outside the chip (for example, a read-only memory, a cache, etc.). random access memory, etc.).
  • the processing module may be a processor, and the sending unit and receiving unit may be transceivers; the device may also include a storage unit, which may be a memory; the storage unit is used to store instructions, The processing module executes instructions stored in the storage unit, so that the model entity executes any method in the second aspect or the fifth aspect.
  • the processing module can be a processor, and the sending unit and receiving unit can be input/output interfaces, pins or circuits, etc.; the processing module executes instructions stored in the storage unit to The chip is caused to perform any method in the second aspect or the fifth aspect.
  • the storage unit is used to store instructions.
  • the storage unit can be a storage unit within the chip (for example, a register, a cache, etc.), or it can be a storage unit outside the chip within the model entity (for example, a read-only memory, a cache, etc.) random access memory, etc.).
  • a communication device including a processor and an interface circuit.
  • the interface circuit is used to receive signals from other communication devices other than the communication device and transmit them to the processor or to transfer signals from the processor.
  • the processor implements any method in the foregoing first to sixth aspects through logic circuits or execution code instructions.
  • a computer-readable storage medium In a thirteenth aspect, a computer-readable storage medium is provided. Computer programs or instructions are stored in the computer-readable storage medium. When the computer program or instructions are executed, the above-described first to sixth aspects are implemented. Either way.
  • a fourteenth aspect provides a computer program product containing instructions that, when executed, implement any one of the methods from the first to sixth aspects.
  • a fifteenth aspect provides a computer program.
  • the computer program includes codes or instructions. When the codes or instructions are executed, any one of the methods of the first to sixth aspects is implemented.
  • a communication system in a seventeenth aspect, includes the device described in any one of the seventh or eighth aspects, or the system includes the device described in any one of the ninth or tenth aspects.
  • Figure 1 is a schematic diagram of a system suitable for data transmission provided by an embodiment of the present application
  • Figure 2 is a schematic flow chart of a data transmission method provided by an embodiment of the present application.
  • Figure 3 is a schematic flow chart of an example of a data transmission method during model training provided by the embodiment of the present application
  • Figure 6 is a schematic flow chart of an example of a data transmission method in the model reasoning process provided by the embodiment of the present application.
  • Figure 7 is a schematic flow chart of an example of a data transmission method in the model evaluation process provided by the embodiment of the present application.
  • Figure 8 is a schematic flow chart of a data transmission method during model testing provided by the embodiment of the present application.
  • Figure 9 is a schematic flow chart of another data transmission method provided by an embodiment of the present application.
  • Figures 10 and 11 are schematic structural diagrams of possible communication devices provided by embodiments of the present application.
  • LTE long term evolution
  • LTE-A long term evolution advanced
  • enhanced long term evolution enhanced long term evolution
  • eLTE long term evolution
  • 5G 5th Generation
  • WiFi wireless-fidelity
  • WIMAX global interoperability for microwave access
  • 3gpp 3rd generation partnership project
  • Inference model (can also be referred to as model for short): a function learned from data that can implement specific functions/mappings.
  • the model can be obtained based on artificial intelligence (AI) or machine learning (ML) technology. Therefore, it can also be called artificial intelligence/AI model, machine learning/ML model, etc.
  • AI/ML models Commonly used algorithms for generating AI/ML models include: supervised learning, unsupervised learning, and reinforcement learning.
  • the corresponding models can be called supervised learning models, unsupervised learning models, and reinforcement learning models.
  • the supervised learning model can be a classification model, a prediction model, a regression model, etc.
  • the unsupervised learning model can be a clustering model.
  • models can also be obtained based on neural network (NN) technology, which can also be called neural network models, deep learning models, etc.
  • NN neural network
  • Inference type Used to describe the type of inference used by the inference model.
  • the inference type can be coverage problem analysis, fault prediction, energy saving analysis, mobile performance analysis, business experience analysis or cell traffic prediction, etc.
  • Model training Use training data to train to obtain a usable model.
  • Model inference Perform inference or prediction based on the model and generate inference results. Additionally, model reasoning entities can be used for model reasoning.
  • Model evaluation Evaluate whether the performance of the model running in the model inference entity meets the requirements.
  • Figure 1 is a schematic structural diagram of a communication system applicable to the embodiment of the present application. First, the devices that may be involved in the communication system are described.
  • Model management entity 110 used to manage the model during the life cycle.
  • Model reasoning entity 120 used for reasoning, prediction or calculation based on the model, and generating reasoning results. Model inference entities can serve as consumers of model training services.
  • the model inference entity 120 can be deployed in the EMS.
  • the model inference entity 120 can be deployed in the management data analytics function (MDAF) in the EMS, and then the model inference entity 120 is generated.
  • MDAF management data analytics function
  • the inference results can assist MDAF in management data analysis.
  • the model reasoning entity 120 may be deployed in the RAN device.
  • the model inference entity 120 can be deployed in the core network element, such as a network data analytics function (NWDAF) network element.
  • NWDAAF network data analytics function
  • the model evaluation entity 140 can be deployed in the EMS.
  • the model evaluation entity 140 can be deployed in the MDAF network element in the EMS, or the model evaluation entity 140 can be used as an independent functional network element in the EMS.
  • the model evaluation entity 140 may be deployed in the EMS, and the model evaluation entity 140 may also be deployed in the RAN device.
  • the model evaluation entity 140 can be deployed in the EMS, and the model evaluation entity 140 can also be deployed in the core network element, such as the NWDAF network element.
  • the model testing entity 150 can be deployed in the EMS.
  • the model testing entity 150 can be deployed in the MDAF network element in the EMS, or the model testing entity 150 can be used as an independent functional network element in the EMS.
  • the model testing entity 150 can be deployed in the EMS, and the model testing entity 150 can also be deployed in the RAN equipment.
  • the model testing entity 150 can be deployed in the EMS, or the model testing entity 150 can also be deployed in the core network element, such as the NWDAF network element.
  • the model testing entity 150 may be deployed jointly with the model reasoning entity 120 , or the model testing entity 150 may be a functional entity in the model reasoning entity 120 .
  • Data management entity 160 used to collect and manage network data and provide data query services.
  • Network device 170 used to provide network data.
  • the solution of this application can be applied to other systems including corresponding entities, and this application does not limit it.
  • the above-mentioned entities or functions may be network elements in hardware devices, software functions running on dedicated hardware, or virtualized functions instantiated on a platform (for example, a cloud platform).
  • the above entity or function can be implemented by one device, or can be implemented by multiple devices together, or can be a functional module in one device, which is not specifically limited in the embodiments of this application.
  • the model management entity 110 and the model training entity 130 may be different functional models within one device.
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • the correspondence information may include a mapping relationship between the identification information of the inference model and the data description information, or the correspondence information may include a mapping relationship between the inference type of the inference model and the data description information.
  • the identification information of the inference model and the inference type of the inference model may be information generated or obtained by the model entity to identify the inference model, and the data description information may include at least one data field used to describe network data.
  • the inference type of the inference model is a QoE prediction model.
  • the data description information corresponding to the inference model may include the following data fields: At least one item: serving cell identity, user uplink physical resource block (PRB) utilization, user downlink PRB utilization, user uplink packet data convergence protocol (PDCP) byte count, user downlink Number of PDCP bytes, cell identification, uplink average PRB utilization, downlink average PRB utilization, uplink average PDCP bytes, downlink average PDCP bytes, reference signal received power (RSRP), reference signal reception Quality (reference signal received quality, RSRQ), signal to interference plus noise ratio (SINR).
  • the correspondence information may be a mapping relationship between the identification of the inference model and the above data field, or the correspondence information may be a mapping relationship between the inference type of the inference model and the above data field.
  • the identification information or inference type of the inference model is used to establish an index of the inference model and the data field list.
  • the specific form can be related to the way the model entity generates or obtains the correspondence information.
  • the model entity can obtain the correspondence information from the model file of the inference model, or the model entity can also generate the correspondence information corresponding to the inference model during the running process. data fields, and then generate the corresponding relationship information, which is not specifically limited in this application.
  • the data description information corresponding to different model processing can be the same or different.
  • the 12 data fields corresponding to the first inference model all 12 data fields of the 12 data fields need to be used during the model training process.
  • the network data corresponding to the first 11 data fields among the 12 data fields needs to be used during the model inference process.
  • the first network data set returned by the data entity only includes The network data corresponding to the first 11 data fields can reduce the transmission overhead of data query during the model inference process.
  • the correspondence information may directly indicate the correspondence between the data description information and the model processing.
  • the correspondence information may include sequentially sorted data fields and indicate which data field each model processing corresponds to.
  • the correspondence information indirectly indicates the correspondence between the data description information and the model processing.
  • the at least one data field is sent according to the preconfigured sorting rule, and then the data entity can be determined based on the sorting of the data field and the sorting rule. Correspondence between data fields and types processed by the model. This application does not specifically limit the form of the correspondence information.
  • model processing type and the data description information can also be pre-configured in the data entity.
  • the data entity can be pre-configured with a certain model processing type that does not use a certain type of network data.
  • the model information can be used to instruct the data entity to return the network data set corresponding to the data description information.
  • the model entity sends a data query message to the data entity.
  • the data query message includes the model information.
  • the data query message can be used to request the data entity to return a network data set.
  • the model entity may also indicate to the data entity the model processing used by the inference model. That is, the method may also include step S230.
  • the model entity sends model processing information to the data entity, and correspondingly, the data entity receives the model processing information from the model entity.
  • the model processing information indicates that the inference model is used to perform at least one of the following processes: model training, model inference, model evaluation, or model testing.
  • the model processing information and model information can be carried in one or more messages, or one or more cells in the same message.
  • the model processing information and model information can be carried in the network data returned by the request data entity. in the data query message of the data set.
  • the data query message may also include characteristic information of the requested network data set, such as time period information corresponding to the network data set.
  • the data entity sends the first network data set corresponding to the data description information to the model entity based on the model information and the corresponding relationship information.
  • the model entity receives the first network data set from the data entity.
  • the first network data set is used for model processing of the inference model.
  • the first network data set may include network data corresponding to the data description information, so that the model entity can use the network data to perform model processing on the inference model.
  • the data entity may determine the data description information corresponding to the first network data set requested by the model entity based on the model information and the corresponding relationship information, or the data entity may determine the first network requested by the model entity based on the model information, model processing information, and corresponding relationship information.
  • Data description information corresponding to the data set Therefore, the data entity can request data from the network device based on the data description information, or generate a first network data set corresponding to the data description information from the data obtained by the network device, or generate a first network data set corresponding to the data description information from the data stored locally by the data entity.
  • the first network data set, or network data corresponding to a part of the data description information is obtained from the network device, and network data corresponding to another part of the data description information is obtained from locally stored data.
  • This application is not particularly limited in this application.
  • the data entity can perform data processing on the original data set obtained from the network device and/or the local storage space to generate the first network data set.
  • the original data set It can be called the second network data set.
  • the data processing method adopted by the data entity can be used to make the quality of the generated first network data set higher than that of the second network data set, and/or, the data processing method can be used to make the data of the generated first network data set The amount is smaller than the second network data set.
  • the data processing method may include at least one of the following: missing data processing, deduplication processing, filtering processing, merging processing, or quantification processing.
  • missing data processing can refer to deleting data with missing values or the proportion of missing values in the total data higher than a certain threshold, and/or deleting data with missing values or the proportion of missing values in the total data higher than a certain threshold.
  • the deletion process can be simple deletion or weighted deletion, for example, the weighted coefficient of deletion is determined according to the importance of the data; the interpolation process can be mean interpolation, interpolation using similar means, maximum likelihood estimation interpolation, or multiple interpolation. This application does not specifically limit the method of making up for the same.
  • the deduplication process may refer to deleting duplicate data in the second network data set.
  • Filtering processing can refer to filtering and extracting the required data through comparison operations, range operations, null value matching, character matching, or logical matching.
  • the merging process may refer to merging data frames with the same structure in the second network data set into one data frame.
  • Quantitative processing may refer to processing the data in the second network data set by de-extreme values, standardization or neutralization.
  • the data entity can process the second network data set using any one of the above data processing methods or a combination of multiple data processing methods.
  • the data processing methods of the network data corresponding to different data fields in the second network data set may be the same or different, for example, merging the network data corresponding to the RSRP, performing confirmation data processing on the serving cell identifier, etc.
  • performing data processing on the second network data set may include: performing one or more data processes on the network data corresponding to one or more data fields, and processing the network data corresponding to the multiple data fields. Considered as a whole to perform one or more data processing, this application does not specifically limit this.
  • Data processing methods can be related to data fields, that is, the data processing methods corresponding to different data fields can be the same. Or different; the data processing method can also be related to the inference model, that is, the data processing methods for the same data field corresponding to different inference models can also be the same or different.
  • the data entity can pre-configure the data processing method.
  • the data entity can pre-configure the data processing method and the list of data fields.
  • the model entity may indicate the data processing method to the data entity.
  • the method may further include step S250.
  • the model entity sends data processing method information to the data entity, and correspondingly, the data entity receives the data processing method information from the model entity.
  • the data processing method information indicates the at least one data processing method.
  • a description of the data processing method please refer to the description of step S240, which will not be described again here.
  • the data processing method information and the correspondence information in step S210 can be combined into one piece of information.
  • the information includes a list corresponding to model information, data description information, and data processing method information.
  • the identification of the inference model corresponds to at least one data field, and the identification of the inference model also corresponds to at least one data processing method, or The data fields also correspond to at least one data processing method.
  • the model entity can carry the data processing method information in the data query message requesting network data.
  • the model entity can configure the data processing method information to the data entity before requesting network data.
  • the model entity requests network data, it can also determine whether the data processing method needs to be adjusted based on actual needs. If it is determined that the data processing method needs to be adjusted, Then the data query message can carry the adjusted data processing method information.
  • the data processing method information includes the adjusted corresponding parameters, so that the data entity can perform data processing based on the adjusted data processing method information when processing data. This improves the reliability of network data.
  • the model entity can request the network data set by sending model information to the data entity, which reduces the signaling overhead occupied by requesting the network data set.
  • the data entity can return the processed network data set to the model entity based on the data processing method information, which reduces the signaling overhead of returning the network data set and/or improves the efficiency of the network data set. The quality of the returned network dataset.
  • the model entity can Perform deconfiguration processing for the corresponding relationship information.
  • the model entity can also deconfigure the data entity for the data processing method information, thereby saving the memory of the data entity. The following will be described in conjunction with step S260 and step S270.
  • the model entity sends the first request information to the data entity, and correspondingly, the data entity receives the first request information from the model entity.
  • the first request information requests the data entity to delete the information on the correspondence between the inference model and the data description information.
  • the data entity can delete the information on the correspondence between the inference model and the data description information based on the first request information.
  • the model entity sends second request information to the data entity, and correspondingly, the data entity receives the second request information from the model entity.
  • the second request information requests the data entity to delete the information of the at least one data processing method.
  • the data entity can delete the information of the at least one data processing method based on the second request information.
  • first request information and the second request information can be two pieces of information sent separately, or they can be combined into one request information.
  • the information on the corresponding relationship between the data entity deletion and the information on the deletion data processing method can be deleted separately.
  • the two pieces of information, or the merged information with the two pieces of information deleted, are not specifically limited in this application.
  • the model management entity may request to delete the information of the corresponding relationship but not delete the information of the data processing method, or may request not to delete the information of the corresponding relationship but delete the information of the data processing method.
  • the correspondence information indicates the correspondence between the identification of the inference model and the data field.
  • the model entity can request to delete the correspondence.
  • the data processing method indicated by the data processing method information corresponds to the data field, and
  • the model entity running other inference models may also need to request the network data corresponding to the data field, so the model entity does not need to request to delete the information of the data processing method, thereby saving transmission overhead.
  • the data entity receives the correspondence information from the model entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data entity can index based on the model information corresponding to the inference model and the correspondence information. to the first network data set corresponding to the data description information. Furthermore, every time the model entity needs to obtain the network data set, the model entity can obtain it by sending the model information corresponding to the inference model to the data entity, which can reduce transmission overhead.
  • This model deployment message is used to deploy the inference model.
  • the model deployment message may carry at least one of the following information: the inference type of the inference model, the identification information of the inference model, and the model address of the inference model.
  • the inference type and identification information can be used to mark the inference model.
  • the model management entity can obtain the inference type or identification information from the model file of the inference model.
  • the model management entity can also obtain the inference type or identification information from other entities, such as the model market, model training entity or
  • the inference type or identification information of the inference model is obtained from the entity where the model training platform exists.
  • the model management entity can also obtain the inference type of the inference model from the model file or other entities, and assign a model identifier to the inference model based on the inference type.
  • the model address of the inference model is the address where the inference model is stored, such as a uniform resource locator (URL) or Internet protocol (IP) address.
  • URL uniform resource locator
  • IP Internet protocol
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • description of the correspondence information please refer to the description of step S210, which will not be described again here.
  • the model management entity may send a hypertext transfer protocol (HTTP) request message to the data management entity, and the HTTP request message carries the corresponding relationship information.
  • HTTP hypertext transfer protocol
  • the pair The response information may be carried in the URL in the HTTP request message, or in the header field of the HTTP request message, or in the message body of the HTTP request message.
  • the data processing method information indicates at least one data processing method.
  • a description of the data processing method information please refer to the description of step S250, which will not be described again here.
  • the data processing method information can be generated based on the data processing method used in the initial training of the inference model.
  • the model training entity can be based on the inference type of the inference model, the model structure, the available data distribution and One or more information in the data volume and expert experience determines the data processing method, and the data processing method is saved in the model file as the description information of the inference model, so that the model management entity can obtain the data processing method from the model file, Or the model training entity instructs the model management entity the data processing method.
  • the method for indicating the data processing method information may be to use all or part of the data processing methods during training.
  • the data management entity may select a method that can reduce the amount of data to generate the data processing method information, which is not specifically limited in this application.
  • the notification message may include identification information of the inference model.
  • the model inference entity sends a training request message to the model training entity.
  • the model training entity receives the training request message from the model inference entity.
  • the model training entity may determine to perform model training on the inference model, and this method may be implemented through step S351c.
  • model training entity determines to train the inference model may be similar to the way in which the model inference entity determines to train the inference model.
  • step S351a For its description, please refer to the description in step S351a, which will not be described again here.
  • the model inference entity can be executed once Step S351a determines that the inference model is to be trained multiple times in a period, and step S352a can be executed once to request the model training entity to train the inference model multiple times in a period, or step S352a can be executed multiple times in a period to request the model training entity to train the inference model. .
  • the data query message may also include the adjusted data processing method information, or parameters corresponding to the adjusted data processing method information, For example, the data processing method of the data management entity includes directly deleting rows with a missing value ratio exceeding a preset threshold, such as 80%.
  • the data query message may include adjusted data processing. Method information, such as adjusting the preset threshold to 90%.
  • the model processing information indicates that the inference model is used for model training.
  • the content of the model processing information please refer to the description of step S230, which will not be described again here.
  • the first network data set is used for model training of the inference model.
  • step S380 please refer to the description of step S240, which will not be described again here.
  • the model training entity performs model training on the inference model based on the first network data set.
  • the model training entity may train the inference model based on the first network data set.
  • the model training entity can perform data processing on the first network data set, construct a training set, and train the inference model based on the training set.
  • steps S360 to S390 can also be executed multiple times.
  • the model training entity can request network data from the data management entity by sending model information, which avoids sending data fields that occupy a large amount of transmission overhead to the data management entity multiple times, thereby reducing transmission overhead.
  • the model training entity sends a training completion notification message to the model management entity and/or the model inference entity.
  • the model management entity and/or the model inference entity receives the training completion notification message from the model training entity.
  • the training completion notification message may notify the model management entity and/or the model inference entity that the inference model has completed training.
  • the training completion notification message may carry identification information of the inference model.
  • the model management entity sends the first request information to the data management entity, and correspondingly, the data management entity receives the first request information from the model management entity.
  • the first request information requests the data management entity to delete information about the correspondence between the inference model and the data description information. interest.
  • the model management entity sends second request information to the data management entity, and correspondingly, the data management entity receives the second request information from the model management entity.
  • the second request information requests the data entity to delete the information of the at least one data processing method.
  • the data management entity receives correspondence information from the model management entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data management entity can use the model information corresponding to the inference model and the correspondence
  • the relationship information is indexed to the first network data set corresponding to the data description information.
  • the model training entity performs at least one model training on the inference model, it can obtain it by sending the model information corresponding to the inference model to the data management entity.
  • Network data sets can reduce transmission overhead.
  • Figure 5 is a schematic flow chart of another method of data transmission during model training.
  • the model training entity obtains model information of the inference model.
  • the model management entity sends a model deployment message to the model inference entity, and correspondingly, the model inference entity receives the model deployment message from the model management entity.
  • the model inference entity sends a training request message to the model training entity.
  • the model training entity receives the training request message from the model inference entity.
  • the training request message is used to request the model training entity to train the inference model, and the training request message includes the model information.
  • the model training entity learns that the inference model has model training requirements through the model deployment notification message and/or the training request message, and can configure the corresponding relationship information of the inference model to the data management entity.
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • description of the correspondence information please refer to the description of step S210, which will not be described again here.
  • the model training entity may send the correspondence information to the data management entity when requesting the network data set from the data management entity for the first time.
  • the model training entity when initially training the inference model, the model training entity sends the data collection request message to the data management entity.
  • the data collection request message carries the correspondence information, and the data management entity returns the data collection request message to the model training entity.
  • the requested network data set is stored, and the corresponding relationship information in the message is stored.
  • the model training entity can perform initial training based on the network data set.
  • the data training entity completes the initial training of the inference model and sends a training completion notification message to the model management entity and/or the model inference entity.
  • the training completion notification message may include at least one of the following information: the inference model's Identification information, the inference type of the inference model, and the model address of the inference model.
  • the training completion notification message is used to notify the model management entity and/or the model inference entity that the inference model has completed the initial training, thereby, the model management entity and/or the model inference entity
  • the entity later needs to request network data for the inference model it can request network data by sending model information to the data management entity to save signaling overhead.
  • the model training entity sends data processing method information to the data management entity, and correspondingly, the data management entity receives the data processing method information from the model training entity.
  • the model training entity may send a data processing configuration message to the data management entity.
  • the data processing configuration message includes the data processing method information.
  • the data processing configuration message is used to request the data management entity to store the data management entity.
  • the model training entity may send the data processing configuration message to the data management entity before initial training of the inference model. For example, after receiving the model deployment notification message from the model management entity, the model training entity generates the data processing method information based on the model deployment notification message.
  • the model training entity may send the data processing configuration message to the data management entity after initial training of the inference model.
  • the data processing method information can be generated based on the experience during the initial training process, thereby improving the reliability of data processing.
  • step S350 For a description of determining to retrain the inference model, reference may be made to the description of step S350, which will not be described again here.
  • the model training entity sends model information to the data management entity.
  • the data management entity receives model information from the model training entity.
  • the model information can be used to instruct the data management entity to return the network data set corresponding to the data description information. Or the model entity sends a data query message to the data entity.
  • the data query message includes the model information.
  • the data query message can be used to request the data entity to return a network data set.
  • model information please refer to step S220 and step The description of S360 will not be repeated here.
  • the model training entity sends model processing information to the data management entity.
  • the data management entity receives the model processing information from the model training entity.
  • the model processing information indicates that the inference model is used for model training.
  • the content of the model processing information please refer to the description of step S230 and step S370, which will not be described again here.
  • the data management entity sends the first network data set corresponding to the data description information to the model training entity based on the model information and the correspondence information.
  • the model training entity receives the first network data set from the data management entity.
  • the first network data set is used for model training of the inference model.
  • step S570 please refer to the description of steps S240 and S380, which will not be described again here.
  • the model training entity performs model training on the inference model based on the first network data set.
  • step S580 For the content of step S580, please refer to the description of step S390, which will not be described again here.
  • the model training entity sends a training completion notification message to the model inference entity and/or the model management entity.
  • the model inference entity and/or the model management entity receives the training completion notification message from the model training entity.
  • the training completion notification message may notify the model inference entity and/or the model management entity that the inference model has completed training.
  • the training completion notification message may carry identification information of the inference model.
  • the model management entity sends the first request information to the data management entity, and correspondingly, the data management entity receives the first request information from the model management entity.
  • the first request information requests the data management entity to delete the information on the correspondence between the inference model and the data description information.
  • step S5100 please refer to the description of step S3110, which will not be described again here.
  • the model management entity sends second request information to the data management entity, and correspondingly, the data management entity receives the second request information from the model management entity.
  • the second request information requests the data entity to delete information on at least one data processing method.
  • step S5110 please refer to the description of step S3120, which will not be described again here.
  • the data management entity receives the correspondence information from the model training entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data management entity can be based on the model information corresponding to the inference model and the correspondence.
  • the relationship information is indexed to the first network data set corresponding to the data description information.
  • the model training entity performs at least one model training on the inference model, it can obtain it by sending the model information corresponding to the inference model to the data management entity.
  • Network data sets can reduce transmission overhead.
  • model training entity can generate the correspondence information based on its own expert experience, which can improve the reliability of the correspondence information.
  • model training entity can also generate data processing method information based on its own data processing capabilities (such as computing power, storage capabilities, etc.), prior knowledge, etc. That is, the model training entity integrates various information to determine the data executed by the data management entity. The processing method and/or the processing parameters corresponding to data processing improve the reliability of data processing.
  • Figure 6 is a schematic flow chart of a method of data transmission during model reasoning provided by an embodiment of the present application.
  • S610 The model management entity or the model training entity generates or obtains correspondence information, and sends the correspondence information to the data management entity. Correspondingly, the data management entity receives the correspondence information.
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • the way in which the model management entity or the model training entity generates the correspondence information can refer to the description of steps S210, S320 and S520, which will not be described again here.
  • S620, the model management entity or the model training entity generates data processing method information and sends the data processing method information to the data management entity.
  • the data management entity receives the data processing method information.
  • the data processing method information indicates at least one data processing method.
  • the way in which the model management entity or the model training entity generates the data processing method information can refer to the description of steps S250, S330 and S530, which will not be described again here.
  • the model inference entity determines to perform model inference on the inference model.
  • the model management entity may send a model deployment message to the model inference entity, where the model deployment message is used to deploy the inference model.
  • the model deployment message may carry at least one of the following information: the inference type of the inference model, the identification information of the inference model, and the model address of the inference model. Therefore, the model inference entity can determine to perform model inference on the inference model based on the model deployment message.
  • the model inference entity sends model information to the data management entity.
  • the data management entity receives model information from the model inference entity.
  • the data management entity sends the first network data set corresponding to the data description information to the model inference entity based on the model information and the correspondence information.
  • the model inference entity receives the first network data set from the data management entity.
  • the model inference entity uses the network data included in the first network data set to perform model inference on the inference model.
  • the data management entity receives the correspondence information from the model training entity or the model management entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data management entity can create a model corresponding to the inference model based on the correspondence information.
  • the information and the correspondence information are indexed to the first network data set corresponding to the data description information.
  • the model inference entity performs model inference on the inference model, it can send the model information corresponding to the inference model to the data management entity. Obtaining network data sets can reduce transmission overhead.
  • Figure 7 is a schematic flow chart of a method of data transmission during model evaluation provided by an embodiment of the present application.
  • the model management entity or the model training entity generates or obtains the correspondence information, and sends the correspondence information to the data management entity.
  • the data management entity receives the correspondence information.
  • S720 The model management entity or the model training entity generates or obtains data processing method information, and sends the data processing method information to the data management entity. Correspondingly, the data management entity receives the data processing method information.
  • the data processing method information indicates at least one data processing method.
  • the way in which the model management entity or the model training entity generates the data processing method information can refer to the description of steps S250, S330 and S530, which will not be described again here.
  • the model evaluation entity determines to perform model evaluation on the inference model.
  • the model evaluation entity can perform model evaluation on the inference model with a pre-configured period or timing, or the model inference entity can send an evaluation request message to the model evaluation entity, and the evaluation request message is used to request the model evaluation entity to perform model evaluation on the inference model. Evaluation, whereby the model evaluation entity can request network data to test the inference model and determine whether the performance of the inference model can operate reliably or whether the inference model needs to be retrained.
  • the model information may be used to instruct the data management entity to return the network data set of data description information.
  • the model evaluation entity sends a data query message to the data management entity.
  • the data query message includes the model information.
  • the data query message can be used to request the data management entity to return the network data set.
  • For the content of the model information please refer to the description of step S220, which will not be described again here.
  • the model evaluation entity sends model processing information to the data management entity.
  • the data management entity receives the model processing information from the model evaluation entity.
  • the model processing information indicates which inference model is used for model evaluation. Regarding the content of the model processing information, please refer to the description of step S230, which will not be described again here.
  • the data management entity sends the first network data set corresponding to the data description information to the model evaluation entity based on the model information and the correspondence information.
  • the model evaluation entity receives the first network data set from the data management entity.
  • This first network dataset is used for model evaluation of the inference model.
  • step S760 please refer to the description of step S240, which will not be described again here.
  • the model evaluation entity performs model evaluation on the inference model.
  • the model evaluation entity performs model evaluation on the inference model using network data included in the first network data set.
  • the first request information may also be sent to the data management entity, requesting the data management entity to delete the information on the correspondence between the inference model and the data description information, and/or send the second request information, Information requesting the data management entity to delete at least one data processing method.
  • the model evaluation entity can also send a notification message to other entities, such as the model management entity. The notification message is used to notify the end of the inference model evaluation, so that the model management entity can send the first request information and/or the second request information to the data management entity.
  • the notification message is used to notify the end of the inference model evaluation, so that the model management entity can send the first request information and/or the second request information to the data management entity.
  • the data management entity receives corresponding relationship information from the model training entity or the model management entity, The correspondence between the inference model and the data description information is learned according to the correspondence information, and then the data management entity can index to the first network data set corresponding to the data description information based on the model information corresponding to the inference model and the correspondence information, and further, When performing model evaluation on the inference model, the model evaluation entity can obtain the network data set by sending model information corresponding to the inference model to the data management entity, which can reduce transmission overhead.
  • Figure 8 is a schematic flow chart of a method of data transmission during model testing provided by an embodiment of the present application.
  • the model management entity or the model training entity generates or obtains correspondence information, and sends the correspondence information to the data management entity.
  • the data management entity receives the correspondence information.
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • the way in which the model management entity or the model training entity generates or obtains the corresponding relationship information can refer to the description of steps S210, S320 and S520, which will not be described again here.
  • the model management entity or the model training entity generates or obtains data processing method information, and sends the data processing method information to the data management entity.
  • the data management entity receives the data processing method information.
  • the data processing method information indicates at least one data processing method.
  • the way in which the model management entity or the model training entity generates or obtains the data processing method information can refer to the description of steps S250, S330 and S530, which will not be described again here.
  • the model testing entity determines to perform model testing on the inference model.
  • the model testing entity may be an independent entity used for model testing, or the model testing entity may be other model entities, such as a functional module in a model training entity or a model management entity, which is not specifically limited in this application.
  • the model testing entity can perform model testing on the inference model with a pre-configured cycle or timing, or the model management entity can send a test request message to the model testing entity before sending the model deployment message, or the model inference entity can run the inference model before A test request message can be sent to the model testing entity, or the model training entity can send a test request message to the model testing entity after completing the model training of the inference model.
  • the test request message is used to request the model testing entity to test the inference model. Therefore, the model testing entity can request network data to test the inference model and determine whether the performance of the inference model meets expectations.
  • the model information may be used to instruct the data management entity to return the network data set of data description information.
  • the model testing entity sends a data query message to the data management entity.
  • the data query message includes the model information.
  • the data query message can be used to request the data management entity to return the network data set.
  • For the content of the model information please refer to the description of step S220, which will not be described again here.
  • the model testing entity sends model processing information to the data management entity.
  • the data management entity receives the model processing information from the model testing entity.
  • This first network dataset is used for model testing of the inference model.
  • step S860 please refer to the description of step S240, which will not be described again here.
  • the model testing entity performs model testing on the inference model using network data included in the first network data set.
  • the model testing entity may also send the first request information to the data management entity, requesting the data management entity to delete the information on the correspondence between the inference model and the data description information, and/or send a second request.
  • the model testing entity can also send a notification message to other entities, such as the model management entity. The notification message is used to notify the end of the inference model test, so that the model management entity can send the first request information and/or the second request information to the data management entity.
  • the notification message is used to notify the end of the inference model test, so that the model management entity can send the first request information and/or the second request information to the data management entity.
  • the data management entity receives correspondence information from the model training entity or the model management entity, and obtains the correspondence between the inference model and the data description information based on the correspondence information, thereby performing model inference.
  • the corresponding model entity can be obtained by sending the model information corresponding to the inference model to the data management entity.
  • the network data set can reduce the transmission overhead in the direction of the model entity sending information to the data management entity.
  • This application also provides a data transmission method.
  • the model entity can provide a data processing method to the data entity, so that the data entity can process the network data requested by the model entity and return it, so that the quality of the returned network data can be improved. and/or the size of the data volume is reduced.
  • Figure 9 is a schematic flow chart of a data transmission method 900 provided by an embodiment of the present application.
  • the model entity sends data processing method information to the data entity.
  • the data entity receives the data processing method information from the model entity.
  • the data processing method information is generated or obtained by the model training entity.
  • the model training entity can pre-configure the data processing method information.
  • the model file of the inference model includes the data processing method information, and the model training entity can obtain the data processing method information from the model file.
  • the model training entity receives the data processing method information from other entities.
  • the model training entity generates the data processing method information based on its own expert experience or historical training data.
  • the model training entity is based on the network data set returned by the previous data entity. The properties of generate this data processing method information. This application does not specifically limit the way in which the model management entity generates, obtains or receives data processing method information.
  • the correspondence information indicates the correspondence between the inference model and the data description information.
  • the correspondence information can be generated or obtained by the model management entity or the model training entity.
  • description of the correspondence information please refer to the description of step S210 in Figure 2, step S310 in Figure 3, and step S510 in Figure 5, which will not be described again here. .
  • the data query information may include data description information corresponding to the requested network data set.
  • the data description information may be at least one data field.
  • data entities can request network data during various processes of model inference, such as model inference, model training, model evaluation, or model testing.
  • the data query information further includes model processing information
  • the model processing information indicates that the inference model is used to perform at least one of the following model processing: model training, model inference, model evaluation, or model testing.
  • model processing information please refer to the descriptions in step S230 in Fig. 2, step S370 in Fig. 3, step S530 in Fig. 5, step S650 in Fig. 6, step S750 in Fig. 7 and step S850 in Fig. 8. I won’t go into details here.
  • the data entity can obtain the second network data set according to the data description information in the data query information, or the data entity can obtain the second network data set according to the model information in the data query information, and process the second network data set according to the method indicated in the data processing method information.
  • the second network data set is processed to generate the first network data set.
  • the data processing method please refer to the descriptions in step S240 in Figure 2, step S380 in Figure 3, and step S570 in Figure 5, which will not be described again here.
  • the model entity sends the first request information to the data entity, and correspondingly, the data entity receives the first request information from the model entity.
  • the first request information requests the data entity to delete the corresponding relationship information.
  • the data entity can delete the corresponding relationship information based on the first request information.
  • the model entity sends second request information to the data entity, and correspondingly, the data entity receives the second request information from the model entity.
  • the second request information requests the data entity to delete the data processing method information.
  • the data entity can delete the data processing method information based on the second request information.
  • step S260 and step S270 in FIG. 2 For descriptions of the first request information and the second request information, reference may be made to the description in step S260 and step S270 in FIG. 2, which will not be described again here.
  • the data processing performed by the data entity based on the data processing method information can be used to make the quality of the generated first network data set higher than that of the second network data set, and/or, the data processing can be used to make the generated first network data set
  • the data volume of the data set is smaller than that of the second network data set, which can improve the quality of network data and/or reduce interface overhead.
  • FIG. 9 can also be implemented in a similar manner to FIGS. 3 to 8 , which will not be described again here.
  • Figures 10 and 11 are schematic structural diagrams of possible communication devices provided by embodiments of the present application. These communication devices can be used to implement the functions of the model authentication entity and the model management entity in the above method embodiments, and therefore can also achieve the beneficial effects of the above method embodiments.
  • the communication device may be a model authentication entity or a model management entity, or may be a module (such as a chip) applied in the model authentication entity or the model management entity.
  • the communication device 1000 includes a processing module 1010 and a transceiver module 1020 .
  • the communication device 1000 is used to implement the functions of the model entity in the above method embodiments shown in FIGS. 2 to 8 .
  • the communication device 1000 may include a module for implementing any function or operation of the model entity in the method embodiments shown in FIGS. 2 to 8 , and the module may be implemented in whole or in part through software, hardware, firmware or other Any combination can be achieved.
  • the transceiving module 1020 is used to receive correspondence information from the model entity, where the correspondence information indicates the inference model and data description. Correspondence of information; the transceiver module 1020 is also used to receive the model information corresponding to the inference model from the model entity; the processing module is used to send the data description information to the model entity based on the model information and the correspondence information
  • the corresponding first network data set is used to perform model processing on the inference model.
  • the data entity receives the correspondence information from the model entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data entity can index based on the model information corresponding to the inference model and the correspondence information. to the first network data set corresponding to the data description information. Furthermore, every time the model entity needs to obtain the network data set, the model entity can obtain the network data set by sending the model information corresponding to the inference model to the data entity. Reduce transmission overhead.
  • the processing module 1010 is used to generate or obtain correspondence information, which indicates the relationship between the inference model and the data description information.
  • the transceiver module is used to send the corresponding relationship information to the data entity;
  • the transceiver module 1020 is also used to send the model information corresponding to the inference model to the data entity;
  • the transceiver module 1020 is also used to receive data from the The first network data set corresponding to the data description information of the entity is used to perform model processing on the inference model.
  • the data entity receives the correspondence information from the model entity, and learns the correspondence between the inference model and the data description information based on the correspondence information, and then the data entity can index based on the model information corresponding to the inference model and the correspondence information. to the first network data set corresponding to the data description information, and then the model entity is When it is necessary to obtain a network data set, the model entity can obtain the network data set by sending model information corresponding to the inference model to the data entity, which can reduce transmission overhead.
  • the transceiver module 1020 receives data processing information from the model entity, and the data processing information indicates at least one data processing method; the transceiver module 1020 1020, is also used to receive data query information from the model entity, and the data query information is used to request the network data set corresponding to the inference model; the processing module 1010 is used to obtain the second network data set based on the data query message, and Perform data processing on the second network data set based on the data processing method information to generate a first network data set; the transceiver module 1020 is also used to send the first network data set to the model entity.
  • the data entity can obtain the second network data set based on the data query information, perform data processing on the second network data set and then return it to the model entity, which can improve the quality of network data and/or reduce the interface overhead.
  • the processing module 1010 is used to generate or obtain data processing method information, the data processing method information indicates at least one data processing method; send and receive Module 1020 is used to send the data processing method information to the data entity; the sending and receiving module 1020 is also used to send data query information to the data entity, and the data query information is used to request the network data set corresponding to the inference model; the sending and receiving module 1020 is also used to In response to receiving the first network data set from the data entity in response to the data query information, the first network data set is generated based on the data processing method information.
  • the data entity can obtain the second network data set based on the data query information, perform data processing on the second network data set and then return it to the model entity, which can improve the quality of network data and/or reduce the interface overhead.
  • the communication device 1100 includes a processor 1110 and an interface circuit 1120 .
  • the processor 1110 and the interface circuit 1120 are coupled to each other.
  • the interface circuit 1120 may be a transceiver or an input-output interface.
  • the communication device 1100 may also include a memory 1130 for storing instructions executed by the processor 1110 or input data required for the processor 1110 to run the instructions or data generated after the processor 1110 executes the instructions.
  • the processor 1110 is used to implement the functions of the above-mentioned processing module 1010
  • the interface circuit 1120 is used to implement the functions of the above-mentioned transceiver module 1020.
  • the data entity chip When the above communication device is a chip applied to a data entity, the data entity chip implements the functions of the data entity in the above method embodiment.
  • the data entity chip receives information from other modules in the data entity (such as radio frequency module or antenna), which is sent by the model entity to the data entity; or, the data entity sends information to other modules in the data entity (such as radio frequency module or antenna). ) sends information that is sent by the data entity to the model entity.
  • the processor in the embodiment of the present application can be a central processing module (Central Processing Unit, CPU), or other general-purpose processor, digital signal processor (Digital Signal Processor, DSP), or application specific integrated circuit. (Application Specific Integrated Circuit, ASIC), Field Programmable Gate Array (FPGA) or other programmable logic devices, transistor logic devices, hardware components or any combination thereof.
  • a general-purpose processor can be a microprocessor or any conventional processor.
  • the computer program product includes one or more computer programs or instructions.
  • the computer may be a general-purpose computer, a special-purpose computer, a computer network, a network device, a terminal device, or other programmable devices.
  • the computer program or instructions may be stored in or transmitted over a computer-readable storage medium.
  • instruction may include direct instructions and indirect instructions, and may also include explicit instructions and implicit instructions.
  • the information indicated by a certain piece of information (such as the correspondence information mentioned above) is called information to be indicated.
  • information to be indicated In the specific implementation process, there are many ways to indicate the information to be indicated.
  • direct indication can be The information to be indicated, such as the information to be indicated itself or the index of the information to be indicated, etc.
  • the information to be indicated may also be indirectly indicated by indicating other information, where there is an association relationship between the other information and the information to be indicated. It is also possible to indicate only a part of the information to be indicated, while other parts of the information to be indicated are known or agreed in advance.
  • the indication of specific information can also be achieved by means of a pre-agreed (for example, protocol stipulated) arrangement order of each piece of information, thereby reducing the indication overhead to a certain extent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据传输的方法和装置,其中该方法包括:数据实体接收来自模型实体的对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;数据实体接收来自模型实体的推理模型对应的模型信息;数据实体基于模型信息和对应关系信息向模型实体发送数据描述信息对应的第一网络数据集,该第一网络数据集用于对推理模型进行模型处理,从而模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取,能够降低传输开销。

Description

一种数据传输的方法、通信装置和通信系统
本申请要求于2022年6月15日提交中国国家知识产权局、申请号为202210672175.1、申请名称为“一种数据传输的方法、通信装置和通信系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信技术的领域,并且更具体地,涉及一种数据传输的方法、通信装置和通信系统。
背景技术
为了提高网络的智能化和自动化水平,推理模型,例如人工智能(artificial intelligence,AI)模型和机器学习(machine learning,ML)模型运用于越来越多的技术领域。用于处理推理模型的模型实体在获取或运行推理模型的过程中需要使用网络数据,然而,用于管理网络数据的数据实体通常不具有解析推理模型的能力。因此,模型实体向数据实体请求网络数据时,需要向数据实体提供网络数据的数据描述信息,例如,用于描述网络数据的数据字段。但是,网络数据的字段信息通常需要较多的比特,并且推理模型在运行过程中通常需要多次获取网络数据,从而会造成较高的传输开销。
发明内容
本申请提供了一种数据传输的方法和通信装置,能够降低传输开销。
第一方面,提供了一种数据传输的方法,该方法可以由数据实体或数据实体中的芯片执行,该方法包括:数据实体接受来自模型实体的对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;数据实体接收来自模型实体的推理模型对应的模型信息;数据实体基于模型信息和对应关系信息向模型实体发送数据描述信息对应的第一网络数据集,该第一网络数据集用于对推理模型进行模型处理。
数据实体可以存储该对应关系信息,或者说数据实体可以存储该对应关系信息指示的对应关系。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
可选地,该对应关系信息指示多个推理模型和多个数据描述信息的对应关系。从而,在某些场景中,例如有多个推理模型中存在对应重复的数据描述信息,或者存在对应重复的数据字段,该对应关系信息可以同时指示该多个推理模型与数据描述信息的对应关系,可以进一步减小传输开销。
结合第一方面,在第一方面的某些实现方式中,该模型信息包括以下信息中的至少一项:推理模型的标识信息、推理模型的推理类型。
该标识信息和推理类型均可以用于标识该推理模型。
基于本技术方案,数据实体可以基于该模型信息索引到推理模型,基于对应关系信息索引到数据描述信息,进而可以向模型实体返回数据描述信息对应的网络数据集,能够降低传输开销。
结合第一方面,在第一方面的某些实现方式中,该数据描述信息包括至少一个数据字段,第一网络数据集包括所述至少一个数据字段对应的网络数据。
该数据字段可以用于描述网络数据。
基于本技术方案,该对应关系信息可以描述推理模型和至少一个数据字段的对应关系,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取数据字段对应的网络数据,能够降低传输开销。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:数据实体基于模型信息和对应关系信息获取第二网络数据集;数据实体对第二网络数据集进行数据处理,以生成第一网络数据集。
可选地,数据实体基于模型信息和对应关系信息从网络设备接收该第二网络数据集;或者,数据实体基于模型信息和对应关系信息从本地存储介质中获取该第二网络数据集。
可以理解的是,该第二网络数据集可以是数据实体获取的原始数据。
该数据处理可以用于使得生成的第一网络数据集的质量高于第二网络数据集,和/或,该数据处理可以用于使得生成的第一网络数据集的数据量小于第二网络数据集。
基于本技术方案,数据实体可以基于推理模型的模型信息和对应关系信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
结合第一方面,在第一方面的某些实现方式中,该方法包括:数据实体接收来自模型实体的数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理;数据实体对第二网络数据集进行数据处理,包括:数据实体采用所述至少一种数据处理方法中的一种或多种对第二网络数据集进行数据处理。
基于本技术方案,数据实体可以从模型实体处获取数据处理的至少一种方法,并基于该方法对与推理模型相关的第二网络数据集进行数据处理,以生成第一网络数据集,提升数据的可靠性。
结合第一方面,在第一方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
基于本技术方案,数据实体可以采用多种能够提升数据质量和/或降低数据量的数据处理方式,提升网络数据的质量和/或降低接口的开销。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:数据实体接收来自模型实体的模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;该数据实体基于模型信息和对应关系信息向模型实体发送第一网络数据集,包括:数据实体基于该模型信息、该对应关系信息 和该模型处理信息向模型实体发送该第一网络数据集。
对于同一个推理模型,不同的模型处理可以对应的数据描述信息可以相同或者不同。或者说该第一网络数据集可以与推理模型用于进行的模型处理相关。
基于本技术方案,该模型实体可以将指示该推理模型用于进行的模型处理的模型处理信息发送给数据实体,进而,数据实体可以将模型处理对应的第一网络数据集发送给模型实体,例如,如果模型处理信息指示该推理模型用于模型推理,那么数据实体可以向模型实体返回用于模型推理的网络数据集,从而减少模型推理过程中数据获取的传输开销。
结合第一方面,在第一方面的某些实现方式中,该对应关系信息还指示数据描述信息和模型推理用于进行的模型处理之间的对应关系。
基于本技术方案,该对应关系信息可以是推理模型、该推理模型用于进行的模型处理、以及数据描述信息之间的对应关系,进而数据实体可以基于模型信息、模型处理信息和对应关系信息向模型实体返回对应的网络数据集,能够降低传输开销。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:数据实体接收来自所述模型实体的第一请求信息,该第一请求信息请求数据实体删除推理模型和数据描述信息的对应关系的信息。
数据实体可以基于第一请求信息删除该推理模型和数据描述信息的对应关系的信息。
基于本技术方案,模型实体可以请求数据实体删除推理模型和数据描述信息的对应关系的信息,例如,在模型实体停止运行该推理模型等场景中向数据实体请求删除相应的信息,使得数据实体能够通过删除相应的信息的方式节省数据实体的内存。
结合第一方面,在第一方面的某些实现方式中,该方法还包括:数据实体接收来自模型实体的第二请求信息,该第二请求信息请求数据实体删除该至少一种数据处理方法的信息。
数据实体可以基于第二请求信息删除该至少一种数据处理方法的信息。
基于本技术方案,模型实体可以请求数据实体删除数据处理方法的相关信息,例如,在模型实体停止运行该推理模型等场景中向数据实体请求删除相应的信息,使得数据实体能够通过删除相关的信息的方式节省数据实体的内存。
第二方面,提供了一种数据传输的方法,该方法可以由模型实体或模型实体中的芯片执行,该方法包括:模型实体生成或者获取对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;该模型实体向数据实体发送该对应关系信息;该模型实体向该数据实体发送该推理模型对应的模型信息;该模型实体接收来自该数据实体的该数据描述信息对应的第一网络数据集,该第一网络数据集用于对该推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
结合第二方面,在第二方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
结合第二方面,在第二方面的某些实现方式中,该数据描述信息包括至少一个数据字 段,第一网络数据集包括所述至少一个数据字段对应的网络数据。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:该模型实体向该数据实体发送数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理。
结合第二方面,在第二方面的某些实现方式中,该数据处理的处理方式包括以下方式中的至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:该模型实体向该数据实体发送模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
结合第二方面,在第二方面的某些实现方式中,该对应关系信息还指示该数据描述信息和模型处理信息的对应关系。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:该模型实体向该数据实体发送第一请求信息,该第一请求信息请求该数据实体删除该对应关系信息。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:该模型实体向该数据实体发送第二请求信息,该第二请求信息请求删除该数据处理信息。
第二方面的各种实现方式是与第一方面的各种实现方式对应的模型实体的方法,关于第二方面的各种实现方式的有益技术效果,可以参考第一方面的相关实现方式的说明,在此不予以赘述。
第三方面,提供了一种数据传输的方法,该方法可以由数据实体或数据实体中的芯片执行,以及模型实体或模型实体中的芯片执行,该方法包括:模型实体生成或者获取对应关系信息,对应关系信息指示推理模型和数据描述信息的对应关系;模型实体向数据实体发送对应关系信息;模型实体向数据实体发送推理模型对应的模型信息;数据实体基于模型信息和对应关系信息向模型实体发送数据描述信息对应的第一网络数据集,第一网络数据集用于对推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
结合第三方面,在第三方面的某些实现方式中,模型信息包括以下信息中的至少一项:推理模型的标识信息、推理模型的推理类型。
结合第三方面,在第三方面的某些实现方式中,数据描述信息包括至少一个数据字段,第一网络数据集包括至少一个数据字段对应的网络数据。
结合第三方面,在第三方面的某些实现方式中,方法还包括:数据实体基于模型信息和对应关系信息获取第二网络数据集;数据实体对第二网络数据集进行数据处理,以生成第一网络数据集。
结合第三方面,在第三方面的某些实现方式中,方法还包括:模型实体向数据实体发送数据处理方法信息,数据处理方法信息指示至少一种数据处理方法,至少一种数据处理方法用于对网络数据集进行数据处理;数据实体对第二网络数据集进行数据处理,以生成 第一网络数据集,包括:数据实体采用至少一种数据处理方法中的一种或多种对第二网络数据集进行数据处理。
结合第三方面,在第三方面的某些实现方式中,至少一种数据处理方法包括以下至少一项:缺少数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第三方面,在第三方面的某些实现方式中,方法还包括:模型实体向数据实体发送模型处理信息,述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;数据实体基于模型信息和对应关系信息向模型实体发送第一网络数据集,包括:数据实体基于模型信息、对应关系信息和模型处理信息向模型实体发送第一网络数据集。
结合第三方面,在第三方面的某些实现方式中,对应关系信息还指示数据描述信息和推理模型用于进行的模型处理之间的对应关系。
结合第三方面,在第三方面的某些实现方式中,方法还包括:模型实体向数据实体发送第一请求信息,第一请求信息请求数据实体删除推理模型和数据描述信息的对应关系的信息。
结合第三方面,在第三方面的某些实现方式中,方法还包括:模型实体向数据实体发送第二请求信息,第二请求信息请求数据实体删除至少一种数据处理方法的信息。
第三方面的各种实现方式是与第一方面的各种实现方式对应的包括模型实体和数据实体的系统的方法,关于第三方面的各种实现方式的有益技术效果,可以参考第一方面的相关实现方式的说明,在此不予以赘述。
第四方面,提供了一种数据传输的方法,该方法可以由数据实体或数据实体中的芯片执行,该方法包括:数据实体接收来自模型实体的数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据进行数据处理;该数据实体接收来自该模型实体的数据查询信息,该数据查询信息请求该推理模型对应的网络数据集;该数据实体基于该数据查询信息获取第二网络数据集,并基于该数据处理方法信息对该第二网络数据集进行数据处理,以生成第一网络数据集;该数据实体向该模型实体发送该第一网络数据集。
可选地,数据实体基于数据查询信息从网络设备获取该第二网络数据集;或者,数据实体基于数据查询信息从本地存储介质中获取该第二网络数据集。
可以理解的是,该第二网络数据集可以是数据实体获取的原始数据。
该数据处理可以用于使得生成的第一网络数据集的质量高于第二网络数据集,和/或,该数据处理可以用于使得生成的第一网络数据集的数据量小于第二网络数据集。
基于本技术方案,数据实体可以基于数据查询信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
结合第四方面,在第四方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
基于本技术方案,数据实体可以采用多种能够提升数据质量和/或降低数据量的数据处理方式,提升网络数据的质量和/或降低接口的开销。
结合第四方面,在第四方面的某些实现方式中,数据描述信息包括至少一个数据字段, 第一网络数据集包括该至少一个数据字段对应的网络数据。
基于本技术方案,该对应关系信息可以描述推理模型和至少一个数据字段的对应关系,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取数据字段对应的网络数据,能够降低传输开销。
结合第四方面,在第四方面的某些实现方式中,该数据实体接收来自该模型实体的对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系,该数据查询信息包括该推理模型对应的模型信息;该数据实体基于该数据查询消息获取该第二网络数据集,包括:该数据实体基于该模型信息和该对应关系信息获取该第二网络数据集。
该数据描述信息可以包括至少一个用于描述网络数据的数据字段。该第一网络数据集可以包括该至少一个数据字段对应的网络数据。
数据实体可以存储该对应关系信息,或者说数据实体可以存储该对应关系信息指示的对应关系。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取,能够降低传输开销。
结合第四方面,在第四方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
该标识信息和推理类型均可以用于标识该推理模型。
基于本技术方案,数据实体可以基于该模型信息索引到推理模型,基于对应关系信息索引到数据描述信息,进而可以向模型实体返回数据描述信息对应的网络数据集,能够降低传输开销。
结合第四方面,在第四方面的某些实现方式中,该数据实体接收来自该模型实体的模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;该数据实体基于该模型信息和该对应关系信息获取该第二网络数据集,包括:该数据实体基于该模型信息、该对应关系信息和该模型处理信息获取该第二网络数据集。
对于同一个推理模型,不同的模型处理可以对应的数据描述信息可以相同或者不同。或者说该第一网络数据集可以与推理模型用于进行的模型处理相关。
基于本技术方案,该模型实体可以将指示该推理模型用于进行的模型处理的模型处理信息发送给数据实体,进而,数据实体可以将模型处理对应的第一网络数据集发送给模型实体,例如,如果模型处理信息指示该推理模型用于模型推理,那么数据实体可以向模型实体返回用于模型推理的网络数据集,从而能够进一步降低传输开销。
结合第四方面,在第四方面的某些实现方式中,该对应关系信息还指示该数据描述信息和该推理模型用于进行的该模型处理之间的对应关系。
基于本技术方案,该对应关系信息可以是推理模型、该推理模型用于进行的模型处理、以及数据描述信息之间的对应关系,进而数据实体可以基于模型信息、模型处理信息和对应关系信息向模型实体返回对应的网络数据集,能够降低传输开销。
结合第四方面,在第四方面的某些实现方式中,该方法还包括:数据实体接收来自所述模型实体的第一请求信息,该第一请求信息请求数据实体删除推理模型和数据描述信息的对应关系的信息。
数据实体可以基于第一请求信息删除该推理模型和数据描述信息的对应关系的信息。
基于本技术方案,模型实体可以请求数据实体删除推理模型和数据描述信息的对应关系的信息,例如,在模型实体停止运行该推理模型等场景中向数据实体请求删除相应的信息,使得数据实体能够通过删除相应的信息的方式节省数据实体的内存。
结合第四方面,在第四方面的某些实现方式中,该方法还包括:数据实体接收来自模型实体的第二请求信息,该第二请求信息请求数据实体删除该至少一种数据处理方法的信息。
数据实体可以基于第二请求信息删除该至少一种数据处理方法的信息。
基于本技术方案,模型实体可以请求数据实体删除数据处理方法的相关信息,例如,在模型实体停止运行该推理模型等场景中向数据实体请求删除相应的信息,使得数据实体能够通过删除相关的信息的方式节省数据实体的内存。
第五方面,提供了一种数据传输的方法,该方法可以由模型实体或模型实体中的芯片执行,该方法包括:模型实体生成或者获取数据处理方法信息,该数据处理方法信息指示指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理;该模型实体向数据实体发送该数据处理方法信息;该模型实体向该数据实体发送数据查询信息,该数据查询信息用于请求推理模型对应的网络数据集;该模型实体接收来自该数据实体响应于该数据查询信息的第一网络数据集,该第一网络数据集是基于该至少一种数据处理方法生成的。
基于本技术方案,数据实体可以基于推理模型的模型信息和对应关系信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
结合第五方面,在第五方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第五方面,在第五方面的某些实现方式中,数据描述信息包括至少一个数据字段,第一网络数据集包括该至少一个数据字段对应的网络数据。
结合第五方面,在第五方面的某些实现方式中,该模型实体向该数据实体发送对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系,该数据查询信息包括该推理模型对应的模型信息。
结合第五方面,在第五方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
结合第五方面,在第五方面的某些实现方式中,该数据查询信息包括模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
结合第五方面,在第五方面的某些实现方式中,该对应关系信息还指示该数据描述信息和该推理模型用于进行的该模型处理之间的对应关系。
结合第五方面,在第五方面的某些实现方式中,该模型实体向该数据实体发送第一请 求信息,该第一请求信息请求删除该推理模型和数据描述信息的对应关系的信息。
结合第五方面,在第五方面的某些实现方式中,该模型实体向该数据实体发送第二请求信息,该第二请求信息请求删除该至少一种数据处理方法的信息。
第五方面的各种实现方式是与第四方面的各种实现方式对应的模型实体的方法,关于第五方面的各种实现方式的有益技术效果,可以参考第四方面的相关实现方式的说明,在此不予以赘述。
第六方面,提供了一种数据传输的方法,该方法可以由数据实体或数据实体中的芯片执行,以及模型实体或模型实体中的芯片执行,该方法包括:模型实体向数据实体发送数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理;模型实体向数据实体发送数据查询信息,该数据查询信息请求该推理模型对应的网络数据集;数据实体基于该数据查询信息获取第二网络数据集,并基于该数据处理方法信息对该第二网络数据集进行数据处理,以生成第一网络数据集;数据实体向模型实体发送该第一网络数据集。
基于本技术方案,数据实体可以基于推理模型的模型信息和对应关系信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
结合第六方面,在第六方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第六方面,在第六方面的某些实现方式中,数据描述信息包括至少一个数据字段,第一网络数据集包括该至少一个数据字段对应的网络数据。
结合第六方面,在第六方面的某些实现方式中,该模型实体向该数据实体发送对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系,该数据查询信息包括该推理模型对应的模型信息。
结合第六方面,在第六方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
结合第六方面,在第六方面的某些实现方式中,该数据查询信息包括模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
结合第六方面,在第六方面的某些实现方式中,该对应关系信息还指示该数据描述信息和该推理模型用于进行的该模型处理之间的对应关系。
结合第六方面,在第六方面的某些实现方式中,该模型实体向该数据实体发送第一请求信息,该第一请求信息请求删除该推理模型和数据描述信息的对应关系的信息。
结合第六方面,在第六方面的某些实现方式中,该模型实体向该数据实体发送第二请求信息,该第二请求信息请求删除该至少一种数据处理方法的信息。
第六方面的各种实现方式是与第四方面的各种实现方式对应的包括模型实体和数据实体的系统的方法,关于第六方面的各种实现方式的有益技术效果,可以参考第四方面的相关实现方式的说明,在此不予以赘述。
第七方面,提供了一种数据传输的装置,该装置包括收发模块和处理模块,收发模块,用于接收来自模型实体的对应关系信息,该对应关系信息指示推理模型和数据描述信息的 对应关系;该收发模块,还用于接收来自该模型实体的该推理模型对应的模型信息;处理模块,用于基于该模型信息和该对应关系信息向该模型实体发送该数据描述信息对应的第一网络数据集,该第一网络数据集用于对该推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
结合第七方面,在第七方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
结合第七方面,在第七方面的某些实现方式中,该数据描述信息包括至少一个数据字段,第一网络数据集包括所述至少一个数据字段对应的网络数据。
结合第七方面,在第七方面的某些实现方式中,该处理模块,还用于基于该模型信息和该对应关系信息获取第二网络数据集;该处理模块,还用于对该第二网络数据集进行数据处理,以生成该第一网络数据集。
结合第七方面,在第七方面的某些实现方式中,该收发模块,还用于接收来自该模型实体的数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理;该处理模块,用于采用该至少一种数据处理方法中的一种或多种对该第二网络数据集进行数据处理。
结合第七方面,在第七方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第七方面,在第七方面的某些实现方式中,该收发模块,还用于接收来自该模型实体的模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;该处理模块,具体用于基于该模型信息、该对应关系信息和该模型处理信息向该模型实体发送该第一网络数据集。
结合第七方面,在第七方面的某些实现方式中,该对应关系信息还指示该数据描述信息和该推理模型用于进行的该模型处理之间的对应关系。
结合第七方面,在第七方面的某些实现方式中,该收发模块,还用于接收来自该模型实体的第一请求信息,该第一请求信息请求该数据实体删除该推理模型和数据描述信息的对应关系的信息。
结合第七方面,在第七方面的某些实现方式中,该收发模块,还用于接收来自该模型实体的第二请求信息,该第二请求信息请求该数据实体删除该至少一种数据处理方法的信息。
第七方面的各种实现方式是与第一方面的各种实现方式对应的数据实体的装置,关于第七方面的各种实现方式的有益技术效果,可以参考第一方面的相关实现方式的说明,在此不予以赘述。
第八方面,提供了一种数据传输的装置,该装置包括收发模块和处理模块,处理模块,用于生成或者获取对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;收发模块,用于向数据实体发送该对应关系信息;该收发模块,还用于向该数据实体 发送该推理模型对应的模型信息;该收发模块,还用于接收来自该数据实体的该数据描述信息对应的第一网络数据集,该第一网络数据集用于对该推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
结合第八方面,在第八方面的某些实现方式中,该模型信息包括以下信息中的至少一项:该推理模型的标识信息、该推理模型的推理类型。
结合第八方面,在第八方面的某些实现方式中,该收发模块,还用于向该数据实体发送数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法,该至少一种数据处理方法用于对网络数据集进行数据处理。
结合第八方面,在第八方面的某些实现方式中,该至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
结合第八方面,在第八方面的某些实现方式中,该收发模块,还用于向该数据实体发送模型处理信息,该模型处理信息指示该推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
结合第八方面,在第八方面的某些实现方式中,该对应关系信息还指示该数据描述信息和模型处理信息的对应关系。
结合第八方面,在第八方面的某些实现方式中,该收发模块,还用于向该数据实体发送第一请求信息,该第一请求信息请求该数据实体删除该推理模型和数据描述信息的对应关系的信息。
结合第八方面,在第八方面的某些实现方式中,该收发模块,还用于向该数据实体发送第二请求信息,该第二请求信息请求删除该至少一种数据处理方法的信息。
第八方面的各种实现方式是与第二方面的各种实现方式对应的模型实体的装置,关于第八方面的各种实现方式的有益技术效果,可以参考第二方面的相关实现方式的说明,在此不予以赘述。
第九方面,提供了一种传输数据的装置,所述装置具有实现第四方面,或第四方面的任一可能的实现方式中的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
第十方面,提供了一种传输数据的装置,所述装置具有实现第五方面,或第五方面的任一可能的实现方式中的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。
第十一方面,提供了一种通信装置,该装置可以包括处理模块、发送单元和接收单元。可选的,发送单元和接收单元还可以为收发模块。
当该装置是数据实体时,该处理模块可以是处理器,该发送单元和接收单元可以是收发器;该装置还可以包括存储单元,该存储单元可以是存储器;该存储单元用于存储指令,该处理模块执行该存储单元所存储的指令,以使该数据实体执行第一方面或第四方面中的任一方法。当该装置是数据实体内的芯片时,该处理模块可以是处理器,该发 送单元和接收单元可以是输入/输出接口、管脚或电路等;该处理模块执行存储单元所存储的指令,以使该芯片执行第一方面或第四方面中的任一方法。该存储单元用于存储指令,该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该数据实体内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
当该装置是模型实体时,该处理模块可以是处理器,该发送单元和接收单元可以是收发器;该装置还可以包括存储单元,该存储单元可以是存储器;该存储单元用于存储指令,该处理模块执行该存储单元所存储的指令,以使该模型实体执行第二方面或第五方面中的任一方法。当该装置是模型实体内的芯片时,该处理模块可以是处理器,该发送单元和接收单元可以是输入/输出接口、管脚或电路等;该处理模块执行存储单元所存储的指令,以使该芯片执行第二方面或第五方面中的任一方法。该存储单元用于存储指令,该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该模型实体内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
第十二方面,提供了一种通信装置,包括处理器和接口电路,接口电路用于接收来自该通信装置之外的其它通信装置的信号并传输至该处理器或将来自该处理器的信号发送给该通信装置之外的其它通信装置,该处理器通过逻辑电路或执行代码指令用于实现前述第一方面至第六方面中的任一方法。
第十三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,当该计算机程序或指令被执行时,实现前述第一方面至第六方面中的任一方法。
第十四方面,提供了一种包含指令的计算机程序产品,当该指令被运行时,实现前述第一方面至第六方面中的任一方法。
第十五方面,提供了一种计算机程序,该计算机程序包括代码或指令,当该代码或指令被运行时,实现前述第一方面至第六方面中的任一方法。
第十六方面,提供一种芯片系统,该芯片系统包括处理器,还可以包括存储器,用于实现前述前述第一方面至第六方面中的任一方法。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第十七方面,提供一种通信系统,该系统包括第七方面或第八方面中任一所述的装置,或者该系统包括第九方面或第十方面中任一所述的装置。
附图说明
图1是适用本申请实施例提供的数据传输的系统的示意图;
图2是本申请实施例提供的一种数据传输方法的示意性流程图;
图3是本申请实施例提供的一例模型训练过程中数据传输的方法的示意性流程图;
图4是本申请实施例提供的确定模型训练的可能的实现方式的示意性流程图;
图5是本申请实施例提供的另一例模型训练过程中数据传输的方法的示意性流程图;
图6是本申请实施例提供的一例模型推理过程中数据传输的方法的示意性流程图;
图7是本申请实施例提供的一例模型评估过程中数据传输的方法的示意性流程图;
图8是本申请实施例提供的一例模型测试过程中数据传输的方法的示意性流程图;
图9是本申请实施例提供的另一种数据传输方法的示意性流程图;
图10和图11是本申请实施例提供的可能的通信装置的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
本申请实施例的方法可以应用于长期演进技术(long term evolution,LTE)系统,长期演进高级技术(long term evolution-advanced,LTE-A)系统,增强的长期演进技术(enhanced long term evolution-advanced,eLTE),第五代(the 5th Generation,5G)移动通信系统新空口(New Radio,NR)系统,也可以扩展到类似的无线通信系统中,如无线保真(wireless-fidelity,WiFi),全球微波互联接入(worldwide interoperability for microwave access,WIMAX),以及第三代合作伙伴计划(3rd generation partnership project,3gpp)相关的蜂窝系统。
为了清楚,以下对本申请实施例中的部分术语进行解释。
推理模型(也可以简称为模型):从数据中学习到的,可以实现特定功能/映射的函数。模型可以基于人工智能(artificial intelligence,AI)或者机器学习(machine learning,ML)的技术得到,因此,也可以称为人工智能/AI模型、机器学习/ML模型等。常用的用于生成AI/ML模型的算法包括:监督学习、无监督学习、增强学习,对应的模型可以称为监督学习模型、无监督学习模型、增强学习模型。示例的,监督学习模型可以是分类模型、预测模型、回归模型等,无监督学习模型可以是聚类模型。此外,模型还可以基于神经网络(neural network,NN)技术得到,这种模型也可以称为神经网络模型、深度学习模型等。
推理类型(inference type):用于描述推理模型用于的推理类型,例如该推理类型可以是覆盖问题分析、故障预测、节能分析、移动性能分析、业务体验分析或小区流量预测等。
模型训练:利用训练数据训练得到可用的模型。
模型推理:基于模型进行推理或预测,生成推理结果。另外,模型推理实体可以用于模型推理。
模型评估:评估模型推理实体中运行的模型的性能是否满足要求。
模型管理:在生命周期内对模型进行管理。例如,对模型评估、模型训练、模型推理等进行管理。
为便于理解本申请实施例,首先结合图1详细说明本申请实施例的一个应用场景。
图1是本申请实施例适用的一种通信系统的示意性结构图。首先对该通信系统中可能涉及的装置进行说明。
1、模型管理实体110:用于在生命周期内对模型进行管理。
当模型运用于网络运维域时,模型管理实体110可以部署于网络管理系统(network management system,NMS)。当模型运用于无线接入网(radio access network,RAN)域或核心网域时,模型管理实体110可以部署于NMS或者网元管理系统(element management system,EMS)。其中,NMS用于网络的运行、管理和维护,也可以称之为跨域管理系统。EMS用于管理一个或多个特定类别的网元,也可以称之为域管理系统或单域管理系统。
2、模型推理实体120:用于基于模型进行推理、预测或运算,生成推理结果。模型推理实体可以作为模型训练服务的消费者。
当模型运用于网络运维域时,模型推理实体120可以部署于EMS,例如,模型推理实体120可以部署于EMS中的管理数据分析功能(management data analytics function,MDAF),进而模型推理实体120生成的推理结果可以辅助MDAF进行管理数据分析。当模型运用于RAN域时,模型推理实体120可以部署于RAN设备中。当模型运行于核心网域时,模型推理实体120可以部署于核心网网元,例如网络数据分析功能(network data analytics function,NWDAF)网元中。
3、模型训练实体130:用于通过训练得到可用的模型。模型训练实体130可以作为模型训练服务生产者。
当模型运用于网络运维域或RAN域时,模型训练实体130可以部署于EMS,例如,模型训练实体130可以部署于EMS中的MDAF网元中,或者模型训练实体130可以作为EMS中的独立的功能网元。当模型运行于核心网域时,模型训练实体130可以部署于EMS中,模型训练实体130还可以部署于核心网网元,例如NWDAF网元中。
4、模型评估实体140:用于评估推理模型的性能。
当模型运用于网络运维域时,模型评估实体140可以部署于EMS,例如,模型评估实体140可以部署于EMS中的MDAF网元,或者模型评估实体140可以作为EMS中的独立的功能网元。当模型运用于RAN域时,模型评估实体140可以部署于EMS中,模型评估实体140还可以部署于RAN设备中。当模型运行于核心网域时,模型评估实体140可以部署于EMS中,模型评估实体140还可以部署于核心网网元,例如NWDAF网元中。
5、模型测试实体150:用于测试推理模型的性能。
当模型运用于网络运维域时,模型测试实体150可以部署于EMS,例如,模型测试实体150可以部署于EMS中的MDAF网元,或者模型测试实体150可以作为EMS中的独立的功能网元。当模型运用于RAN域时,模型测试实体150可以部署于EMS中,模型测试实体150还可以部署于RAN设备中。当模型运行于核心网域时,模型测试实体150可以部署于EMS中,或者模型测试实体150还可以部署于核心网网元,例如NWDAF网元中。在一种可能的实现方式中,模型测试实体150可以与模型推理实体120合并部署,或者模型测试实体150可以是模型推理实体120中的一个功能实体。
6、数据管理实体160:用于采集和管理网络数据,提供数据查询服务。
当模型运用于网络运维域时,数据管理实体160可以部署于EMS,例如,数据管理实体160可以部署于EMS中的MDAF网元中,或者数据管理实体160可以作为EMS中的独立的功能网元。当模型运行于RAN域时,数据管理实体160可以部署于EMS中,数据管理实体160还可以部署于RAN设备中。当模型运行于核心网域时,数据管理实体160可以部署于EMS中,数据管理实体160还可以部署于核心网网元,例如数据采集协调功能(data collection coordination function,DCCF)网元中。在一些可能的实现方式中,数据管理实体160还可以是管理数据生产者(management data producer)。
7、网络设备170:用于提供网络数据。
网络设备170可以是RAN、核心网网元或者EMS中的实体。网络设备170可以测量或者计算网络运行状态数据并记录相关网络数据,例如参考信号接收功率(reference signal received power,RSRP)、参考信号接收质量(reference signal received quality,RSRQ),并将网络数据提供至数据管理实体160进行管理或者存储。或者,数据管理实体160可以 检测或记录网络设备170的相关网络数据,例如服务区标识、小区标识等。
需要说明的是,本申请的方案可以应用于包含相应实体的其它系统中,本申请不作限定。可以理解的是,上述实体或者功能既可以是硬件设备中的网络元件,也可以是在专用硬件上运行软件功能,或者是平台(例如,云平台)上实例化的虚拟化功能。可选的,上述实体或者功能可以由一个设备实现,也可以由多个设备共同实现,还可以是一个设备内的一个功能模块,本申请实施例对此不作具体限定。例如,在本申请实施例中,模型管理实体110和模型训练实体130可以是一个设备内的不同的功能模型。
数据管理实体可以对网络数据进行管理。但是,数据管理实体并不具备分析推理模型的能力,当模型实体,例如图1所示的模型推理实体、模型训练实体、模型管理实体、模型评估实体等向数据管理实体请求网络数据时,需要占用较高的传输开销向数据管理实体提供网络数据的描述信息。本申请提供了一种数据传输的方法和通信装置,能够降低传输开销。以下首先对数据传输的方法进行说明。
图2是本申请实施例提供的一种数据传输的方法200的示意性流程图。
S210,模型实体向数据实体发送对应关系信息,对应地,数据实体接收来自模型实体的该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。
其中,模型实体实现的功能可以由图1所示的模型推理实体、模型训练实体、模型管理实体或模型评估实体中的一项或多项实现,数据实体实现的功能可以由图1中所示的数据管理实体实现。
该对应关系信息可以包括推理模型的标识信息和数据描述信息的映射关系,或者,该对应关系信息可以包括推理模型的推理类型和数据描述信息的映射关系。其中,推理模型的标识信息和推理模型的推理类型可以是模型实体生成或者获取的用于标识该推理模型的信息,数据描述信息可以包括至少一个用于描述网络数据的数据字段。
示例性地,以用于客户感知体验(quality of experience,QoE)预测的推理模型进行举例,该推理模型的推理类型为QoE预测模型,该推理模型对应的数据描述信息可以包括以下数据字段中的至少一项:服务小区标识、用户上行物理资源块(physical resource block,PRB)利用率、用户下行PRB利用率、用户上行分组数据汇聚层协议(packet data convergence protocol,PDCP)字节数、用户下行PDCP字节数、小区标识、上行平均PRB利用率、下行平均PRB利用率、上行平均PDCP字节数、下行平均PDCP字节数、参考信号接收功率(reference signal received power,RSRP)、参考信号接收质量(reference signal received quality,RSRQ)、信号干扰噪声比(signal to interference plus noise ratio,SINR)。那么该对应关系信息可以是该推理模型的标识与上述数据字段的映射关系,或者该对应关系信息可以是该推理模型的推理类型与上述数据字段的映射关系。
可以理解的是,推理模型的标识信息或推理类型是用于建立推理模型与数据字段列表的索引。具体的形式可以与模型实体生成或者获取该对应关系信息的方式相关,例如,模型实体可以从推理模型的模型文件中获取该对应关系信息,或者模型实体也可以在运行过程中生成推理模型对应的数据字段,进而生成该对应关系信息,本申请对此不作特别限定。
需要说明的是,模型实体向数据发送对应关系信息的方式可以与具体的运用场景有关,例如,模型实体可以在模型部署的时候发送该对应关系信息;或者,模型实体可以在对推 理模型进行再训练的时候发送该对应关系信息;或者,模型实体可以在第一次查询网络数据的时候发送该对应关系信息。该对应关系信息可以是模型管理实体生成或者获取的,也可以是模型训练实体生成或者获取的,具体的不同场景对应的实现方式可以参见下文图3至图7的介绍,在此不予赘述。
在一种可能的实现方式中,该对应关系信息还指示数据描述信息和模型推理用于进行的模型处理之间的对应关系。其中,模型处理可以是以下处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
对于同一个推理模型,不同的模型处理对应的数据描述信息可以相同或者不同,比如第一推理模型对应的12个数据字段,模型训练的过程中需要使用12个数据字段中全部12个数据字段对应的网络数据,模型推理的过程中需要使用12个数据字段中的前11个数据字段对应的网络数据,进而,当该推理模型用于模型推理时,数据实体返回的第一网络数据集仅包括前11个数据字段对应的网络数据,从而可以降低模型推理过程中数据查询的传输开销。
示例性地,该对应关系信息可以直接指示数据描述信息和模型处理之间的对应关系,例如对应关系信息可以包括依次排序的数据字段,并且指示每种模型处理分别对应第几个数据字段。或者,该对应关系信息间接指示数据描述信息和模型处理之间的对应关系,例如,按照预先配置的排序规则发送该至少一个数据字段,进而数据实体可以基于该数据字段的排序以及该排序规则确定数据字段与模型处理的类型的对应关系。本申请对该对应关系信息的形式不作特别限定。
需要说明的是,数据实体中也可以预先配置模型处理的类型与数据描述信息的对应关系,例如,数据实体中可以预先配置某一模型处理的类型不使用某一类型的网络数据。
S220,模型实体向数据实体发送模型信息,对应地,数据实体接收来自模型实体的该模型信息。
该模型信息可以用于指示数据实体返回数据描述信息对应的网络数据集。或者模型实体向数据实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据实体返回网络数据集。
可以理解的是,该模型信息与对应关系信息中用于标识推理模型的信息对应,例如,当对应关系信息指示的是推理模型的标识信息和数据描述信息的映射关系时,该模型信息可以包括该推理模型的标识信息;当对应关系信息指示的是推理模型的推理类型和数据描述信息的映射关系时,该模型信息可以包括该推理模型的推理类型。进而数据实体可以根据模型信息索引到对应关系信息中对应的数据描述信息。
另外,当数据描述信息和模型处理的类型相对应时,模型实体还可以指示数据实体该推理模型用于的模型处理。即该方法还可以包括步骤S230。
可选地,S230,模型实体向数据实体发送模型处理信息,对应地,数据实体接收来自模型实体的该模型处理信息。
该模型处理信息指示所述推理模型用于进行以下处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
该模型处理信息和模型信息可以承载在一条或多条消息,或者同一条消息中的一个或多个信元中。例如,该模型处理信息和模型信息可以承载在用于请求数据实体返回网络数 据集的数据查询消息中。可选地,该数据查询消息还可以包括请求的网络数据集的特征信息,例如网络数据集对应的时间段信息。
S240,数据实体基于模型信息和对应关系信息向模型实体发送数据描述信息对应的第一网络数据集,对应地,模型实体接收来自数据实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型处理。
该第一网络数据集可以包括数据描述信息对应的网络数据,从而模型实体可以使用该网络数据对推理模型进行模型处理。
数据实体可以基于模型信息和对应关系信息确定模型实体请求的第一网络数据集对应的数据描述信息,或者,数据实体可以基于模型信息、模型处理信息以及对应关系信息确定模型实体请求的第一网络数据集对应的数据描述信息。从而,数据实体可以基于该数据描述信息向网络设备请求数据,或者从网络设备获取的数据中生成数据描述信息对应的第一网络数据集,或者从数据实体本地存储的数据中生成数据描述信息对应的第一网络数据集,或者从网络设备处获取一部分数据描述信息对应的网络数据,从本地存储的数据中获取另一部分数据描述信息对应的网络数据,本申请对此不作特别限定。
在一种可能的方式中,数据实体可以对从网络设备和/或本地存储空间获取的原始数据集进行数据处理后,以生成第一网络数据集,在本申请实施例中,该原始数据集可以称之为第二网络数据集。
该数据实体采用的数据处理方法可以用于使得生成的第一网络数据集的质量高于第二网络数据集,和/或,该数据处理方法可以用于使得生成的第一网络数据集的数据量小于第二网络数据集。
以下对可能的数据处理方法进行说明。数据处理方法可以包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
其中,缺失数据处理可以是指对存在缺失值或者缺失值占总数据比例高于特定阈值的数据进行删除处理,和/或对存在缺失值或者缺失值占总数据比例高于特定阈值的数据进行插补处理。其中删除处理可以是简单删除也可以是加权删除,例如根据数据的重要程度确定删除的加权系数;插补处理可以是均值插补、利用同类均值插补、极大似然估计插补或多重插补等方式,本申请对此不作特别限定。
去重处理可以是指将第二网络数据集中重复的数据进行删除。过滤处理可以是指通过比较运算、范围运算、空值匹配、字符匹配或逻辑匹配等方式过滤提取所需的数据。合并处理可以是指将第二网络数据集中结构相同的数据框合并成一个数据框。量化处理可以是指通过去极值、标准化或中性化等方式对第二网络数据集中的数据进行处理。
数据实体可以采用上述任意一种或者多种数据处理方法相结合的方式对第二网络数据集进行数据处理。示例性地,第二网络数据集中不同的数据字段对应的网络数据的数据处理方法可以相同也可以不同,例如,对RSRP对应的网络数据进行合并处理,对服务小区标识进行确实数据处理等。另外,可以理解的是,对第二网络数据集进行数据处理可以包括:分别对一个或多个数据字段对应的网络数据进行一项或多项数据处理,以及将多个数据字段对应的网络数据视为一个整体进行一项或多项数据处理,本申请对此不作特别限定。
数据处理方法可以与数据字段相关,即不同的数据字段对应的数据处理方法可以相同 或者不同;数据处理方法也可以与推理模型相关,即不同的推理模型对应的同一种数据字段的数据处理方法也可以相同或者不同。
在一种可能的方式中,数据实体可以预先配置数据处理方法,例如,数据实体可以预先配置数据处理方法与数据字段的列表。在另一种可能的实现方式中,模型实体可以向数据实体指示该数据处理方法,在这种实现方式中,在步骤S240之前,该方法还可以包括步骤S250。
可选地,S250,模型实体向数据实体发送数据处理方法信息,对应地,数据实体接收来自模型实体的该数据处理方法信息。
该数据处理方法信息指示该至少一种数据处理方法。有关数据处理方法的描述可以参见步骤S240的描述,在此不予赘述。
在一种可能的实现方式中,该数据处理方法信息和步骤S210中的对应关系信息可以合并成一条信息。示例性地,该信息包括模型信息、数据描述信息以及数据处理方法信息相互对应的列表,例如,推理模型的标识对应至少一个数据字段,推理模型的标识还与至少一种数据处理方法对应,或者数据字段还与至少一种数据处理方法对应。
在另一种可能的实现方式中,模型实体可以在请求网络数据的数据查询消息中携带该数据处理方法信息。或者,模型实体可以请求网络数据之前向数据实体配置该数据处理方法信息,当模型实体请求网络数据时,还可以根据实际需求确定是否需要调整该数据处理方法,如果确定需要调整该数据处理方法,那么可以在该数据查询消息中携带调整后的数据处理方法信息,例如,数据处理方法信息包括调整后的相应参数,从而数据实体在处理数据时可以根据调整后的数据处理方法信息进行数据处理,使得网络数据的可靠性得以提高。
以上通过给数据实体配置对应关系信息,使得模型实体可以通过向数据实体发送模型信息的方式请求网络数据集,减小了请求网络数据集占用的信令开销。可选地,通过给数据实体配置数据处理方法信息,使得数据实体可以基于数据处理方法信息向模型实体返回处理后的网络数据集,减小了返回网络数据集的信令开销和/或提升了返回的网络数据集的质量。但是,对应关系信息对应的推理模型暂时不再运行,或者模型实体暂时没有向网络实体请求该推理模型对应的网络数据的需求,或者说该对应关系信息失效等场景中,模型实体可以对数据实体进行针对该对应关系信息的去配置处理,类似地,模型实体也可以对数据实体进行针对数据处理方法信息的去配置处理,从而可以节省数据实体的内存。以下结合步骤S260和步骤S270进行说明。
可选地,S260,模型实体向数据实体发送第一请求信息,对应地,数据实体接收来自模型实体的该第一请求信息。
该第一请求信息请求数据实体删除该推理模型和数据描述信息的对应关系的信息。
从而数据实体可以基于该第一请求信息删除该推理模型和数据描述信息的对应关系的信息。
可选地,S270,模型实体向数据实体发送第二请求信息,对应地,数据实体接收来自模型实体的该第二请求信息。
该第二请求信息请求数据实体删除该至少一种数据处理方法的信息。
从而数据实体可以基于该第二请求信息删除该至少一种数据处理方法的信息。
可以理解的是,该第一请求信息和第二请求信息可以是分开发送的两条信息,也可以合并成一条请求信息,数据实体删除对应关系的信息和删除数据处理方法的信息可以是分别删除该两个信息,或者也可以是删除该两个信息的合并信息,本申请对此不作特别限定。
还可以理解的是,模型管理实体可以请求删除对应关系的信息,不删除数据处理方法的信息,或者可以请求不删除对应关系的信息,删除数据处理方法的信息。例如,对应关系信息指示推理模型的标识和数据字段的对应关系,当该推理模型不再运行时,模型实体可以请求删除该对应关系,数据处理方法信息指示的数据处理方法与数据字段对应,并且模型实体运行其它推理模型可能也有请求该数据字段对应的网络数据的需求,那么模型实体可以不请求删除该数据处理方法的信息,从而节省了传输开销。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取,能够降低传输开销。
在图2所述的方法实施例中,模型实体实现的功能可以由图1所示的模型推理实体、模型训练实体、模型管理实体或模型评估实体中的一项或多项实现,数据实体实现的功能可以由图1中所示的数据管理实体实现。以下结合图3至图7对不同的实现方式进行说明。
图3是一种模型训练过程中数据传输的方法的示意性流程图。
可选地,S310,模型管理实体向模型推理实体发送模型部署消息,对应地,模型推理实体接收来自模型管理实体的该模型部署消息。
该模型部署消息用于部署推理模型。该模型部署消息可以携带以下信息中的至少一项:推理模型的推理类型、推理模型的标识信息、推理模型的模型地址。其中,推理类型和标识信息可以用于标记该推理模型,模型管理实体可以从推理模型的模型文件中获取推理类型或标识信息,模型管理实体也可以从其它实体,例如模型市场、模型训练实体或者是存在模型训练平台的实体处获取推理模型的推理类型或标识信息。在一种可能的实现方式中,模型管理实体也可以从模型文件或其它实体获取推理模型的推理类型,并且基于该推理类型为该推理模型分配一个模型标识。推理模型的模型地址为存储该推理模型的地址,例如统一资源定位符(uniform resource locator,URL)或互联网协议(internet protocol,IP)地址。
可选地,模型管理实体向模型训练实体发送该模型部署通知消息,从而模型训练实体可以获知该推理模型被部署,或者说被运行,并且模型训练实体中也可以部署对应的推理模型,用于后续对推理模型进行再训练。
S320,模型管理实体向数据管理实体发送对应关系信息,对应地,数据管理实体接收来自模型管理实体的该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。有关对应关系信息的描述可以参考步骤S210的描述,在此不予赘述。
示例性地,该模型管理实体可以向数据管理实体发送超文本传输协议(hypertext transfer protocol,HTTP)请求消息,该HTTP请求消息携带该对应关系信息。例如,该对 应关系信息可以承载于该HTTP请求消息中的URL中,或者承载于HTTP请求消息的头字段中,或者HTTP请求消息的消息体中。
在一种可能的实现方式中,模型管理实体可以预先配置该对应关系信息。或者该推理模型的模型文件中包括该对应关系信息,模型管理实体可以从模型文件中获取该对应关系信息。或者,模型管理实体预先配置至少一种推理类型和数据字段的对应关系,模型管理实体根据推理模型的推理类型确定该推理模型对应的数据字段,进而生成该对应关系信息。或者,模型管理实体从其它实体接收该对应关系信息。本申请对模型管理实体生成、获取或者接收对应关系信息的方式不作特别限定。
可选地,S330,模型管理实体向数据管理实体发送数据处理方法信息,对应地,数据管理实体接收来自模型管理实体的数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。有关数据处理方法信息的描述可以参考步骤S250的描述,在此不予赘述。
示例性地,该数据处理方法信息可以承载于该HTTP请求消息。
在一种可能的实现方式中,模型管理实体可以预先配置该数据处理方法信息。或者该推理模型的模型文件中包括该数据处理方法信息,模型管理实体可以从模型文件中获取该数据处理方法信息。或者,模型管理实体从其它实体接收该数据处理方法信息。本申请对模型管理实体生成、获取或者接收数据处理方法信息的方式不作特别限定。
可以理解的是,数据处理方法信息可以是基于推理模型的初始训练时使用的数据处理方法生成的,例如模型训练实体可以在训练时根据推理模型的推理类型、模型结构、可获得的数据分布和数据量、专家经验中的一项或多项信息确定数据处理方法,并将该数据处理方法作为推理模型的描述信息保存在模型文件中,从而模型管理实体可以从模型文件中获取数据处理方法,或者模型训练实体指示模型管理实体该数据处理方法。另外,数据处理方法信息用于指示的方法可以是训练时使用全部或者部分数据处理方法,例如,数据管理实体可以选取能够降低数据量的方法生成数据处理方法信息,本申请对此不作特别限定。
可选地,S340,模型管理实体向模型训练实体发送通知消息,对应地,该模型训练实体接收来自模型管理实体的该通知消息。
该通知消息可以包括该推理模型的标识信息。
该通知消息用于通知模型训练实体数据管理实体配置有的对应关系信息,从而模型训练实体获知可以通过向数据管理实体发送模型信息的方式请求网络数据。
该通知消息还可以用于通知模型训练实体数据管理实体配置有的数据处理方法信息,从而模型训练实体可以获知数据管理实体返回的网络数据经过了哪些数据处理操作,并且模型训练实体可以基于数据管理实体完成的数据处理操作确定如何进一步对返回的网络数据进行处理。模型训练实体还可以确定是否可以对数据管理实体配置的数据处理方法信息进行调整。例如,模型训练实体可以根据运行的情况或者数据管理实体返回的网络数据的情况调整数据管理实体处理网络数据的方式。
可选地,S350,模型管理实体、模型训练实体或者模型推理实体确定对推理模型进行再训练。
推理模型在运行的过程中,由于数据的特征会随着时间的推移而变化,推理模型的性能可能会随着时间的推移逐渐下降。为了保证推理模型的可靠运行,模型管理实体、模型 训练实体或者模型推理实体可以发起对该推理模型进行再训练,即使用网络数据对该推理模型进行一次或多次在线训练。以下结合图4对可能的确定对推理模型进行再训练的方式进行说明。
方式a:
模型推理实体可以确定对推理模型进行再训练,该方式可以通过步骤S351a和S352a实现。
S351a,模型推理实体确定对推理模型进行模型训练。
示例性地,模型推理实体可以根据推理模型的运行情况确定对推理模型进行再训练,比如模型推理实体可以根据推理模型对应的关键性能指标确定对推理模型进行再训练。例如,模型推理实体可以实时、周期、定时或者触发监控网络的关键性能指标,当该关键性能指标达到某一条件,例如在一定时间内低于或等于特定阈值时,确定对该推理模型进行再训练。
再示例地,模型推理实体可以定时确定对推理模型进行再训练,例如,模型推理实体可以运行预定时间后确定对推理模型进行再训练。模型推理实体还可以周期触发对推理模型进行再训练。例如,模型推理实体可以基于推理模型的推理类型确定对推理模型进行再训练的周期或时间。
S352a,模型推理实体向模型训练实体发送训练请求消息,对应地,模型训练实体接收来自模型推理实体的训练请求消息。
该训练请求消息用于请求模型训练实体对该推理模型进行训练,该训练请求消息可以包括该推理模型的标识信息。
方式b:
模型管理实体可以确定对推理模型进行训练,该方式可以通过步骤S351b和S352b实现。
S351b,模型管理实体确定对推理模型进行模型训练。
模型管理实体确定对推理模型进行训练的方式可以与模型推理实体确定对推理模型进行训练的方式类似,其描述可以参考步骤S351a的描述,在此不予赘述。
S352b,模型管理实体向模型训练实体发送训练请求消息,对应地,模型训练实体接收来自模型管理实体的训练请求消息。
该训练请求消息用于请求模型训练实体对该推理模型进行训练,该训练请求消息可以包括该推理模型的标识信息。
方式c:
模型训练实体可以确定对推理模型进行模型训练,该方式可以通过步骤S351c实现。
S351c,模型训练实体确定对推理模型进行训练。
模型训练实体确定对推理模型进行训练的方式可以与模型推理实体确定对推理模型进行训练的方式类似,其描述可以参考步骤S351a的描述,在此不予赘述。
需要说明的是,推理模型可能被确定训练多次,上述步骤S350可以执行一次或多次。例如,模型推理实体可以每隔一段时间执行一次步骤S351a确定是否对推理模型进行训练,确定对推理模型进行训练时,执行步骤S352a请求模型训练实体对该训练模型进行训练,即模型推理实体可以多次执行步骤S351a和S352a。再例如,模型推理实体可以执行一次 步骤S351a确定对推理模型进行周期多次训练,并且可以执行一次步骤S352a请求模型训练实体对该推理模型进行周期多次训练,或者可以周期执行多次步骤S352a请求模型训练实体对该推理模型进行训练。
S360,模型训练实体向数据管理实体发送模型信息,对应地,数据管理实体接收来自模型训练实体的模型信息。
该模型信息可以用于指示数据实体返回数据描述信息对应的网络数据集。或者模型实体向数据实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据实体返回网络数据集。有关模型信息的内容可以参考步骤S220的描述,在此不予赘述。
可选地,如果模型训练实体确定对数据管理实体配置的数据处理方法信息进行调整,那么数据查询消息中还可以包括调整后的数据处理方法信息,或者调整后的数据处理方法信息对应的参数,比如数据管理实体的数据处理方法包括缺失值比例超过预设阈值例如80%的行直接删除,当模型训练实体收到的网络数据的数据量过小时,该数据查询消息可以包括调整后的数据处理方法信息,例如将该预设阈值调整为90%。
可选地,S370,模型训练实体向数据实体发送模型处理信息,对应地,数据实体接收来自模型训练实体的该模型处理信息。
该模型处理信息指示该推理模型用于进行模型训练。有关模型处理信息的内容可以参考步骤S230的描述,在此不予赘述。
S380,数据管理实体基于模型信息和对应关系信息向模型训练实体发送数据描述信息对应的第一网络数据集,对应地,模型训练实体接收来自数据管理实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型训练。有关步骤S380的内容可以参见步骤S240的描述,在此不予赘述。
S390,模型训练实体基于第一网络数据集对该推理模型进行模型训练。
示例性地,模型训练实体可以根据第一网络数据集对该推理模型进行训练。或者模型训练实体可以对第一网络数据集进行数据处理,构建训练集,根据该训练集对该推理模型进行训练。
可以理解的是,当在步骤S350中确定对该推理模型进行多次训练时,对应地,步骤S360至步骤S390也可以执行多次。可见,本申请实施例中,模型训练实体可以通过发送模型信息的方式向数据管理实体请求网络数据,避免了多次向数据管理实体发送占用大量传输开销的数据字段,从而减少了传输开销。
可选地,S3100,模型训练实体向模型管理实体和/或模型推理实体发送训练完成通知消息,对应地,模型管理实体和/或模型推理实体接收来自模型训练实体的训练完成通知消息。
该训练完成通知消息可以通知模型管理实体和/或模型推理实体推理模型已完成训练。该训练完成通知消息中可以携带该推理模型的标识信息。
可选地,S3110,模型管理实体向数据管理实体发送第一请求信息,对应地,数据管理实体接收来自模型管理实体的该第一请求信息。
该第一请求信息请求数据管理实体删除该推理模型和数据描述信息的对应关系的信 息。
示例性地,模型管理实体可以自行确定推理模型的运行时间段,或者,模型管理实体可以从模型推理实体处接收模型运行情况的通知,从而向数据管理实体发送该第一请求信息。
可选地,S3120,模型管理实体向数据管理实体发送第二请求信息,对应地,数据管理实体接收来自模型管理实体的该第二请求信息。
该第二请求信息请求数据实体删除该至少一种数据处理方法的信息。
基于本技术方案,数据管理实体从模型管理实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据管理实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型训练实体在对该推理模型进行至少一次的模型训练时,可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低传输开销。
图5是另一种模型训练过程中数据传输的方法的示意性流程图。
可选地,S510,模型训练实体获取推理模型的模型信息。
模型信息可以包括推理模型的模型标识,或者可以包括推理模型的标识信息,从而模型训练实体获知该推理模型具有训练的需求。
在一种可能的实现方式中,模型训练实体是从模型管理实体获取的模型信息,该步骤S510可以由步骤S511a和S512a实现。
可选地,S511a,模型管理实体向模型推理实体发送模型部署消息,对应地,模型推理实体接收来自模型管理实体的该模型部署消息。
该模型部署消息用于部署推理模型。有关该模型部署消息的内容可以参考步骤S310中的描述,在此不予赘述。
可选地,S512a,模型管理实体向模型训练实体发送模型部署通知消息,对应地,模型训练实体接收来自模型管理实体的该模型部署通知消息。
该模型部署通知消息用于通知模型训练实体该推理模型部署于或者运行于模型推理实体,该模型部署通知消息包括该模型信息。
在另一种可能的实现方式中,模型训练实体是从模型推理实体获取的模型信息,步骤S510可以由步骤S511b实现。
S511b,模型推理实体向模型训练实体发送训练请求消息,对应地,模型训练实体接收来自模型推理实体的该训练请求消息。
该训练请求消息用于请求模型训练实体对推理模型进行训练,该训练请求消息包括该模型信息。
从而,模型训练实体通过模型部署通知消息和/或训练请求消息获知推理模型具有模型训练的需求,可以向数据管理实体配置该推理模型的对应关系信息。
S520,模型训练实体向数据管理实体发送对应关系信息,对应地,数据管理实体接收来自模型训练实体的该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。有关对应关系信息的描述可以参考步骤S210的描述,在此不予赘述。
模型训练实体可以预先配置该对应关系信息。或者该推理模型的模型文件中包括该对 应关系信息,模型训练实体可以从模型文件中获取该对应关系信息。或者,模型训练实体预先配置至少一种推理类型和数据字段的对应关系,模型训练实体根据推理模型的推理类型确定该推理模型对应的数据字段,进而生成该对应关系信息。或者,模型训练实体从其它实体接收该对应关系信息。或者,模型训练根据历史训练数据生成该对应关系信息。本申请对模型训练实体生成、获取或者接收对应关系信息的方式不作特别限定。
在一种可能的实现方式中,模型训练实体可以向数据管理实体发送信息注册消息,该信息注册消息包括该对应关系信息。
在另一种可能的实现方式中,模型训练实体可以在第一次向数据管理实体请求网络数据集时向数据管理实体发送该对应关系信息。示例性地,该模型训练实体在初始训练该推理模型时,向数据管理实体发送该数据收集请求消息,数据收集请求消息携带该对应关系信息,数据管理实体向模型训练实体返回该数据收集请求消息请求的网络数据集,并将该消息中的对应关系信息储存下来,模型训练实体可以根据该网络数据集进行初始训练。可选地,该数据训练实体完成对该推理模型的初始训练,向模型管理实体和/或模型推理实体发送训练完成通知消息,该训练完成通知消息可以包括以下信息中至少一项:推理模型的标识信息、推理模型的推理类型、推理模型的模型地址,该训练完成通知消息用于通知模型管理实体和/或模型推理实体该推理模型已完成初始训练,从而,模型管理实体和/或模型推理实体在之后有请求该推理模型的网络数据的需求时,可以通过向数据管理实体发送模型信息的方式请求网络数据,节省信令开销。
可选地,S530,模型训练实体向数据管理实体发送数据处理方法信息,对应地,数据管理实体接收来自模型训练实体的数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。有关数据处理方法信息的描述可以参考步骤S250的描述,在此不予赘述。
模型训练实体可以向数据管理实体发送数据处理配置消息,该数据处理配置消息包括该数据处理方法信息,该数据处理配置消息用于请求数据管理实体存储该数据管理实体。
在一种可能的实现方式中,模型训练实体可以在对该推理模型进行初始训练之前向该数据管理实体发送该数据处理配置消息。示例性地,模型训练实体接收来自模型管理实体的模型部署通知消息后,基于该模型部署通知消息生成该数据处理方法信息。
在另一种可能的实现方式中,模型训练实体可以在对该推理模型进行初始训练之后向该数据管理实体发送该数据处理配置消息。示例性地,模型训练实体完成对推理模型的初始训练后,可以根据初始训练过程中的经验生成该数据处理方法信息,从而能够提高数据处理的可靠性。
可选地,S540,模型管理实体、模型训练实体或者模型推理实体确定对推理模型进行训练。
有关确定对推理模型进行再训练的描述可以参考步骤S350的描述,在此不予赘述。
S550,模型训练实体向数据管理实体发送模型信息,对应地,数据管理实体接收来自模型训练实体的模型信息。
该模型信息可以用于指示数据管理实体返回数据描述信息对应的网络数据集。或者模型实体向数据实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据实体返回网络数据集。有关模型信息的内容可以参考步骤S220和步骤 S360的描述,在此不予赘述。
S560,模型训练实体向数据管理实体发送模型处理信息,对应地,数据管理实体接收来自模型训练实体的该模型处理信息。
该模型处理信息指示该推理模型用于进行模型训练。有关模型处理信息的内容可以参考步骤S230和步骤S370的描述,在此不予赘述。
S570,数据管理实体基于模型信息和对应关系信息向模型训练实体发送数据描述信息对应的第一网络数据集,对应地,模型训练实体接收来自数据管理实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型训练。有关步骤S570的内容可以参见步骤S240和S380的描述,在此不予赘述。
S580,模型训练实体基于第一网络数据集对该推理模型进行模型训练。
有关步骤S580的内容可以参见步骤S390的描述,在此不予赘述。
可选地,S590,模型训练实体向模型推理实体和/或模型管理实体发送训练完成通知消息,对应地,模型推理实体和/或模型管理实体接收来自模型训练实体的训练完成通知消息。
该训练完成通知消息可以通知模型推理实体和/或模型管理实体推理模型已完成训练。该训练完成通知消息中可以携带该推理模型的标识信息。
可选地,S5100,模型管理实体向数据管理实体发送第一请求信息,对应地,数据管理实体接收来自模型管理实体的该第一请求信息。
该第一请求信息请求数据管理实体删除该推理模型和数据描述信息的对应关系的信息。有关步骤S5100的内容可以参见步骤S3110的描述,在此不予赘述。
可选地,S5110,模型管理实体向数据管理实体发送第二请求信息,对应地,数据管理实体接收来自模型管理实体的该第二请求信息。
该第二请求信息请求数据实体删除至少一种数据处理方法的信息。有关步骤S5110的内容可以参见步骤S3120的描述,在此不予赘述。
基于本技术方案,数据管理实体从模型训练实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据管理实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型训练实体在对该推理模型进行至少一次的模型训练时,可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低传输开销。
另外,模型训练实体能够根据自身具备的专家经验生成该对应关系信息,能够提高该对应关系信息的可靠性。并且,模型训练实体还可以根据自己具备的数据处理的能力(例如计算能力、存储能力等)、先验知识等生成数据处理方法信息,即模型训练实体综合各种信息确定数据管理实体执行的数据处理的方式和/或数据处理对应的处理参数,提高数据处理的可靠性。
图6是本申请实施例提供的一种模型推理过程中数据传输的方法的示意性流程图。
S610,模型管理实体或模型训练实体生成或获取对应关系信息,向数据管理实体发送该对应关系信息,对应地,数据管理实体接收该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。模型管理实体或模型训练实体生成对应关系信息的方式可以参见步骤S210、S320和S520的描述,在此不予赘述。
可选地,S620,模型管理实体或模型训练实体生成数据处理方法信息,向数据管理实体发送该数据处理方法信息,对应地,数据管理实体接收该数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。模型管理实体或模型训练实体生成数据处理方法信息的方式可以参见步骤S250、S330和S530的描述,在此不予赘述。
可选地,S630,模型推理实体确定对推理模型进行模型推理。
示例性地,模型管理实体可以向模型推理实体发送模型部署消息,该模型部署消息用于部署推理模型。该模型部署消息可以携带以下信息中的至少一项:推理模型的推理类型、推理模型的标识信息、推理模型的模型地址。从而模型推理实体可以基于模型部署消息确定对推理模型进行模型推理。
S640,模型推理实体向数据管理实体发送模型信息,对应地,数据管理实体接收来自模型推理实体的模型信息。
该模型信息可以用于指示数据管理实体返回数据描述信息的网络数据集。或者模型实体向数据管理实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据管理实体返回网络数据集。有关模型信息的内容可以参考步骤S220和步骤S360的描述,在此不予赘述。
S650,模型训练实体向数据管理实体发送模型处理信息,对应地,数据管理实体接收来自模型训练实体的该模型处理信息。
该模型处理信息指示该推理模型用于进行模型推理。有关模型处理信息的内容可以参考步骤S230和步骤S370的描述,在此不予赘述。
S660,数据管理实体基于模型信息和对应关系信息向模型推理实体发送数据描述信息对应的第一网络数据集,对应地,模型推理实体接收来自数据管理实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型推理。有关步骤S580的内容可以参见步骤S240的描述,在此不予赘述。
S670,模型推理实体对该推理模型进行模型推理。
模型推理实体使用该第一网络数据集包括的网络数据对该推理模型进行模型推理。
可以理解的是,模型推理实体运行模型推理结束后,也可以向数据管理实体发送第一请求信息,请求数据管理实体删除推理模型和数据描述信息的对应关系的信息,和/或发送第二请求信息,请求数据管理实体删除该至少一种数据处理方法的信息。或者模型推理实体也可以向其它实体,例如模型管理实体发送通知消息,该通知消息用于通知推理模型运行结束,从而模型管理实体可以向数据管理实体发送第一请求信息和/或第二请求信息,有关第一请求信息的描述可以参见图2步骤S260的描述,有关第二请求信息的描述可以参见步骤S270的描述,在此不予赘述。
基于本技术方案,数据管理实体从模型训练实体或模型管理实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据管理实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型推理实体在对该推理模型进行模型推理时,可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低传输开销。
图7是本申请实施例提供的一种模型评估过程中数据传输的方法的示意性流程图。
S710,模型管理实体或模型训练实体生成或获取对应关系信息,向数据管理实体发送该对应关系信息,对应地,数据管理实体接收该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。模型管理实体或模型训练实体生成或获取对应关系信息的方式可以参见步骤S210、S320和S520的描述,在此不予赘述。
S720,模型管理实体或模型训练实体生成或获取数据处理方法信息,向数据管理实体发送该数据处理方法信息,对应地,数据管理实体接收该数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。模型管理实体或模型训练实体生成数据处理方法信息的方式可以参见步骤S250、S330和S530的描述,在此不予赘述。
S730,模型评估实体确定对推理模型进行模型评估。
示例性地,模型评估实体可以预先配置周期或者定时对推理模型进行模型评估,或者,模型推理实体可以向模型评估实体发送评估请求消息,该评估请求消息用于请求模型评估实体对该推理模型进行评估,从而,模型评估实体可以请求网络数据对该推理模型进行测试,确定该推理模型的性能是否能够可靠运行,或者该推理模型是否需要进行再训练。
S740,模型评估实体向数据管理实体发送模型信息,对应地,数据管理实体接收来自模型评估实体的模型信息。
该模型信息可以用于指示数据管理实体返回数据描述信息的网络数据集。或者模型评估实体向数据管理实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据管理实体返回网络数据集。有关模型信息的内容可以参考步骤S220的描述,在此不予赘述。
S750,模型评估实体向数据管理实体发送模型处理信息,对应地,数据管理实体接收来自模型评估实体的该模型处理信息。
该模型处理信息指示该推理模型用于进行模型评估。有关模型处理信息的内容可以参考步骤S230的描述,在此不予赘述。
S760,数据管理实体基于模型信息和对应关系信息向模型评估实体发送数据描述信息对应的第一网络数据集,对应地,模型评估实体接收来自数据管理实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型评估。有关步骤S760的内容可以参见步骤S240的描述,在此不予赘述。
S770,模型评估实体对该推理模型进行模型评估。
模型评估实体使用该第一网络数据集包括的网络数据对该推理模型进行模型评估。
可以理解的是,模型评估实体评估结束后,也可以向数据管理实体发送第一请求信息,请求数据管理实体删除推理模型和数据描述信息的对应关系的信息,和/或发送第二请求信息,请求数据管理实体删除至少一种数据处理方法的信息。或者模型评估实体也可以向其它实体,例如模型管理实体发送通知消息,该通知消息用于通知推理模型评估结束,从而模型管理实体可以向数据管理实体发送第一请求信息和/或第二请求信息,有关第一请求信息的描述可以参见图2步骤S260的描述,有关第二请求信息的描述可以参见步骤S270的描述,在此不予赘述。
基于本技术方案,数据管理实体从模型训练实体或模型管理实体接收对应关系信息, 根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据管理实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型评估实体在对该推理模型进行模型评估时,可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低传输开销。
图8是本申请实施例提供的一种模型测试过程中数据传输的方法的示意性流程图。
S810,模型管理实体或模型训练实体生成或获取对应关系信息,向数据管理实体发送该对应关系信息,对应地,数据管理实体接收该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。模型管理实体或模型训练实体生成或获取对应关系信息的方式可以参见步骤S210、S320和S520的描述,在此不予赘述。
S820,模型管理实体或模型训练实体生成或获取数据处理方法信息,向数据管理实体发送该数据处理方法信息,对应地,数据管理实体接收该数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。模型管理实体或模型训练实体生成或获取数据处理方法信息的方式可以参见步骤S250、S330和S530的描述,在此不予赘述。
S830,模型测试实体确定对推理模型进行模型测试。
该模型测试实体可以是独立的用于进行模型测试的实体,或者该模型测试实体是其它模型实体,例如模型训练实体或者模型管理实体中的功能模块,本申请对此不作特别限定。
示例性地,模型测试实体可以预先配置周期或者定时对推理模型进行模型测试,或者,模型管理实体可以在发送模型部署消息之前向模型测试实体发送测试请求消息,或者模型推理实体在运行推理模型之前可以向模型测试实体发送测试请求消息,或者模型训练实体在完成对推理模型的模型训练后可以向模型测试实体发送测试请求消息,该测试请求消息用于请求模型测试实体对该推理模型进行测试,从而,模型测试实体可以请求网络数据对该推理模型进行测试,确定该推理模型的性能是否达到预期。
S840,模型测试实体向数据管理实体发送模型信息,对应地,数据管理实体接收来自模型测试实体的模型信息。
该模型信息可以用于指示数据管理实体返回数据描述信息的网络数据集。或者模型测试实体向数据管理实体发送数据查询消息,该数据查询消息包括该模型信息,该数据查询消息可以用于请求数据管理实体返回网络数据集。有关模型信息的内容可以参考步骤S220的描述,在此不予赘述。
S850,模型测试实体向数据管理实体发送模型处理信息,对应地,数据管理实体接收来自模型测试实体的该模型处理信息。
该模型处理信息指示该推理模型用于进行模型测试。有关模型处理信息的内容可以参考步骤S230的描述,在此不予赘述。
S860,数据管理实体基于模型信息和对应关系信息向模型测试实体发送数据描述信息对应的第一网络数据集,对应地,模型测试实体接收来自数据管理实体的该第一网络数据集。
该第一网络数据集用于对推理模型进行模型测试。有关步骤S860的内容可以参见步骤S240的描述,在此不予赘述。
S870,模型测试实体对该推理模型进行测试测试。
模型测试实体使用该第一网络数据集包括的网络数据对该推理模型进行模型测试。
可以理解的是,模型测试实体测试推理模型结束后,也可以向数据管理实体发送第一请求信息,请求数据管理实体删除推理模型和数据描述信息的对应关系的信息,和/或发送第二请求信息,请求数据管理实体删除该至少一种数据处理方法的信息。或者模型测试实体也可以向其它实体,例如模型管理实体发送通知消息,该通知消息用于通知推理模型测试结束,从而模型管理实体可以向数据管理实体发送第一请求信息和/或第二请求信息,有关第一请求信息的描述可以参见图2步骤S260的描述,有关第二请求信息的描述可以参见步骤S270的描述,在此不予赘述。
基于本技术方案,数据管理实体从模型训练实体或模型管理实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据管理实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型测试实体在对该推理模型进行模型测试时,可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低传输开销。
在图2至图8提供的实施例中,数据管理实体从模型训练实体或模型管理实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,从而在模型推理的各个过程中,例如模型推理、模型训练、模型评估或者模型测试等需要请求网络数据的模型处理的过程中,相应的模型实体均可以通过向数据管理实体发送该推理模型对应的模型信息的方式获取网络数据集,能够降低了模型实体向数据管理实体发送信息的方向上的传输开销。本申请还提供了一种数据传输的方法,模型实体可以向数据实体提供处理数据的方法,从而数据实体可以对模型实体请求的网络数据进行数据处理后返回,使得返回的网络数据的质量得以提高和/或数据量的大小得以减小。
图9是本申请实施例提供的一种数据传输的方法900的示意性流程图。
S910,模型实体向数据实体发送数据处理方法信息,对应地,数据实体接收来自模型实体的该数据处理方法信息。
该数据处理方法信息指示至少一种数据处理方法。
其中,模型实体实现的功能可以由图1所示的模型推理实体、模型训练实体、模型管理实体或模型评估实体中的一项或多项实现,数据实体实现的功能可以由图1中所示的数据管理实体实现。
示例性地,该数据处理方法信息由模型管理实体生成或获取,例如,模型管理实体可以预先配置该数据处理方法信息。或者该推理模型的模型文件中包括该数据处理方法信息,模型管理实体可以从模型文件中获取该数据处理方法信息。或者,模型管理实体从其它实体接收该数据处理方法信息。本申请对模型管理实体生成、获取或者接收对应关系信息的方式不作特别限定。
再示例性地,该数据处理方法信息由模型训练实体生成或获取,例如,模型训练实体可以预先配置该数据处理方法信息。或者该推理模型的模型文件中包括该数据处理方法信息,模型训练实体可以从模型文件中获取该数据处理方法信息。或者,模型训练实体从其它实体接收该数据处理方法信息。或者,模型训练实体根据自身的专家经验或者历史训练数据生成该数据处理方法信息。或者,模型训练实体根据之前数据实体返回的网络数据集 的特性生成该数据处理方法信息。本申请对模型管理实体生成、获取或者接收数据处理方法信息的方式不作特别限定。
有关数据处理方法信息的描述可以参考图2中步骤S230、图3中步骤S330、图5中步骤S530的描述,在此不予赘述。
可选地,S920,模型实体向数据实体发送对应关系信息,对应地,数据实体接收来自该模型实体的该对应关系信息。
该对应关系信息指示推理模型和数据描述信息的对应关系。
该对应关系信息可以由模型管理实体或模型训练实体生成或者获取,有关对应关系信息的描述可以参考图2中步骤S210、图3中步骤S310、图5中步骤S510的描述,在此不予赘述。
S930,模型实体向数据实体发送数据查询信息,对应地,数据实体接收来自模型实体的该数据查询信息。
该数据查询信息用于请求推理模型对应的网络数据集。
示例性地,该数据查询信息可以包括请求的网络数据集对应的数据描述信息,例如该数据描述信息可以是至少一个数据字段。
再示例地,在数据实体接收来自模型实体的对应关系信息的情况下,该数据查询信息可以包括模型信息,从而数据实体可以根据模型实体和对应关系信息索引到请求的网络数据,有关模型信息的描述可以参考图2中步骤S220、图3中步骤S360、图5中步骤S550、图6中的步骤S640、图7中的步骤S740以及图8中的步骤S840中的描述,在此不予赘述。
也就是说,数据实体可以在模型推理的各个过程中,例如模型推理、模型训练、模型评估或者模型测试等过程中请求网络数据。
在一种可能的方式中,该数据查询信息还包括模型处理信息,该模型处理信息指示推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。有关模型处理信息的描述可以参考图2中步骤S230、图3中步骤S370、图5中步骤S530、图6中的步骤S650、图7中的步骤S750以及图8中的步骤S850中的描述,在此不予赘述。
S940,数据实体基于该数据查询信息获取第二网络数据集,并基于该数据处理方法信息对该第二网络数据集进行数据处理,以生成第一网络数据集,向模型实体发送该第一网络数据集,对应地,模型实体接收来自该数据实体的该第一网络数据集。
数据实体可以根据数据查询信息中的数据描述信息获取第二网络数据集,或者数据实体可以根据数据查询信息中的模型信息获取第二网络数据集,并根据数据处理方法信息中指示的方式对第二网络数据集进行数据处理,以生成第一网络数据集,有关数据处理的方式可以参考图2中步骤S240、图3中步骤S380、图5中步骤S570中的描述,在此不予赘述。
可选地,S950,模型实体向数据实体发送第一请求信息,对应地,数据实体接收来自模型实体的该第一请求信息。
该第一请求信息请求数据实体删除该对应关系信息。
从而数据实体可以基于该第一请求信息删除该对应关系信息。
可选地,S960,模型实体向数据实体发送第二请求信息,对应地,数据实体接收来自模型实体的该第二请求信息。
该第二请求信息请求数据实体删除数据处理方法信息。
从而数据实体可以基于该第二请求信息删除该数据处理方法信息。
有关第一请求信息和第二请求信息的描述可以参考图2中步骤S260和步骤S270中的描述,在此不予赘述。
从而,数据实体基于数据处理方法信息进行的数据处理可以用于使得生成的第一网络数据集的质量高于第二网络数据集,和/或,该数据处理可以用于使得生成的第一网络数据集的数据量小于第二网络数据集,能够提升网络数据的质量和/或降低接口的开销。
可以理解的是,图9也可以采用与图3至图8类似的实现方式,在此不予赘述。
图10和图11为本申请实施例提供的可能的通信装置的结构示意图。这些通信装置可以用于实现上述方法实施例中模型认证实体、模型管理实体的功能,因此也能实现上述方法实施例所具备的有益效果。在本申请的实施例中,该通信装置可以是模型认证实体、模型管理实体,还可以是应用于模型认证实体、模型管理实体中的模块(如芯片)。
如图10所示,通信装置1000包括处理模块1010和收发模块1020。通信装置1000用于实现上述图2至图8中所示的方法实施例中模型实体的功能。或者,通信装置1000可以包括用于实现上述图2至图8中所示的方法实施例中模型实体的任一功能或操作的模块,该模块可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。
当通信装置1000用于实现图2至图8所示的方法实施例中模型实体的功能时,收发模块1020,用于接收来自模型实体的对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;该收发模块1020,还用于接收来自该模型实体的该推理模型对应的模型信息;处理模块,用于基于该模型信息和该对应关系信息向该模型实体发送该数据描述信息对应的第一网络数据集,该第一网络数据集用于对该推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
有关上述处理模块1010和收发模块1020更详细的描述可以直接参考图2至图8所示的方法实施例中相关描述直接得到,这里不加赘述。
当通信装置1000用于实现图2至图8所示的方法实施例中数据实体的功能时,处理模块1010,用于生成或者获取对应关系信息,该对应关系信息指示推理模型和数据描述信息的对应关系;收发模块,用于向数据实体发送该对应关系信息;该收发模块1020,还用于向该数据实体发送该推理模型对应的模型信息;该收发模块1020,还用于接收来自该数据实体的该数据描述信息对应的第一网络数据集,该第一网络数据集用于对该推理模型进行模型处理。
基于本技术方案,数据实体从模型实体接收对应关系信息,根据对应关系信息获知推理模型和数据描述信息之间的对应关系,进而数据实体能够基于该推理模型对应的模型信息和该对应关系信息索引到数据描述信息对应的第一网络数据集,进而,模型实体在每次 需要获取网络数据集时,模型实体可以通过向数据实体发送该推理模型对应的模型信息的方式获取该网络数据集,能够降低传输开销。
有关上述处理模块1010和收发模块1020更详细的描述可以直接参考图2至图8所示的方法实施例中相关描述直接得到,这里不加赘述。
当通信装置1000用于实现图9所示的方法实施例中数据实体的功能时,收发模块1020,接收来自模型实体的数据处理信息,该数据处理信息指示至少一种数据处理方法;该收发模块1020,还用于接收来自该模型实体的数据查询信息,该数据查询信息用于请求该推理模型对应的网络数据集;处理模块1010,用于基于该数据查询消息获取第二网络数据集,并基于该数据处理方法信息对该第二网络数据集进行数据处理,以生成第一网络数据集;该收发模块1020,还用于向该模型实体发送该第一网络数据集。
基于本技术方案,数据实体可以基于数据查询信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
有关上述处理模块1010和收发模块1020更详细的描述可以直接参考图9所示的方法实施例中相关描述直接得到,这里不加赘述。
当通信装置1000用于实现图9所示的方法实施例中模型实体的功能时,处理模块1010,用于生成或者获取数据处理方法信息,该数据处理方法信息指示至少一种数据处理方法;收发模块1020,向数据实体发送该数据处理方法信息;收发模块1020,还用于向该数据实体发送数据查询信息,该数据查询信息用于请求推理模型对应的网络数据集;收发模块1020,还用于接收来自该数据实体响应于该数据查询信息的第一网络数据集,该第一网络数据集是基于该数据处理方法信息生成的。
基于本技术方案,数据实体可以基于数据查询信息获取第二网络数据集,对第二网络数据集进行数据处理后再返回给模型实体,能够提升网络数据的质量和/或降低接口的开销。
有关上述处理模块1010和收发模块1020更详细的描述可以直接参考图9所示的方法实施例中相关描述直接得到,这里不加赘述。
如图11所示,通信装置1100包括处理器1110和接口电路1120。处理器1110和接口电路1120之间相互耦合。可以理解的是,接口电路1120可以为收发器或输入输出接口。可选的,通信装置1100还可以包括存储器1130,用于存储处理器1110执行的指令或存储处理器1110运行指令所需要的输入数据或存储处理器1110运行指令后产生的数据。
当通信装置1100用于实现图2至图9的方法时,处理器1110用于实现上述处理模块1010的功能,接口电路1120用于实现上述收发模块1020的功能。
当通信装置1100用于实现图2至图9所示的方法时,通信装置1100包括处理器1110和接口电路1120。处理器1110和接口电路1120之间相互耦合。可以理解的是,接口电路1120可以为收发器或输入输出接口。可选的,通信装置1100还可以包括存储器1130,用于存储处理器1110执行的指令或存储处理器1110运行指令所需要的输入数据或存储处理器1110运行指令后产生的数据。
当通信装置1100用于实现图2至图9所示的方法时,处理器1110用于实现上述处理模块1010的功能,接口电路1120用于实现上述收发模块1020的功能。
当上述通信装置为应用于模型实体的芯片时,该模型实体芯片实现上述方法实施例中模型实体的功能。该模型实体芯片从模型实体中的其它模块(如射频模块或天线)接收信息,该信息是数据实体发送给模型实体的;或者,该模型实体芯片向模型实体中的其它模块(如射频模块或天线)发送信息,该信息是模型实体发送给数据实体的。
当上述通信装置为应用于数据实体的芯片时,该数据实体芯片实现上述方法实施例中数据实体的功能。该数据实体芯片从数据实体中的其它模块(如射频模块或天线)接收信息,该信息是模型实体发送给数据实体的;或者,该数据实体向数据实体中的其它模块(如射频模块或天线)发送信息,该信息是数据实体发送给模型实体的。
可以理解的是,本申请的实施例中的处理器可以是中央处理模块(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其它可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。通用处理器可以是微处理器,也可以是任何常规的处理器。
本申请的实施例中存储器可以是随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于网络设备或终端设备中。当然,处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、终端设备、或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,DVD;还可以是半导体介质,例如,固态硬盘(solid state disk,SSD)。
在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
应理解,在本申请实施例中,编号“第一”、“第二”…仅仅为了区分不同的对象,比如为了区分不同的网络设备,并不对本申请实施例的范围构成限制,本申请实施例并不限于此。
还应理解,在本申请中,“当…时”、“若”以及“如果”均指在某种客观情况下实体会做 出相应的处理,并非是限定时间,且也不要求实体实现时一定要有判断的动作,也不意味着存在其它限定。
还应理解,在本申请各实施例中,“A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
还应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,在本申请的各种实施例中,“指示”可以包括直接指示和间接指示,也可以包括显式指示和隐式指示。将某一信息(例如上文所述的对应关系信息)所指示的信息称为待指示信息,则具体实现过程中,对待指示信息进行指示的方式有很多种,例如但不限于,可以直接指示待指示信息,如待指示信息本身或者该待指示信息的索引等。也可以通过指示其他信息来间接指示待指示信息,其中该其他信息与待指示信息之间存在关联关系。还可以仅仅指示待指示信息的一部分,而待指示信息的其他部分则是已知的或者提前约定的。例如,还可以借助预先约定(例如协议规定)的各个信息的排列顺序来实现对特定信息的指示,从而在一定程度上降低指示开销。
还应理解,在本申请的各种实施例中,“预先配置”可以通过在设备(例如,数据实体)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
本申请中出现的类似于“项目包括如下中的一项或多项:A,B,以及C”表述的含义,如无特别说明,通常是指该项目可以为如下中任一个:A;B;C;A和B;A和C;B和C;A,B和C;A和A;A,A和A;A,A和B;A,A和C,A,B和B;A,C和C;B和B,B,B和B,B,B和C,C和C;C,C和C,以及其他A,B和C的组合。以上是以A,B和C共3个元素进行举例来说明该项目的可选用条目,当表达为“项目包括如下中至少一种:A,B,……,以及X”时,即表达中具有更多元素时,那么该项目可以适用的条目也可以按照前述规则获得。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。

Claims (54)

  1. 一种数据传输的方法,其特征在于,所述方法包括:
    数据实体接收来自模型实体的对应关系信息,所述对应关系信息指示推理模型和数据描述信息的对应关系;
    所述数据实体接收来自所述模型实体的所述推理模型对应的模型信息;
    所述数据实体基于所述模型信息和所述对应关系信息向所述模型实体发送所述数据描述信息对应的第一网络数据集,所述第一网络数据集用于对所述推理模型进行模型处理。
  2. 如权利要求1所述的方法,其特征在于,所述模型信息包括以下信息中的至少一项:所述推理模型的标识信息、所述推理模型的推理类型。
  3. 如权利要求1或2所述的方法,其特征在于,所述数据描述信息包括至少一个数据字段,所述第一网络数据集包括所述至少一个数据字段对应的网络数据。
  4. 如权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
    所述数据实体基于所述模型信息和所述对应关系信息获取第二网络数据集;
    所述数据实体对所述第二网络数据集进行数据处理,以生成所述第一网络数据集。
  5. 如权利要求4所述的方法,其特征在于,所述方法还包括:
    所述数据实体接收来自所述模型实体的数据处理方法信息,所述数据处理方法信息指示至少一种数据处理方法,所述至少一种数据处理方法用于对网络数据集进行数据处理;
    所述数据实体对所述第二网络数据集进行数据处理,包括:
    所述数据实体采用所述至少一种数据处理方法中的一种或多种对所述第二网络数据集进行数据处理。
  6. 如权利要求4或5所述的方法,其特征在于,所述至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
  7. 如权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
    所述数据实体接收来自所述模型实体的模型处理信息,所述模型处理信息指示所述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;
    所述数据实体基于所述模型信息和所述对应关系信息向所述模型实体发送所述第一网络数据集,包括:
    所述数据实体基于所述模型信息、所述对应关系信息和所述模型处理信息向所述模型实体发送所述第一网络数据集。
  8. 如权利要求1至7中任一项所述的方法,其特征在于,所述对应关系信息还指示所述数据描述信息和所述推理模型用于进行的所述模型处理之间的对应关系。
  9. 如权利要求1至8中任一项所述的方法,其特征在于,所述方法还包括:
    所述数据实体接收来自所述模型实体的第一请求信息,所述第一请求信息请求所述数据实体删除所述推理模型和所述数据描述信息的对应关系的信息。
  10. 如权利要求5至9中任一项所述的方法,其特征在于,所述方法还包括:
    所述数据实体接收来自所述模型实体的第二请求信息,所述第二请求信息请求所述数据实体删除所述至少一种数据处理方法的信息。
  11. 一种数据传输的方法,其特征在于,所述方法包括:
    模型实体生成或者获取对应关系信息,所述对应关系信息指示推理模型和数据描述信 息的对应关系;
    所述模型实体向数据实体发送所述对应关系信息;
    所述模型实体向所述数据实体发送所述推理模型对应的模型信息;
    所述模型实体接收来自所述数据实体的所述数据描述信息对应的第一网络数据集,所述第一网络数据集用于对所述推理模型进行模型处理。
  12. 如权利要求11所述的方法,其特征在于,所述模型信息包括以下信息中的至少一项:所述推理模型的标识信息、所述推理模型的推理类型。
  13. 如权利要求11或12所述的方法,其特征在于,所述数据描述信息包括至少一个数据字段,所述第一网络数据集包括所述至少一个数据字段对应的网络数据。
  14. 如权利要求12或13所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送数据处理方法信息,所述数据处理方法信息指示至少一种数据处理方法,所述至少一种数据处理方法用于对网络数据集进行数据处理。
  15. 如权利要求14所述的方法,其特征在于,所述至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
  16. 如权利要求11至15中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送模型处理信息,所述模型处理信息指示所述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
  17. 如权利要求11至16中任一项所述的方法,其特征在于,所述对应关系信息还指示所述数据描述信息和所述推理模型用于进行的所述模型处理之间的对应关系。
  18. 如权利要求11至17中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送第一请求信息,所述第一请求信息请求所述数据实体删除所述推理模型和所述数据描述信息的对应关系的信息。
  19. 如权利要求14至18中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送第二请求信息,所述第二请求信息请求删除所述至少一种数据处理方法的信息。
  20. 一种数据传输的方法,其特征在于,
    模型实体生成或者获取对应关系信息,所述对应关系信息指示推理模型和数据描述信息的对应关系;
    所述模型实体向数据实体发送所述对应关系信息,数据实体接收来自模型实体的对应关系信息;
    所述模型实体向所述数据实体发送所述推理模型对应的模型信息,所述数据实体接收来自所述模型实体的所述推理模型对应的模型信息;
    所述数据实体基于所述模型信息和所述对应关系信息向所述模型实体发送所述数据描述信息对应的第一网络数据集,所述模型实体接收来自所述数据实体的所述数据描述信息对应的第一网络数据集,所述第一网络数据集用于对所述推理模型进行模型处理。
  21. 如权利要求20所述的方法,其特征在于,所述模型信息包括以下信息中的至少一项:所述推理模型的标识信息、所述推理模型的推理类型。
  22. 如权利要求20或21所述的方法,其特征在于,所述数据描述信息包括至少一个数据字段,所述第一网络数据集包括所述至少一个数据字段对应的网络数据。
  23. 如权利要求20至23中任一项所述的方法,其特征在于,所述方法还包括:
    所述数据实体基于所述模型信息和所述对应关系信息获取第二网络数据集;
    所述数据实体对所述第二网络数据集进行数据处理,以生成所述第一网络数据集。
  24. 如权利要求23所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送数据处理方法信息,所述数据实体接收来自所述模型实体的数据处理方法信息,所述数据处理方法信息指示至少一种数据处理方法,所述至少一种数据处理方法用于对网络数据集进行数据处理;
    所述数据实体对所述第二网络数据集进行数据处理,包括:
    所述数据实体采用所述至少一种数据处理方法中的一种或多种对所述第二网络数据集进行数据处理。
  25. 如权利要求23或24所述的方法,其特征在于,所述至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
  26. 如权利要求20至25中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送模型处理信息,所述数据实体接收来自所述模型实体的模型处理信息,所述模型处理信息指示所述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;
    所述数据实体基于所述模型信息和所述对应关系信息向所述模型实体发送所述第一网络数据集,包括:
    所述数据实体基于所述模型信息、所述对应关系信息和所述模型处理信息向所述模型实体发送所述第一网络数据集。
  27. 如权利要求20至26中任一项所述的方法,其特征在于,所述对应关系信息还指示所述数据描述信息和所述推理模型用于进行的所述模型处理之间的对应关系。
  28. 如权利要求20至27中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送第一请求信息,所述数据实体接收来自所述模型实体的第一请求信息,所述第一请求信息请求所述数据实体删除所述推理模型和所述数据描述信息的对应关系的信息。
  29. 如权利要求24至28中任一项所述的方法,其特征在于,所述方法还包括:
    所述模型实体向所述数据实体发送第二请求信息,所述数据实体接收来自所述模型实体的第二请求信息,所述第二请求信息请求所述数据实体删除所述至少一种数据处理方法的信息。
  30. 一种数据传输的装置,其特征在于,包括:
    收发模块,用于接收来自模型实体的对应关系信息,所述对应关系信息指示推理模型和数据描述信息的对应关系;
    所述收发模块,还用于接收来自所述模型实体的所述推理模型对应的模型信息;
    处理模块,用于基于所述模型信息和所述对应关系信息向所述模型实体发送所述数据描述信息对应的第一网络数据集,所述第一网络数据集用于对所述推理模型进行模型处理。
  31. 如权利要求30所述的装置,其特征在于,所述模型信息包括以下信息中的至少一项:所述推理模型的标识信息、所述推理模型的推理类型。
  32. 如权利要求30或31所述的装置,其特征在于,所述数据描述信息包括至少一个 数据字段,所述第一网络数据集包括所述至少一个数据字段对应的网络数据。
  33. 如权利要求30至32中任一项所述的装置,其特征在于,
    所述处理模块,还用于基于所述模型信息和所述对应关系信息获取第二网络数据集;
    所述处理模块,还用于对所述第二网络数据集进行数据处理,以生成所述第一网络数据集。
  34. 如权利要求33所述的装置,其特征在于,
    所述收发模块,还用于接收来自所述模型实体的数据处理方法信息,所述数据处理方法信息指示至少一种数据处理方法,所述至少一种数据处理方法用于对网络数据集进行数据处理;
    所述处理模块,用于采用所述至少一种数据处理方法中的一种或多种对所述第二网络数据集进行数据处理。
  35. 如权利要求33或34所述的装置,其特征在于,所述至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
  36. 如权利要求30至35中任一项所述的装置,其特征在于,
    所述收发模块,还用于接收来自所述模型实体的模型处理信息,所述模型处理信息指示所述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试;
    所述处理模块,用于基于所述模型信息、所述对应关系信息和所述模型处理信息向所述模型实体发送所述第一网络数据集。
  37. 如权利要求30至36中任一项所述的装置,其特征在于,所述对应关系信息还指示所述数据描述信息和所述推理模型用于进行的所述模型处理之间的对应关系。
  38. 如权利要求30至37中任一项所述的装置,其特征在于,
    所述收发模块,还用于接收来自所述模型实体的第一请求信息,所述第一请求信息请求所述数据实体删除所述推理模型和所述数据描述信息的对应关系的信息。
  39. 如权利要求36至38中任一项所述的装置,其特征在于,
    所述收发模块,还用于接收来自所述模型实体的第二请求信息,所述第二请求信息请求所述数据实体删除所述至少一种数据处理方法的信息。
  40. 一种数据传输的装置,其特征在于,包括:
    处理模块,用于生成或者获取对应关系信息,所述对应关系信息指示推理模型和数据描述信息的对应关系;
    收发模块,用于向数据实体发送所述对应关系信息;
    所述收发模块,还用于向所述数据实体发送所述推理模型对应的模型信息;
    所述收发模块,还用于接收来自所述数据实体的所述数据描述信息对应的第一网络数据集,所述第一网络数据集用于对所述推理模型进行模型处理。
  41. 如权利要求40所述的装置,其特征在于,所述模型信息包括以下信息中的至少一项:所述推理模型的标识信息、所述推理模型的推理类型。
  42. 如权利要求40或41所述的装置,其特征在于,所述数据描述信息包括至少一个数据字段,所述第一网络数据集包括所述至少一个数据字段对应的网络数据。
  43. 如权利要求40至42中任一项所述的装置,其特征在于,
    所述收发模块,还用于向所述数据实体发送数据处理方法信息,所述数据处理方法信息指示至少一种数据处理方法,所述至少一种数据处理方法用于对网络数据集进行数据处理。
  44. 如权利要求43所述的装置,其特征在于,所述至少一种数据处理方法包括以下至少一项:缺失数据处理、去重处理、过滤处理、合并处理或量化处理。
  45. 如权利要求40至44中任一项所述的装置,其特征在于,
    所述收发模块,还用于向所述数据实体发送模型处理信息,所述模型处理信息指示所述推理模型用于进行以下模型处理中的至少一项:模型训练、模型推理、模型评估或模型测试。
  46. 如权利要求40至45中任一项所述的装置,其特征在于,所述对应关系信息还指示所述数据描述信息和所述推理模型用于进行的所述模型处理之间的对应关系。
  47. 如权利要求40至46中任一项所述的装置,其特征在于,
    所述收发模块,还用于向所述数据实体发送第一请求信息,所述第一请求信息请求所述数据实体删除所述推理模型和所述数据描述信息的对应关系的信息。
  48. 如权利要求45至47中任一项所述的装置,其特征在于,
    所述收发模块,还用于向所述数据实体发送第二请求信息,所述第二请求信息请求删除所述至少一种数据处理方法的信息。
  49. 一种通信装置,其特征在于,包括至少一个处理器,所述至少一个处理器用于执行存储器中存储的计算机程序,以使得所述装置实现如权利要求1至10、或者权利要求11至19中任一项所述的方法。
  50. 一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至10、或者权利要求11至19中任一项所述的方法。
  51. 一种数据传输的通信系统,其特征在于,包括如权利要求30至39中任一项所述的通信装置以及权利要求40至48中任一项所述的通信装置。
  52. 一种计算机程序产品,其特征在于,包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机实现如权利要求1至10中任一项所述的方法或使得所述计算机实现如权利要求11至19中任一项所述的方法。
  53. 一种通信装置,其特征在于,包括:处理器,用于执行存储器中存储的计算机程序,以使得所述装置执行如权利要求1至10中任一项所述的方法,或者以使得所述装置执行如权利要求11至19中任一项所述的方法。
  54. 如权利要求53所述的装置,其特征在于,所述装置还包括所述存储器。
PCT/CN2023/099816 2022-06-15 2023-06-13 一种数据传输的方法、通信装置和通信系统 WO2023241537A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210672175.1A CN117278419A (zh) 2022-06-15 2022-06-15 一种数据传输的方法、通信装置和通信系统
CN202210672175.1 2022-06-15

Publications (1)

Publication Number Publication Date
WO2023241537A1 true WO2023241537A1 (zh) 2023-12-21

Family

ID=89192252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/099816 WO2023241537A1 (zh) 2022-06-15 2023-06-13 一种数据传输的方法、通信装置和通信系统

Country Status (2)

Country Link
CN (1) CN117278419A (zh)
WO (1) WO2023241537A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057175A1 (en) * 2018-09-20 2020-03-26 Huawei Technologies Co., Ltd. Knowledge-based management of recognition models in artificial intelligence systems
CN112529167A (zh) * 2020-12-25 2021-03-19 东云睿连(武汉)计算技术有限公司 一种神经网络交互式自动训练系统和方法
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置
CN114143799A (zh) * 2020-09-03 2022-03-04 华为技术有限公司 通信方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020057175A1 (en) * 2018-09-20 2020-03-26 Huawei Technologies Co., Ltd. Knowledge-based management of recognition models in artificial intelligence systems
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置
CN114143799A (zh) * 2020-09-03 2022-03-04 华为技术有限公司 通信方法及装置
CN112529167A (zh) * 2020-12-25 2021-03-19 东云睿连(武汉)计算技术有限公司 一种神经网络交互式自动训练系统和方法

Also Published As

Publication number Publication date
CN117278419A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US11523288B2 (en) Data analysis apparatus, system, and method
US20200401945A1 (en) Data Analysis Device and Multi-Model Co-Decision-Making System and Method
US11290344B2 (en) Policy-driven method and apparatus
US10594379B2 (en) Facilitating an enhanced resource indicator for channel state reporting in a wireless communication system
US20210410161A1 (en) Scheduling method and apparatus in communication system, and storage medium
US20210083900A1 (en) Dynamic intelligent analytics vpn instantiation and/or aggregation employing secured access to the cloud network device
WO2022061940A1 (zh) 一种模型数据传输方法及通信装置
WO2019032186A1 (en) FACILITATING A COMPACT SIGNALING DESIGN FOR RESERVED RESOURCE CONFIGURATION IN WIRELESS COMMUNICATION SYSTEMS
US20240031930A1 (en) Network slice admission control method and apparatus
WO2023155481A1 (zh) 无线通信网络知识图谱的智能分析与应用系统及方法
WO2023241537A1 (zh) 一种数据传输的方法、通信装置和通信系统
CN113115478B (zh) 空口数据的获取方法、装置及bbu
WO2023125736A1 (zh) 一种传输信息的方法,射频装置和控制装置
WO2022188670A1 (zh) 网络分析转移方法、装置及网络功能实体
WO2022037667A1 (zh) 多频段通讯方法、装置、存储介质及处理器
WO2022246793A1 (en) A classifier model for determining a network status of a communication network from log data
CN117044375A (zh) 通信网络中的方法和节点
US11595281B2 (en) Data latency evaluation
WO2024041117A1 (zh) 一种计算任务的分割方法及相关装置
WO2024092814A1 (en) Communication of information for optimizing data samples for model training
WO2023098476A1 (zh) 网络质差用户的判断方法、装置、电子设备及存储介质
WO2023185452A1 (zh) 一种通信方法和通信装置
US20230254723A1 (en) Data transmission method and communication apparatus
WO2024098264A1 (zh) 波束管理方法、装置、设备、存储介质及程序产品
WO2023066346A1 (zh) 一种通信方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823105

Country of ref document: EP

Kind code of ref document: A1