WO2025237166A1 - 性能监视处理方法、装置、终端及网络侧设备 - Google Patents

性能监视处理方法、装置、终端及网络侧设备

Info

Publication number
WO2025237166A1
WO2025237166A1 PCT/CN2025/093636 CN2025093636W WO2025237166A1 WO 2025237166 A1 WO2025237166 A1 WO 2025237166A1 CN 2025093636 W CN2025093636 W CN 2025093636W WO 2025237166 A1 WO2025237166 A1 WO 2025237166A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
unit
information
data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2025/093636
Other languages
English (en)
French (fr)
Inventor
周通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of WO2025237166A1 publication Critical patent/WO2025237166A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/08—Mobility data transfer
    • H04W8/14—Mobility data transfer between corresponding nodes

Definitions

  • This application belongs to the field of communication technology, and specifically relates to a performance monitoring and processing method, apparatus, terminal and network-side equipment.
  • AI Artificial Intelligence
  • CSI channel state information
  • AI-based beam management AI-based beam management
  • AI-based positioning AI-based energy saving
  • AI-based load balancing AI-based load balancing
  • This application provides a performance monitoring processing method, apparatus, terminal, and network-side device, which can solve the problems of the inability to obtain the true value or the large measurement overhead caused by obtaining the true value.
  • a performance monitoring processing method including:
  • the first device receives first information from the second device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • a performance monitoring and processing method including:
  • the second device sends first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • a performance monitoring and processing method including:
  • the third device receives second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; and a second data set.
  • the third device performs performance monitoring on the target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • a performance monitoring and processing method including:
  • the fourth device receives third information from the third device
  • the fourth device obtains the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • a performance monitoring and processing device applied to a first device, the device comprising:
  • the first receiving module is configured to receive first information from the second device, wherein the first information is used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • a performance monitoring and processing device for use in a second device, the device comprising:
  • the second sending module is used to send first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • a performance monitoring and processing apparatus for use in a third device, the apparatus comprising:
  • the third receiving module is configured to receive second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; and a second data set.
  • the first processing module is used to monitor the performance of the target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • a performance monitoring and processing apparatus for use in a fourth device, the apparatus comprising:
  • the fourth receiving module is used to receive third information from the third device
  • the second processing module is used to obtain the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • a ninth aspect provides a performance monitoring processing apparatus configured to perform the steps of the method described in the first aspect, or implement the steps of the method described in the second aspect, or implement the steps of the method described in the third aspect, or implement the steps of the method described in the fourth aspect.
  • a terminal including a processor and a memory, the memory storing a program or instructions executable on the processor, the program or instructions, when executed by the processor, implementing the steps of the method as described in the first aspect, or the steps of the method as described in the second aspect, or the steps of the method as described in the third aspect, or the steps of the method as described in the fourth aspect.
  • a terminal including a processor and a communication interface, wherein,
  • the communication interface is used to receive first information from a second device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object;
  • the communication interface is used to send first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object;
  • the communication interface is used to receive second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; a second data set;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • the communication interface is used to receive third information from a third device
  • the processor is used to obtain the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, and the fourth device is used to calculate the target KPI of the target object.
  • the first AI unit is used to reason to obtain evaluation-related information, which is used to determine the target key performance indicator (KPI) of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • a network-side device including a processor and a memory, the memory storing a program or instructions executable on the processor, the program or instructions, when executed by the processor, implementing the steps of the method as described in the first aspect, or the steps of the method as described in the second aspect, or the steps of the method as described in the third aspect, or the steps of the method as described in the fourth aspect.
  • a network-side device including a processor and a communication interface, wherein...
  • the communication interface is used to receive first information from the second device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object;
  • the communication interface is used to send first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object;
  • the communication interface is used to receive second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; and a second data set.
  • the processor is used to monitor the performance of the target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • the communication interface is used to receive third information from the third device
  • the processor is used to obtain the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • a readable storage medium on which a program or instructions are stored, which, when executed by a processor, implement the steps of the method described in the first aspect, or the steps of the method described in the second aspect, or the steps of the method described in the third aspect, or the steps of the method described in the fourth aspect.
  • a wireless communication system comprising: a first device, a second device, a third device, and a fourth device, wherein the first device is configured to perform the steps of the method described in the first aspect, the second device is configured to perform the steps of the method described in the second aspect, the third device is configured to perform the steps of the method described in the third aspect, and the fourth device is configured to perform the steps of the method described in the fourth aspect.
  • a chip including a processor and a communication interface coupled to the processor, the processor being configured to run a program or instructions to implement the method as described in the first aspect, or the method as described in the second aspect, or the steps of the method as described in the third aspect, or the steps of the method as described in the fourth aspect.
  • a computer program/program product is provided, the computer program/program product being stored in a storage medium, the computer program/program product being executed by at least one processor to implement the steps of the method as described in the first aspect, or the steps of the method as described in the second aspect, or the steps of the method as described in the third aspect, or the steps of the method as described in the fourth aspect.
  • This application embodiment receives first information from a second device via a first device.
  • This first information instructs a first AI unit to perform performance monitoring on a target object.
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • KPIs target key performance indicators
  • the target object is used to implement use case functions and includes a second AI unit or a non-AI algorithm.
  • the first device implements the relevant functions of the target object, and the second device implements the control functions for monitoring the target object. In this way, performance monitoring of the target object is achieved by determining the target KPIs based on the evaluation-related information, eliminating the need to use monitoring measurement resources to obtain true values for performance monitoring, thereby reducing the measurement overhead of monitoring. Therefore, this application embodiment solves the problem of unobtainable true values or the high measurement overhead caused by obtaining true values.
  • Figure 1 is a block diagram of a wireless communication system applicable to an embodiment of this application
  • FIG. 2 is a schematic flowchart of a performance monitoring processing method provided in an embodiment of this application.
  • Figures 2a to 2d are example diagrams of different schemes that can be applied to a performance monitoring processing method provided in the embodiments of this application;
  • Figure 2e is an example diagram of the target data mapping relationship in a performance monitoring processing method provided in an embodiment of this application;
  • Figure 3 is a second schematic flowchart of a performance monitoring processing method provided in an embodiment of this application.
  • FIGS 3a to 3d are detailed flowcharts of the steps in Figure 3;
  • FIGS. 4a to 4i are flowchart examples of a performance monitoring processing method provided in an embodiment of this application.
  • Figure 5 is a third schematic flowchart of a performance monitoring processing method provided in an embodiment of this application.
  • Figure 6 is a fourth flowchart of a performance monitoring processing method provided in an embodiment of this application.
  • Figure 7 is a fifth flowchart illustrating a performance monitoring processing method provided in an embodiment of this application.
  • Figure 8 is a schematic diagram of one of the structures of a performance monitoring and processing device provided in an embodiment of this application.
  • Figure 9 is a second schematic diagram of the structure of a performance monitoring and processing device provided in an embodiment of this application.
  • Figure 10 is a third structural schematic diagram of a performance monitoring and processing device provided in an embodiment of this application.
  • Figure 11 is a fourth structural schematic diagram of a performance monitoring and processing device provided in an embodiment of this application.
  • Figure 12 is a schematic diagram of the structure of a communication device provided in an embodiment of this application.
  • Figure 13 is a schematic diagram of the structure of a terminal provided in an embodiment of this application.
  • Figure 14 is a schematic diagram of the structure of a network-side device provided in an embodiment of this application.
  • Figure 15 is a schematic diagram of another network-side device provided in an embodiment of this application.
  • first and second are used to distinguish similar objects and not to describe a specific order or sequence. It should be understood that such terms can be used interchangeably where appropriate so that embodiments of this application can be implemented in orders other than those illustrated or described herein, and the objects distinguished by “first” and “second” are generally of the same class, not limited in number; for example, the first object can be one or more.
  • “or” in this application indicates at least one of the connected objects.
  • the scope of protection for "A or B” covers at least three scenarios: Scenario 1: including A but not B; Scenario 2: including B but not A; Scenario 3: including both A and B.
  • the terms “A and/or B,” “at least one of A and B,” and “at least one of A or B” also cover at least the above three scenarios.
  • the character “/” generally indicates that the preceding and following objects are in an "or” relationship.
  • instruction in this application can be either a direct instruction (or explicit instruction) or an indirect instruction (or implicit instruction).
  • a direct instruction can be understood as one in which the sender explicitly informs the receiver of specific information, the operation to be performed, or the requested result, etc., in the instruction sent.
  • An indirect instruction can be understood as one in which the receiver determines the corresponding information based on the instruction sent by the sender, or makes a judgment and determines the operation to be performed or the requested result, etc., based on the judgment result.
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-Advanced
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • FDMA Frequency Division Multiple Access
  • OFDMA Orthogonal Frequency Division Multiple Access
  • SC-FDMA Single-carrier Frequency-Division Multiple Access
  • NR New Radio
  • FIG. 1 shows a block diagram of a wireless communication system applicable to an embodiment of this application.
  • the wireless communication system includes a terminal 11 and a network-side device 12.
  • Terminal 11 can be a mobile phone, tablet computer, laptop computer, notebook computer, personal digital assistant (PDA), handheld computer, netbook, ultra-mobile personal computer (UMPC), mobile internet device (MID), augmented reality (AR), virtual reality (VR) device, robot, wearable device, flight vehicle, vehicle user equipment (VUE), shipboard equipment, pedestrian user equipment (PUE), smart home (home devices with wireless communication capabilities, such as refrigerators, televisions, washing machines, or furniture), game console, personal computer (PC), ATM, or self-service machine, etc.
  • PDA personal digital assistant
  • UMPC ultra-mobile personal computer
  • MID mobile internet device
  • AR augmented reality
  • VR virtual reality
  • robot wearable device
  • flight vehicle vehicle user equipment
  • VUE shipboard equipment
  • pedestrian user equipment PUE
  • smart home home devices with wireless communication capabilities, such as refrigerators, televisions, washing machines
  • Wearable devices include: smartwatches, smart bracelets, smart headphones, smart glasses, smart jewelry (smart bracelets, smart chains, smart rings, smart necklaces, smart anklets, smart anklets, etc.), smart wristbands, smart clothing, etc.
  • in-vehicle devices can also be referred to as in-vehicle terminals, in-vehicle controllers, in-vehicle modules, in-vehicle components, in-vehicle chips, or in-vehicle units, etc. It should be noted that the specific type of terminal 11 is not limited in this application embodiment.
  • Network-side equipment 12 may include access network equipment or core network equipment, wherein access network equipment may also be referred to as Radio Access Network (RAN) equipment, radio access network function, or radio access network unit.
  • Access network equipment may include base stations, Wireless Local Area Network (WLAN) access points (APs), or Wireless Fidelity (WiFi) nodes, etc.
  • WLAN Wireless Local Area Network
  • WiFi Wireless Fidelity
  • a base station may be referred to as a Node B (NB), Evolved Node B (eNB), Next Generation Node B (gNB), New Radio Node B (NR Node B), Access Point, Relay Base Station (RBS), Serving Base Station (SBS), Base Transceiver Station (BTS), Radio Base Station, Radio Transceiver, Basic Service Set (BSS), Extended Service Set (ESS), Home Node B (HNB), Home Evolved Node B, Transmit/Receive Point (TRP), or any other suitable term in the relevant field, as long as the same technical effect is achieved.
  • the base station is not limited to specific technical terms. It should be noted that in this application embodiment, only a base station in an NR system is used as an example for introduction, and the specific type of base station is not limited.
  • Core network equipment also known as core network nodes, core network functions, or core network elements, includes, but is not limited to, at least one of the following: Mobility Management Entity (MME), Access and Mobility Management Function (AMF), Session Management Function (SMF), User Plane Function (UPF), Policy Control Function (PCF), Policy and Charging Rules Function (PCRF), Edge Application Server Discovery Function (EASDF), Unified Data Management (UDM), and Unified Data Warehouse (UDM).
  • MME Mobility Management Entity
  • AMF Access and Mobility Management Function
  • SMF Session Management Function
  • UPF User Plane Function
  • PCF Policy Control Function
  • PCF Policy and Charging Rules Function
  • EASDF Edge Application Server Discovery Function
  • UDM Unified Data Management
  • UDM Unified Data Management
  • UDM Unified Data Warehouse
  • the core network equipment includes: Data Repository (UDR), Home Subscriber Server (HSS), Centralized Network Configuration (CNC), Network Repository Function (NRF), Network Exposure Function (NEF), Local NEF (or L-NEF), Binding Support Function (BSF), Application Function (AF), Location Management Function (LMF), Gateway Mobile Location Centre (GMLC), and Network Data Analytics Function (NWDAF).
  • UDR Data Repository
  • HSS Home Subscriber Server
  • CNC Centralized Network Configuration
  • NEF Network Exposure Function
  • L-NEF Local NEF
  • BSF Binding Support Function
  • AF Application Function
  • LMF Location Management Function
  • GMLC Gateway Mobile Location Centre
  • NWDAF Network Data Analytics Function
  • the core network equipment can be implemented by one or more functional modules in a single device, or by multiple devices working together; this application does not specifically limit this. It is understood that the aforementioned functional modules can be network elements in hardware devices, software functional modules running on dedicated hardware, or virtualized functional modules instantiated on a platform (e.g., a cloud platform).
  • a platform e.g., a cloud platform
  • AI-based unit monitoring with AI positioning I.
  • the key performance indicators typically include input data distribution deviation, output data distribution deviation, location estimation error, and time of arrival (TOA) estimation error.
  • input data distribution deviation is calculated based on the reference input data distribution and the actual model input data distribution
  • output data distribution deviation is calculated based on the reference output data distribution and the actual model input data distribution
  • location estimation error is calculated based on the predicted distance relative to the base station and the true distance relative to the base station
  • TOA estimation error is calculated based on the predicted time of arrival and the true time of arrival.
  • the AI unit inputs include the time-domain channel and the measurement results of the positioning reference signal
  • the AI unit output is the predicted distance relative to the base station, or TOA.
  • the true value or label is the actual measured distance relative to the base station, or TOA.
  • the KPIs monitored during model monitoring are typically the prediction accuracy of the strongest beam or the prediction error of beam quality.
  • the prediction accuracy of the strongest beam is calculated based on the predicted strongest beam identifier and the identifier of the strongest beam corresponding to the ground truth value; the prediction error of beam quality is calculated based on the predicted beam quality and the beam quality corresponding to the ground truth value.
  • the monitoring KPI is typically the squared cosine similarity.
  • the squared cosine similarity is calculated based on the correlation between the predicted channel and the ground truth channel.
  • the channel includes the channel matrix, the precoding matrix indicator (PMI), and the channel eigenvectors or eigenvalues.
  • model monitoring data acquisition requires obtaining the Reference Signal Received Power (RSRP) of all beams, thus consuming additional measurement resources and terminal measurement power consumption.
  • RSRP Reference Signal Received Power
  • AI-based CSI prediction-based AI unit monitoring requires the terminal to transmit information such as the channel matrix, PMI, and channel feature vector corresponding to the true value to the network-side equipment, thus introducing a large amount of uplink overhead.
  • this application embodiment provides a performance monitoring processing method, as shown in Figure 2, the performance monitoring processing method includes:
  • Step 201 The first device receives first information from the second device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the first AI unit can perform reasoning based on the first information to obtain evaluation-related information, and can determine the target key performance indicators (KPIs) of the target object based on the evaluation-related information, performance monitoring of the target object can be achieved based on the target KPIs.
  • KPIs target key performance indicators
  • the above use case functions may include, but are not limited to, at least one of the following: positioning function, beam prediction function, and CSI prediction function.
  • the first device's function of implementing the target object can be understood as follows: a target object is set on the first device, and the first device can implement related functions based on the target object. These related functions include, for example, beam prediction, CSI prediction, link adaptation, mobility management, and energy saving.
  • the target object is an algorithm that implements the above functions. If the target object is a non-AI algorithm, the first device implements the above functions by executing the non-AI algorithm. If the target object is an AI unit, the first device implements the above functions by executing the AI unit or performing AI unit inference.
  • the first AI unit described above can be understood or replaced as an evaluation model or a reward model.
  • the evaluation-related information mentioned above includes any of the following:
  • the aforementioned absolute inference performance can be understood as the gap between the inference performance and the performance corresponding to the truth value.
  • the aforementioned gain space using the second AI unit can be understood as: when using the second AI unit, the performance of the use case can be increased.
  • the aforementioned relative inference performance of the second AI unit can be understood as the evaluation result of the inference performance of different second AI units, such as the evaluation result that the inference performance of one second AI unit is better or worse than that of another second AI unit.
  • the first AI unit can be configured with the following options:
  • the input of the first AI unit includes the input and output of the second AI unit
  • the inference result output by the first AI unit is the absolute inference performance of the second AI unit, which can be expressed as the difference between the inference performance of the second AI unit and the performance corresponding to the truth value.
  • the input to the first AI unit includes the input and output of a non-AI algorithm (rule-based), and the inference result output by the first AI unit is the gain space (or the maximum gain space) of the second AI unit.
  • the inference result output by the first AI unit is the gain space (or the maximum gain space) of the second AI unit.
  • the input of the first AI unit includes the input of the second AI unit and the outputs of at least two second AI units. This allows for the evaluation of the inference performance of different second AI units for the same input data, enabling a comparison of which second AI unit has better inference performance, and thus selecting to activate or switch to the second AI unit with better inference performance.
  • the input of the first AI unit includes the inputs and outputs of at least two second AI units. This allows for the evaluation of the inference performance of different second AI units, enabling a comparison of which second AI unit has better inference performance, and thus selecting to activate or switch to the second AI unit with better inference performance.
  • This application embodiment receives first information from a second device via a first device.
  • This first information instructs a first AI unit to perform performance monitoring on a target object.
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • KPIs target key performance indicators
  • the target object is used to implement use case functions, and includes a second AI unit or a non-AI algorithm.
  • the first device implements the relevant functions of the target object, and the second device implements the control functions for monitoring the target object.
  • performance monitoring of the target object is achieved by determining its target KPIs based on evaluation-related information, eliminating the need to use monitoring measurement resources to obtain true values for performance monitoring. Therefore, this application embodiment can reduce the measurement overhead of monitoring.
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • the above-mentioned monitoring purpose is associated with evaluation-related information.
  • the above-mentioned monitoring purpose is used to determine the specific content of the input data and evaluation-related information of the first AI unit.
  • the above-mentioned monitoring purpose may include at least one of the following: AI unit rollback, AI unit gain space estimation, AI unit switching or performance ranking, and AI unit function switching.
  • the input information of the first AI unit includes the input and output of the second AI unit; the specific content of the evaluation of relevant information includes the absolute inference performance of the second AI unit.
  • the input information of the first AI unit includes the input and output of a non-AI algorithm (rule-based); the specific content of the evaluation information includes using the gain space of the second AI unit (or the maximum gain space);
  • the input information of the first AI unit includes the input of the second AI unit and the outputs of at least two second AI units; the specific content of the evaluation information includes the relative evaluation results of the inference performance of different second AI units.
  • the input information of the first AI unit includes the inputs and outputs of at least two second AI units; the specific content of the evaluation information includes the relative evaluation results of the inference performance of different second AI units.
  • the second indication information can be indicated using 1 bit.
  • the value of the 1 bit is a first value, it can indicate performance monitoring based on the first AI unit.
  • the value of the 1 bit is a second value, it can indicate performance monitoring based on the true value.
  • the indication of the input data of the first AI unit can be indicated by the sixth indication information or implicitly indicated by the third indication information.
  • the sixth indication information may be the first description information related to the input of the first AI unit, and the first description information includes the default identifier of each input parameter; for example, each input parameter is associated with a default identifier. If the default identifier indicates that the input parameter can be omitted, then when the input parameter cannot be obtained, the parameter does not need to be input.
  • the indication methods for the above-mentioned input data and output data may include, but are not limited to, at least one of the following: measurement quantity; format information, such as dimension, number and order; quantization precision.
  • the second device may send the first information to the first device in any of the following ways:
  • the second device can directly configure the first information to the terminal through configuration
  • Network configuration and network-side triggering for example, the second device sends multiple candidate first information to the first device in the form of configuration, and then indicates the first information to be triggered through subsequent indication information;
  • Network configuration and terminal request triggering, for example, the second device sends multiple candidate first information to the first device in the form of configuration, the first device requests the second device to trigger a certain first information, and then the second device indicates the first information to be triggered through subsequent indication information.
  • the method further includes:
  • the first device sends second information to the third device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and the target data; and a second data set.
  • the third device is used to implement the reasoning function of the first AI unit.
  • the first data set includes sample data of the target object.
  • the sample data includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association relationship between at least two target sample data. Different target sample data are sample data of different target objects.
  • the first device when the first device does not obtain the target data mapping relationship, the first device cannot align the sample data in the first data set, and the second information sent by the first device to the third device is the first data set.
  • the aforementioned output data can be understood as second descriptive information related to the output parameters of the AI unit.
  • This second descriptive information can describe the output parameters; for example, when the first output parameter's output value is A, it represents a first meaning; when the first output parameter's output value is B, it represents a second meaning.
  • the first device may or may not perform alignment of the sample data in the first data set. Specifically, this can be implemented by the first device. For example, if the first device aligns the sample data in the first data set, the second information sent by the first device to the third device is the second data set; if the first device does not align the sample data in the first data set, the second information sent by the first device to the third device is the mapping relationship between the first data set and the target data.
  • the target data mapping relationship can be understood as the association between any two target sample data.
  • the model input data of the first AI unit includes data from at least one second AI unit.
  • aligning the sample data in the first data set refers to aligning and combining the input and output data of multiple second AI units at different times to form a second data set.
  • the indication of the target data mapping relationship may include at least one of the following: monitoring purpose; associated AI unit; associated use case function; associated sample pattern; associated sample interval; associated sample window.
  • the above target data mapping relationship is associated with at least one of the following: monitoring purpose, AI unit, use case function, sample pattern, sample interval, and sample window.
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • the first device will align the input and prediction (output) data of AI-based beam prediction and the input and prediction (output) data of AI-based CSI prediction to generate a second data set.
  • a2 Associated AI unit.
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • the first device will align the input and prediction (output) data of AI-based beam prediction and the input and prediction (output) data of AI-based CSI prediction to generate a second data set; when the target data mapping relationship indicates that the associated AI unit is at least one AI unit based on AI beam prediction, the first device will use the input and prediction data corresponding to multiple AI units based on AI beam prediction as the second data set.
  • the associated AI units can be a predefined combination or can be individually identified as specific AI units.
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • the first device will align the input and prediction (output) data of AI-based beam prediction and the input and prediction (output) data of AI-based CSI prediction to generate a second dataset.
  • the associated use case functions can be a predefined combination or can individually indicate specific functions.
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • the associated sample pattern is ⁇ k+(1, 90), k+(3, 92) ⁇
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • AI-based beam prediction For example, when the associated sample interval is 1000, it means that the sample identified as k by the AI-based beam prediction is included together with the sample identified as k+1000 by the AI-based CSI prediction as a sample in the second dataset.
  • the AI unit inference being performed by the first device includes AI-based beam prediction. For example, if the associated sample window is 1 second, it means that the first device will generate a second dataset by predicting the input and output data of multiple second AI units within the 1-second window using AI-based beam prediction. For example, the start time of the window could be the time when the monitoring instruction is received. Specifically, within this window, if the input data of second AI unit 1 is X and the predicted data obtained through inference is Y1, and the input data of second AI unit 2 is X and the predicted data obtained through inference is Y2, then (X, Y1, Y2) is considered as a sample in the second dataset.
  • the second information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the first device sends third information to the fourth device, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information output by the first AI unit, and the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the fourth device is used to calculate the target KPI of the target object.
  • the device used to implement the reasoning function of the first AI unit can be referred to as the third device. If the first device is also used to implement the reasoning function of the first AI unit, it can be understood that the first device and the third device are the same device; otherwise, the first device and the third device are different devices.
  • aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship can be understood as aligning the input and output data of the first AI unit based on the target data mapping relationship.
  • multiple evaluation-related information can be obtained based on the sample data of the target object, and the sample data of the target object associated with each evaluation-related information can be determined based on the target data mapping relationship.
  • the target data mapping relationship may be implicitly contained in the fourth data set.
  • the third device obtains the second data set, since the second data set implicitly contains a target data mapping relationship, this target data mapping relationship can be applied to the input side of the first AI unit.
  • the third device already knows which first AI units have aligned inputs; that is, before inference, the third device already knows which second AI unit samples in the second data set need to be compared. Therefore, after the first AI unit inference is completed, the outputs corresponding to the inputs of multiple first AI units can be subtracted to obtain the performance difference between the two second AI units to be compared, thereby obtaining the fourth data set.
  • the target data mapping relationship can then be applied to the output side of the first AI unit.
  • the third device does not know which second AI unit samples in the first dataset will be compared; therefore, it performs independent inference on the samples of each second AI unit to obtain virtual evaluation results. How to combine the virtual evaluation results of multiple second AI units to obtain comparative performance can be done after the third device has completed inference, or on the fourth device. If the alignment of the virtual evaluation results is completed on the third device, then the third device can generate the fourth dataset; otherwise, the third device generates the third dataset.
  • the third device can obtain samples from multiple second AI units and virtual evaluation results from multiple second AI units. Then, the third device can generate a fourth data set based on the target mapping relationship, as shown in Figure 2e. Specifically, the third device can determine which samples of the second AI units (as shown by the circular gray-filled blocks in the figure) should be compared based on the target mapping relationship, and perform a subtraction operation on the virtual evaluation results corresponding to the second AI units to be compared (as shown by the circular dotted-filled blocks in the figure), thereby obtaining the performance difference between the two second AI units (as shown by the square dotted-filled blocks in the figure). Finally, the samples and performance difference of the two second AI units are used as a sample of the fourth data set.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the third device can obtain the target data mapping relationship from the second device. After obtaining the target data mapping relationship, it can carry indication information of the target data mapping relationship in the third information. In some embodiments, when the first device and the third device are different devices, the third device can obtain the target data mapping relationship from the first device. After obtaining the target data mapping relationship, it can carry indication information of the target data mapping relationship in the third information.
  • the indication information of the aforementioned target data mapping relationship may include at least one of the following:
  • sample indication or sample set indication associated with this sample or sample set is the sample indication or sample set indication associated with this sample or sample set
  • the third device if the target data mapping relationship applies to the output side of the first AI unit, the third device does not know which samples of the second AI units in the first data set will be compared before inference. Therefore, it only performs independent inference on the samples of each second AI unit to obtain a virtual evaluation result.
  • the combination of the evaluation results of multiple second AI units to obtain the comparison performance can be performed by the fourth device.
  • the AI unit inference being performed by the first device includes AI-based beamforming prediction, AI-based CSI prediction, and AI-based localization.
  • the sample data for AI-based beamforming prediction has sample identifiers of 1-1000
  • the sample data for AI-based CSI prediction has sample identifiers of 1001-2000
  • the sample data for AI-based localization has sample identifiers of 2001-3000.
  • the fourth device has received a third dataset with sample identifiers of 1-2000, and then receives a third piece of information carrying sample identifiers of 2001-2010 from the third dataset, along with associated sample identifiers of 1-10.
  • the fourth device will then sequentially combine the AI-based beamforming samples 1-10 with the AI-based localization samples 2001-2010 to form a sample in the fourth dataset. For example, sample 1 with sample 2001, sample 2 with sample 2002, and so on.
  • the AI unit inference being performed by the first device includes AI-based beamforming prediction, AI-based CSI prediction, and AI-based localization.
  • the sample data set ID corresponding to AI-based beamforming prediction is 1 (1000 samples in total)
  • the sample data set ID for AI-based CSI prediction is 2 (1000 samples in total)
  • the sample data set ID for AI-based localization is 3 (1000 samples in total).
  • the fourth device has received sample set 1 and sample set 2, and then receives a third message carrying sample set 3, associated with sample set ID 2.
  • the fourth device will then sequentially combine the AI-based CSI prediction sample set 2 with the AI-based localization sample set 3 to form the fourth data set.
  • the alignment method for individual samples in the data set can refer to a predetermined method or be additionally indicated.
  • the AI unit inference being performed by the first device includes AI-based beamforming prediction, AI-based CSI prediction, and AI-based localization.
  • sample data corresponding to AI-based beamforming prediction is sent to the fourth device in reports 1-10
  • sample data for AI-based CSI prediction is sent to the fourth device in reports 11-20
  • sample data for AI-based localization is sent to the fourth device in reports 21-30.
  • the fourth device has received reports 1-20 and then receives a third piece of information, including report 21, with the associated report ID being 11. The fourth device will then align the sample data for AI-based CSI prediction in report 11 with the sample data for AI-based localization in report 21, creating a sample in the fourth dataset.
  • the AI unit inference being performed by the first device includes AI-based beam prediction and AI-based CSI prediction.
  • the third dataset sample corresponding to the AI-based beam prediction includes (X1, Y1, Z1), where X1 is the input data, the corresponding measurement resource is RS1, Y1 is the model output/prediction result of the second AI unit 1, and Z1 is the inference result obtained after inputting (X, Y1) into the first AI unit.
  • the AI-based CSI prediction corresponds to a third dataset sample including (X2, Y2, Z2), where X2 is the input data, the corresponding measurement resource is RS2, Y2 is the model output or prediction result of the second AI unit 2, and Z2 is the inference result obtained after inputting (X, Y2) into the first AI unit.
  • the fourth device receives (X2, Y2, Z2) and the associated measurement resource indication is RS1, the fourth device associates the sample (X1, Y1, Z1) corresponding to RS1 with (X2, Y2, Z2) to obtain a sample from the fourth dataset.
  • the method further includes:
  • the first device sends fifth information to the fourth device, the fifth information including indication information of the target data mapping relationship.
  • the fifth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the method further includes:
  • the first device determines the target KPI based on the evaluation-related information output by the first AI unit
  • the first device sends a sixth message to the second device, the sixth message including the target KPI.
  • the device used to implement the function of calculating the target KPI of the target object can be referred to as the fourth device. If the first device is also used to implement the function of calculating the target KPI of the target object, it can be understood that the first device and the fourth device are the same device; otherwise, the first device and the fourth device are different devices.
  • the above target KPIs can be the evaluation-related information output by the first AI unit once, or obtained by statistical analysis (such as calculating the average value) based on the evaluation-related information output by the first AI unit multiple times.
  • the second device can perform relevant operations on the second AI unit based on the target KPI. For example, it can determine whether to use the second AI unit, whether to switch the second AI unit, whether to revert to a non-AI algorithm, and whether to switch to a second AI unit with other functions.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the first device determines the target KPI based on the evaluation-related information output by the first AI unit, including any of the following:
  • the first device receives the evaluation-related information output by the first AI unit from the third device, and calculates the target KPI after aligning the evaluation-related information based on the target data mapping relationship;
  • the first device receives a fourth data set from the third device and calculates the target KPI based on the fourth data set, wherein the fourth data set includes a data set after aligning the evaluation-related information output by the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the third device is used to implement the reasoning function of the first AI unit.
  • the target KPI can be calculated directly; if the data received by the first device is unaligned data (such as the third data set, i.e., the evaluation-related information output by the first AI unit), the first device needs to align the evaluation-related information based on the target data mapping relationship before calculating the target KPI.
  • aligned data such as the fourth data set
  • unaligned data such as the third data set, i.e., the evaluation-related information output by the first AI unit
  • the first device is a terminal, a base station, or a core network device
  • the second device is a terminal, a base station, or a core network device
  • the third device is a terminal, a base station, or a core network device
  • the fourth device is a terminal, a base station, or a core network device.
  • Step 1 The second device sends the first information to the first device
  • Step 2 Perform data collection operations for monitoring the target object.
  • the devices involved may include the first device, the second device, the third device, and the fourth device.
  • Step 3 The fourth device calculates the target KPIs for the target object
  • Step 4 The fourth device sends the sixth message to the second device.
  • the second device can implicitly or explicitly indicate, through the first information, that performance monitoring will be performed based on the first AI unit.
  • the first device is informed that performance monitoring will be performed based on the first AI model by not specifying additional monitoring measurement resources.
  • additional measurement resources are typically configured to collect information such as ground truth values in order to collect monitoring-related data; not specifying additional monitoring-related measurement resources indicates that model monitoring is not based on measured ground truth values; when explicitly indicating, a 1-bit indication value can be used to distinguish between performance monitoring based on ground truth values and performance monitoring based on the first AI model.
  • step 2 There are different methods for step 2 above, depending on the specific circumstances.
  • Method 1 The first device does not obtain the target data mapping relationship. It should be understood that for the above-mentioned schemes 3 and 4 of this application, one first AI unit corresponds to sample data of at least two target objects. At this time, it is necessary to set the target data mapping relationship.
  • the first device assumes that performance monitoring based on the first AI unit will be performed. In this case, the first device needs to send the input data of the first AI unit (including the input and output data of the second AI unit) to the third device. For method 1, the following situations apply.
  • Scenario 1a The third device obtains the target data mapping relationship from the second device. As shown in Figure 3a, the specific steps include:
  • Step 2-1 The second device sends fourth information to the third device.
  • the fourth information includes indication information of the target data mapping relationship, and may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-2 The first device sends second information to the third device, the second information including the first data set.
  • the second information may also include a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 2-3 The third device sends third information to the fourth device, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the fourth instruction information is used to instruct the first AI unit.
  • Scenario 1b The fourth device obtains the target data mapping relationship from the second device. As shown in Figure 3b, this specifically includes the following steps:
  • Step 2-1 The second device sends seventh information to the fourth device, the seventh information including indication information of the target data mapping relationship.
  • the seventh information also includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • Step 2-2 The first device sends second information to the third device, the second information including the first data set.
  • the second information may also include a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 2-3 The third device sends third information to the fourth device, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Method 2 The second device has already obtained the target data mapping relationship.
  • Schemes 3 and 4 mentioned above include the following situations.
  • Case 2a The target data mapping relationship is communicated from the first device to the third device and then to the fourth device, as shown in Figure 3c.
  • the process includes the following steps:
  • Step 2-2 The first device sends second information to the third device, the second information including a first data set and a target data mapping relationship; and a second data set.
  • the second information including a first data set and a target data mapping relationship; and a second data set.
  • it may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit.
  • Step 2-3 The third device sends third information to the fourth device, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Case 2b The target data mapping relationship is communicated from the first device to the fourth device, as shown in Figure 3d, and includes the following steps:
  • Step 2-1 The first device sends fifth information to the fourth device, the fifth information including indication information of the target data mapping relationship.
  • the fifth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • Step 2-2 The first device sends second information to the third device, the second information including the first data set.
  • the second information may also include a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 2-3 The third device sends third information to the fourth device, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the indication of the target data mapping relationship may include at least one of the following: monitoring purpose; associated AI unit; associated use case function; associated sample pattern; associated sample interval; associated sample window and sample or sample set indication associated with this sample or sample set; associated report indication; associated measurement resource indication.
  • monitoring purpose associated AI unit
  • associated use case function associated sample pattern
  • associated sample interval associated sample window and sample or sample set indication associated with this sample or sample set
  • associated report indication associated measurement resource indication.
  • step 3 if the data received by the fourth device is already aligned (such as the fourth data set), the target KPI can be calculated directly; if the data received by the fourth device is unaligned (such as the third data set, i.e., the evaluation-related information output by the first AI unit), the fourth device needs to align the evaluation-related information based on the target data mapping relationship before calculating the target KPI.
  • the sixth piece of information includes the target KPI.
  • it may also include at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the following examples illustrate different scenarios of combining the first, second, third, and fourth devices.
  • Example 1, Co-location Scenario 1 The first device is a terminal, and the second, third, and fourth devices are the same device, i.e., a base station.
  • the above AI use case can be AI beam prediction or CSI prediction. Since the second, third, and fourth devices are the same device, the interaction between the second, third, and fourth devices is an internal interaction, which can reduce the overhead of signaling interaction. The specific process is shown in Figure 4a.
  • Example 1a The first device does not obtain the target data mapping relationship, as shown in Figure 4a, including the following process.
  • Step 1 The base station (combined with the second, third, and fourth devices) sends first information to the terminal (first device).
  • the first information includes first indication information, used to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2 The terminal sends second information to the base station.
  • the second information includes: a first data set, a sample identifier corresponding to the sample data, or a sample set identifier corresponding to the sample data.
  • the input data for the second AI unit includes at least one of the following:
  • the output data of the second AI unit includes at least one of the following:
  • the input data for the second AI unit includes at least one of the following:
  • the output data of the second AI unit includes at least one of the following:
  • Step 3 The base station calculates the target KPI of the second AI unit.
  • the base station aligns the input data of the second AI unit and the output data of the second AI unit based on the sample identifier or sample set identifier to generate the data input of the first AI unit. Then, based on the first AI unit, the inference result of the first AI unit is obtained, and the target KPI of the second AI unit is calculated.
  • Example 1b The first device obtains the target data mapping relationship, as shown in Figure 4a, including the following process.
  • Step 1 The base station (combined with the second, third, and fourth devices) sends first information to the terminal (first device).
  • the first information includes at least one of the following:
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • Step 2 the terminal sends second information to the base station, the second information including any one of the following: a second data set; a mapping relationship between the first data set and the target data;
  • the second information may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 The base station calculates the target KPI of the second AI unit.
  • the base station can obtain the aligned input of the first AI unit based on the second data set, then infer the corresponding result based on the first AI unit, and then calculate the target KPI of the second AI unit.
  • the base station can perform data alignment on multiple data of the first AI unit based on the first data set and the target data mapping relationship to obtain the aligned input data of the first AI unit, then obtain the inference result based on the inference of the first AI unit, and then calculate the target KPI of the second AI unit.
  • Co-location Scenario 2 The first, third, and fourth devices are the same device, i.e., the terminal, and the second device is the base station.
  • the above AI use case can be AI beam prediction or CSI prediction. Since the first, third, and fourth devices are the same device, the interaction between the first, third, and fourth devices is an internal interaction, thereby reducing the overhead of signaling interaction.
  • Example 2a The first device does not obtain the target data mapping relationship, as shown in Figure 4b, including the following process.
  • Step 1 The base station (second device) sends first information to the terminal (a combination of the first, third, and fourth devices).
  • the first information includes first indication information, used to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2-1 The base station sends fourth or seventh information to the terminal.
  • the fourth or seventh information includes an indication of the target data mapping relationship, and may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 The terminal calculates the target KPI of the second AI unit.
  • the terminal aligns the input data of the second AI unit and the output data of the second AI unit based on the sample identifier or sample set identifier to obtain the data of the first AI unit, then obtains the reasoning result of the first AI unit based on the reasoning of the first AI unit, and then calculates the target KPI of the second AI unit.
  • Step 4 The terminal sends the sixth information to the base station, the sixth information including the target KPI.
  • the aforementioned fourth or seventh information can be carried through Downlink Control Information (DCI) or Medium Access Control Element (MAC CE).
  • DCI Downlink Control Information
  • MAC CE Medium Access Control Element
  • the aforementioned sixth information can be carried in CSI reporting or other newly added signaling.
  • Example 2b Step 2 adopts method 1, that is, the first device has obtained the target data mapping relationship, as shown in Figure 4c, including the following process.
  • Step 1 The base station sends first information to the terminal.
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • the third, fourth, and sixth indication information can be used to indirectly indicate the target data mapping relationship.
  • Step 3 The terminal calculates the target KPI of the second AI unit.
  • the terminal aligns the input data and output data of the second AI unit with the sample identifier or sample set identifier, then infers the reasoning result based on the first AI unit, and finally calculates the target KPI of the second AI unit.
  • Step 4 The terminal sends the sixth information to the base station, the sixth information including the target KPI.
  • Example 3 The first device is a terminal, the third device is a base station, and the second and fourth devices are the same device, i.e., LMF.
  • the above AI use case can be AI localization.
  • the first and third devices are set as independent devices, only one type of AI unit needs to be supported on the same device, thereby reducing the requirements on the devices.
  • Example 3-1 The first device did not obtain the target data mapping relationship.
  • Example 3-1a The third device obtains the target data mapping relationship from the second device, as shown in Figure 4d, including the following process.
  • Step 1 The LMF (the second and fourth devices are combined) sends the first message to the terminal (the first device) to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2-1 The LMF sends a fourth message to the base station (third device), which includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-2 The terminal sends second information to the base station.
  • the second information includes: a first data set; a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 2-3 The base station sends third information to the LMF, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 LMF calculates the target KPI of the second AI unit.
  • the LMF can directly calculate the target KPI of the second AI unit based on the fourth data set.
  • LMF needs to first align the data based on the mapping relationship between the third data set and the target data before calculating the target KPI of the second AI unit.
  • Example 3-1b The fourth device obtains the target data mapping relationship from the second device, as shown in Figure 4e, including the following process.
  • Step 1 The LMF (the second and fourth devices are combined) sends the first message to the terminal (the first device) to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2-2 The terminal sends second information to the base station (third device).
  • the second information includes: a first data set; a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 2-3 The base station sends third information to the LMF, the third information including at least one of the following:
  • the third data set includes evaluation-related information output by the first AI unit
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 LMF calculates the target KPI of the second AI unit.
  • LMF needs to align the sample data set first, and then calculate the target KPI.
  • the mapping relationship of the target data can be obtained by LMF itself, since LMF is the second device at this time.
  • Example 3-2 The first information contains the target data mapping relationship, as shown in Figure 4e, and includes the following process.
  • Step 1 The LMF (a joint facility of the second and fourth devices) sends first information to the terminal (the first device).
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • Step 2-2 The terminal sends second information to the base station, the second information including any one of the following: a second data set; a mapping relationship between the first data set and the target data;
  • the second information may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Steps 2-3 The base station sends third information to the LMF, the third information including any of the following: a fourth data set; a mapping relationship between the third data set and the target data;
  • the third information may also include at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 LMF calculates the target KPI of the second AI unit.
  • LMF does not need to perform additional dataset alignment and can directly calculate the target KPI; if the third information contains an indication of the mapping relationship between the third dataset and the target dataset, LMF needs to perform sample dataset alignment first before calculating the target KPI.
  • Example 4 The above AI use case can be used for AI positioning.
  • the first device is the terminal
  • the third and fourth devices are the same device, namely the base station
  • the second device is LMF.
  • Example 4-1 The first device did not obtain the target data mapping relationship. Referring to Figure 4f, the specific process includes the following steps.
  • Step 1 The LMF (second device) sends the first message to the terminal (first device) to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2-1 The LMF sends a fourth or seventh message to the base station (a combined third and fourth device), the fourth or seventh message including at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-2 The terminal sends second information to the base station.
  • the second information includes: a first data set; a sample identifier corresponding to the sample data or a sample set identifier corresponding to the sample data.
  • Step 3 The base station performs inference for the first AI unit and calculates the target KPI for the second AI unit.
  • the base station acting as a third device, obtains inference results based on the first data set and the first AI unit, and then aligns multiple inference results based on the target mapping relationship; or, based on the first data set and the target data mapping relationship, determines the input of the aligned first AI unit and infers the inference results.
  • the base station acting as a fourth device, calculates the target KPI based on the inference results.
  • Step 4 The base station sends the sixth information to the LMF, which includes the target KPI.
  • Example 4-2 The first device obtains the target data mapping relationship.
  • Example 4-2a The first device tells the third device the target data mapping relationship. Referring to Figure 4g, the specific process includes the following steps.
  • Step 1 The LMF (second device) sends first information to the terminal (first device).
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • Step 2-2 The terminal sends second information to the base station (the third and fourth devices are combined), the second information including any one of the following: a second data set; a first data set and a target data mapping relationship;
  • the second information may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 The base station performs inference for the first AI unit and calculates the target KPI for the second AI unit.
  • the base station can directly obtain the aligned input of the first AI unit based on the second data set, and then infer the inference result of the first AI unit. If the second information includes a mapping relationship between the first data set and the target data, the base station can first perform data alignment based on the mapping relationship between the first data set and the target data, obtain the aligned input of the first AI unit, and then perform inference by the first AI unit to obtain the inference result.
  • the base station acting as the fourth device, calculates the target KPI based on the reasoning results of the first AI unit.
  • Step 4 The base station sends the sixth information to the LMF, which includes the target KPI.
  • Example 4-2b The second device does not tell the first device the target mapping relationship, but the second device tells the third and fourth devices the target data mapping relationship.
  • the specific process includes the following steps.
  • Step 1 The LMF (second device) sends the first message to the terminal (first device) to instruct performance monitoring to be performed. No additional monitoring and measurement resources need to be configured at this stage.
  • Step 2-1 The LMF (second device) sends fourth or seventh information to the base station (a combination of third and fourth devices).
  • the fourth or seventh information includes an indication of the target data mapping relationship and may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the method of sending the first information may include network configuration, network triggering, or terminal triggering.
  • the relaxation of the fourth piece of information can be either network configuration or network triggering.
  • Step 2-2 the terminal (first device) sends second information to the base station (a joint facility of the third and fourth devices), including at least one of the following:
  • the base station as a third device, generates a second dataset based on the first data set in the second information and the target data mapping relationship in the fourth information, and then obtains the reasoning result based on the reasoning of the first AI unit; or it first obtains the reasoning result based on the first data set and the reasoning of the first AI unit, and then performs data alignment on the reasoning result of the first AI unit based on the target data mapping relationship in the fourth information to obtain the fourth dataset.
  • the base station acting as the fourth device, calculates the target KPI based on the reasoning results of the first AI unit.
  • Step 4 The base station sends the sixth information to the LMF, which includes the target KPI.
  • Example 5 The above AI use case can be used for AI positioning.
  • the first, third, and fourth devices are the same device, namely the terminal, and the second device is the LMF (Local Messaging Function).
  • LMF Local Messaging Function
  • This example is similar to Example 2 above, except that the second device in this example is not a base station, but an LMF.
  • Example 6 The above AI use case can be used for AI positioning.
  • the first device, the second device, and the fourth device are the same device, namely LMF, and the third device is the base station.
  • Example 6-1a The third device obtains the target data mapping relationship. Referring to Figure 4h, the specific process includes the following steps.
  • Step 2-1 The LMF (a combination of the first device, the second device, and the fourth device) sends fourth information to the base station (the third device), the fourth information including indication information of the target data mapping relationship.
  • the fourth information may also include at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-2 The LMF sends second information to the base station, the second information including at least one of the following:
  • a first dataset comprising sample data of the target object
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-3 The base station sends third information to the LMF, the third information including at least one of the following:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 LMF calculates the target KPI of the second AI unit.
  • the target KPI can be directly calculated.
  • the fourth device if the third information contains an indication of the mapping relationship between the third data set and the target data, the fourth device needs to first align the different samples in the third data set (i.e., align the data after the model inference of the first AI unit) and then calculate the target KPI.
  • Example 6-1b The third device did not obtain the target data mapping relationship.
  • the specific process includes the following steps.
  • Step 2-2 The LMF (a combination of the first, second, and fourth devices) sends second information to the base station (the third device), including at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 2-3 The base station sends third information to the LMF, the third information including at least one of the following:
  • the third data set includes evaluation-related information output by the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • Step 3 LMF calculates the target KPI of the second AI unit.
  • LMF as the fourth device, aligns different samples in the third dataset based on the third data set contained in the third information and according to the target data mapping relationship that it can obtain (i.e., aligns the data after model inference in the first AI unit), and then calculates the target KPI.
  • this application embodiment also provides a performance monitoring processing method, as shown in Figure 5, the performance monitoring processing method includes:
  • Step 501 The second device sends first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • the method further includes:
  • the second device sends a fourth message to the third device, the fourth message including indication information of the target data mapping relationship;
  • the third device is used to implement the reasoning function of the first AI unit.
  • the fourth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the second device receives second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and the target data; a second data set;
  • the first data set includes sample data of the target object, and the sample data includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association relationship between at least two target sample data, and different target sample data are sample data of different target objects.
  • the second information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the second device aligns the evaluation-related information of the first AI unit based on the target data mapping relationship, and then calculates the target KPI;
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the method further includes:
  • the second device sends a seventh message to the fourth device, the seventh message including indication information of the target data mapping relationship.
  • the fifth piece of information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the method further includes:
  • the second device receives third information from the third device, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes evaluation-related information of the first AI unit, and the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the third device is used to implement the reasoning function of the first AI unit.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes any of the following:
  • the second device aligns the evaluation-related information of the first AI unit in the third dataset based on the target data mapping relationship, and then calculates the target KPI;
  • the second device calculates the target KPI based on the fourth data set
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the method further includes:
  • the second device performs at least one of the following actions based on the target KPI: reverts to a non-AI algorithm; activates the AI unit; switches the AI unit; or switches the AI use case function.
  • the evaluation-related information includes any of the following:
  • the first device is a terminal, a base station, or a core network device
  • the second device is a terminal, a base station, or a core network device
  • the third device is a terminal, a base station, or a core network device
  • the fourth device is a terminal, a base station, or a core network device.
  • this application embodiment also provides a performance monitoring processing method, as shown in Figure 6, the performance monitoring processing method includes:
  • Step 601 the third device receives second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and the target data; a second data set;
  • Step 602 The third device performs performance monitoring on the target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • the third device performs performance monitoring of the target object based on the second information and the first AI unit, including:
  • the third device determines the evaluation-related information based on the second information and the first AI unit
  • the third device performs the target operation
  • the target operation satisfies at least one of the following:
  • the target operation includes aligning the evaluation-related information based on the target data mapping relationship and then calculating the target KPI;
  • the target operation includes sending third information to a fourth device, the third information including: a ninth indication, the ninth indication being used to indicate whether inference is performed based on the first AI unit; a third data set or a fourth data set, the third data set including the evaluation-related information, the fourth data set including a data set after aligning the evaluation-related information and the sample data of the target object based on the target data mapping relationship; wherein, the fourth device is used to implement the function of calculating the target KPI of the target object.
  • the third device based on the second information and the first AI unit, determines that the evaluation-related information includes any one of the following:
  • the third device uses the input and output data of the second AI unit in the second information as the input of the first AI unit to obtain the absolute reasoning performance of the second AI unit.
  • the evaluation-related information includes the absolute reasoning performance of the second AI unit.
  • the third device uses the input and output data of the non-AI algorithm in the second information as the input of the first AI unit to obtain the gain space using the second AI unit.
  • the evaluation-related information includes the gain space of the second AI unit.
  • the third device uses the input data of the second AI unit and at least two output data in the second information as the input of the first AI unit to obtain the relative inference performance using at least two second AI units.
  • the evaluation related information includes the relative inference performance of the at least two second AI units, wherein the at least two output data are the output data corresponding to the at least two different second AI units.
  • the third device uses sample data from at least two second AI units in the second information as input to the first AI unit to obtain the relative inference performance using at least two second AI units.
  • the evaluation-related information includes the relative inference performance of the at least two second AI units, wherein the sample data of the second AI unit includes the input data of the second AI unit and the output data of the second AI unit.
  • the target operation includes aligning the evaluation-related information based on the target data mapping relationship, calculating the target KPI, and the method further includes:
  • the third device sends the sixth message to the second device
  • the sixth piece of information includes the target KPI, and the second device is used to implement the control function of monitoring the target object.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the third device receives fourth information from the second device, the fourth information including indication information of the target data mapping relationship.
  • the fourth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the third device sends third information to the fourth device, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on the target data mapping relationship;
  • the fourth device is used to calculate the target KPI of the target object.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the first device is a terminal, a base station, or a core network device
  • the second device is a terminal, a base station, or a core network device
  • the third device is a terminal, a base station, or a core network device
  • the fourth device is a terminal, a base station, or a core network device.
  • this application embodiment also provides a performance monitoring processing method, as shown in FIG7, the performance monitoring processing method includes:
  • Step 701 The fourth device receives third information from the third device
  • Step 702 The fourth device obtains the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the fourth device obtains the target KPI based on the third information, including any one of the following:
  • the fourth device aligns the evaluation-related information in the third dataset based on the target data mapping relationship and then calculates the target KPI.
  • the fourth device calculates the target KPI based on the fourth data set.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the method further includes:
  • the fourth device sends the sixth message to the second device
  • the sixth piece of information includes the target KPI, and the second device is used to implement the control function of monitoring the target object.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the method further includes:
  • the fourth device receives seventh information from the second device, the seventh information including the target data mapping relationship;
  • the fourth device receives fifth information from the first device, the fifth information including the target data mapping relationship.
  • the seventh information or the fifth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the evaluation-related information includes any of the following:
  • the first device is a terminal, a base station, or a core network device
  • the second device is a terminal, a base station, or a core network device
  • the third device is a terminal, a base station, or a core network device
  • the fourth device is a terminal, a base station, or a core network device.
  • the performance monitoring and processing method provided in this application can be executed by a performance monitoring and processing device.
  • This application uses the example of a performance monitoring and processing device executing the performance monitoring and processing method to illustrate the performance monitoring and processing device provided in this application.
  • the performance monitoring and processing device may be a communication device or a component within a communication device, such as a chip.
  • the communication device may be a terminal, a network-side device, or a server, etc.
  • the terminal may include, but is not limited to, the type of terminal 11 listed above
  • the network-side device may include, but is not limited to, the type of network-side device 12 listed above. This application does not impose specific limitations.
  • the performance monitoring and processing device includes a receiving module, a transmitting module, and a processing module. These modules can be implemented in software or hardware.
  • the processing module can be implemented by a processor.
  • the processor can include general-purpose processors, special-purpose processors, such as a Central Processing Unit (CPU), microprocessor, Digital Signal Processor (DSP), Artificial Intelligence (AI) processor, Graphics Processing Unit (GPU), Application Specific Integrated Circuit (ASIC), Network Processor (NP), Field Programmable Gate Array (FPGA), or other programmable logic devices, gate circuits, transistors, discrete hardware components, etc.
  • the receiving and transmitting modules can be implemented by a communication interface, which can include one or more of the following: transceiver, pins, circuits, bus, radio frequency unit, etc.
  • the performance monitoring processing device 800 includes a first receiving module 801, which is used to receive first information from a second device.
  • the first information is used to instruct the performance monitoring of the target object based on the first AI unit.
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • the performance monitoring processing device 800 further includes:
  • a first sending module is configured to send second information to a third device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; and a second data set.
  • the third device is used to implement the reasoning function of the first AI unit.
  • the first data set includes sample data of the target object.
  • the sample data includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association relationship between at least two target sample data. Different target sample data are sample data of different target objects.
  • the second information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring processing device 800 further includes:
  • the first sending module is used to send third information to the fourth device, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information output by the first AI unit, and the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the fourth device is used to calculate the target KPI of the target object.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the first receiving module is further configured to receive fourth information from the second device, the fourth information including indication information of the target data mapping relationship.
  • the fourth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring processing device 800 further includes:
  • the first sending module is used to send fifth information to the fourth device, the fifth information including indication information of the target data mapping relationship.
  • the fifth piece of information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the performance monitoring processing device 800 further includes:
  • the third processing module is used to determine the target KPI based on the evaluation-related information output by the first AI unit, when the first device is also used to calculate the target KPI of the target object.
  • the first sending module is used to send sixth information to the second device, the sixth information including the target KPI.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the third processing module is configured to perform any of the following:
  • the system receives evaluation-related information output by the first AI unit from the third device, aligns the evaluation-related information based on the target data mapping relationship, and then calculates the target KPI.
  • the system receives a fourth data set from a third device and calculates the target KPI based on the fourth data set.
  • the fourth data set includes a data set after aligning the evaluation-related information output by the first AI unit and the sample data of the target object based on the target data mapping relationship.
  • the third device is used to implement the reasoning function of the first AI unit.
  • the evaluation-related information includes any of the following:
  • the performance monitoring processing device 900 includes a second sending module 901, which is used to send first information to the first device.
  • the first information is used to instruct the target object to be monitored based on the first AI unit.
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the first information includes at least one of the following:
  • the first instruction message is used to instruct performance monitoring to be performed.
  • the second instruction information is used to instruct performance monitoring based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the fifth instruction information is used to instruct the second AI unit applicable to the first AI unit
  • the sixth instruction information is used to indicate the input information of the first AI unit.
  • the second sending module 901 is further configured to: send fourth information to the third device, the fourth information including indication information of the target data mapping relationship;
  • the third device is used to implement the reasoning function of the first AI unit.
  • the fourth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring and processing device 900 further includes:
  • the second receiving module is configured to receive second information from the first device when the second device is also configured to implement the inference function of the first AI unit.
  • the second information includes any one of the following: a first data set; a mapping relationship between the first data set and the target data; and a second data set.
  • the first data set includes sample data of the target object, and the sample data includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association relationship between at least two target sample data, and different target sample data are sample data of different target objects.
  • the second information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring and processing device 900 further includes:
  • the fourth processing module is used to calculate the target KPI after aligning the evaluation-related information of the first AI unit based on the target data mapping relationship, when the second device is also used to implement the function of calculating the key performance indicators (KPIs) of the monitoring performance of the target object.
  • KPIs key performance indicators
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the second transmitting module 901 is further configured to:
  • a seventh message is sent to the fourth device, the seventh message including indication information of the target data mapping relationship.
  • the seventh information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the performance monitoring and processing device 900 further includes:
  • the second receiving module is configured to receive third information from the third device when the second device is also configured to perform the function of calculating the target KPI of the target object, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes evaluation-related information of the first AI unit, and the fourth data set includes a data set after aligning the evaluation-related information of the first AI unit and the sample data of the target object based on the target data mapping relationship;
  • the third device is used to implement the reasoning function of the first AI unit.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring processing device 900 further includes: a fourth processing module, configured to perform any of the following:
  • the target KPI is calculated
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the performance monitoring and processing device 900 further includes: a fourth processing module, configured to perform at least one of the following based on the target KPI: revert to a non-AI algorithm; start an AI unit; switch the AI unit; switch AI use case functions.
  • a fourth processing module configured to perform at least one of the following based on the target KPI: revert to a non-AI algorithm; start an AI unit; switch the AI unit; switch AI use case functions.
  • the evaluation-related information includes any of the following:
  • the performance monitoring and processing device 1000 includes;
  • the third receiving module 1001 is configured to receive second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; and a second data set.
  • the first processing module 1002 is used to perform performance monitoring on the target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • the first processing module 1002 includes:
  • a determining unit is configured to determine the evaluation-related information based on the second information and the first AI unit;
  • An execution unit is used to perform the target operation
  • the target operation satisfies at least one of the following:
  • the target operation includes aligning the evaluation-related information based on the target data mapping relationship and then calculating the target KPI;
  • the target operation includes sending third information to a fourth device, the third information including: a ninth indication, the ninth indication being used to indicate whether inference is performed based on the first AI unit; a third data set or a fourth data set, the third data set including the evaluation-related information, the fourth data set including a data set after aligning the evaluation-related information and the sample data of the target object based on the target data mapping relationship; wherein, the fourth device is used to implement the function of calculating the target KPI of the target object.
  • the determining unit is specifically configured to perform any of the following:
  • the input and output data of the second AI unit in the second information are used as the input of the first AI unit to obtain the absolute reasoning performance of the second AI unit.
  • the evaluation related information includes the absolute reasoning performance of the second AI unit.
  • the input and output data of the non-AI algorithm in the second information are used as the input of the first AI unit to obtain the gain space using the second AI unit.
  • the evaluation-related information includes the gain space of the second AI unit.
  • the input data and at least two output data of the second AI unit in the second information are used as the input of the first AI unit to obtain the relative inference performance using at least two second AI units.
  • the evaluation related information includes the relative inference performance of the at least two second AI units, wherein the at least two output data are the output data corresponding to the at least two different second AI units.
  • the sample data of at least two second AI units in the second information are respectively used as the input of the first AI unit to obtain the relative inference performance using at least two second AI units.
  • the evaluation related information includes the relative inference performance of the at least two second AI units, wherein the sample data of the second AI unit includes the input data of the second AI unit and the output data of the second AI unit.
  • the performance monitoring and processing device 1000 further includes:
  • the third sending module is used to send the sixth information to the second device
  • the sixth piece of information includes the target KPI, and the second device is used to implement the control function of monitoring the target object.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the third receiving module 1001 is further configured to receive fourth information from the second device, the fourth information including indication information of the target data mapping relationship.
  • the fourth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring and processing device 1000 further includes:
  • the third sending module is used to send third information to the fourth device, the third information including:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on the target data mapping relationship;
  • the fourth device is used to calculate the target KPI of the target object.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring and processing device 1100 includes:
  • the fourth receiving module 1101 is used to receive third information from the third device
  • the second processing module 1102 is used to obtain the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the second processing module 1102 is specifically configured to perform any of the following:
  • the target KPI is calculated
  • the target KPI is calculated based on the fourth dataset.
  • the third information further includes at least one of the following:
  • the fourth instruction information is used to instruct the first AI unit.
  • the performance monitoring and processing device 1100 further includes:
  • the fourth sending module is used to send the sixth information to the second device
  • the sixth piece of information includes the target KPI, and the second device is used to implement the control function of monitoring the target object.
  • the sixth information further includes at least one of the following:
  • the tenth instruction information is used to indicate whether the target KPI is obtained based on the first AI unit
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the first AI unit The first AI unit
  • the second AI unit The second AI unit.
  • the fourth receiving module 1101 is further configured to perform at least one of the following:
  • the fifth information is received from the first device, the fifth information including the target data mapping relationship.
  • the seventh information or the fifth information further includes at least one of the following:
  • the third instruction information is used to indicate the monitoring purpose based on the first AI unit
  • the fourth instruction information is used to instruct the first AI unit
  • the seventh instruction information is used to instruct the third device
  • the eighth instruction information is used to indicate the use case corresponding to the target object.
  • the evaluation-related information includes any of the following:
  • the performance monitoring and processing device provided in this application embodiment can implement the various processes implemented in the method embodiments of Figures 2, 3, 5 to 7, and achieve the same technical effect. To avoid repetition, it will not be described again here.
  • this application embodiment also provides a communication device 1200, including a processor 1201 and a memory 1202.
  • the memory 1202 stores a program or instructions that can run on the processor 1201.
  • the program or instructions are executed by the processor 1201, they implement the various steps of the above-described performance monitoring processing method embodiment and can achieve the same technical effect. To avoid repetition, they will not be described again here.
  • This application also provides a terminal, including a processor and a communication interface, wherein the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the steps in the method embodiments shown in FIG2, 5, 6 or 7.
  • This terminal embodiment corresponds to the above-described first device side, second device side, third device side and fourth device side method embodiments, and all implementation processes and methods of the above method embodiments can be applied to this terminal embodiment and can achieve the same technical effect.
  • the terminal may be the performance monitoring and processing device shown in FIG8, 9, 10 or 11.
  • FIG13 is a schematic diagram of the hardware structure of a terminal implementing an embodiment of this application.
  • the terminal 1300 includes, but is not limited to, at least some of the following components: radio frequency unit 1301, network module 1302, audio output unit 1303, input unit 1304, sensor 1305, display unit 1306, user input unit 1307, interface unit 1308, memory 1309, and processor 1310.
  • terminal 1300 may also include a power supply (such as a battery) for powering various components.
  • the power supply can be logically connected to processor 1310 through a power management system, thereby enabling functions such as charging, discharging, and power consumption management through the power management system.
  • the terminal structure shown in Figure 13 does not constitute a limitation on the terminal.
  • the terminal may include more or fewer components than shown, or combine certain components, or have different component arrangements, which will not be elaborated here.
  • the input unit 1304 may include a graphics processor 13041 and a microphone 13042.
  • the graphics processor 13041 processes image data of still images or videos obtained by an image capture device (such as a camera) in video capture mode or image capture mode.
  • the display unit 1306 may include a display panel 13061, which may be configured in the form of a liquid crystal display, an organic light-emitting diode, or the like.
  • the user input unit 1307 includes a touch panel 13071 and at least one of other input devices 13072.
  • the touch panel 13071 is also called a touch screen.
  • the touch panel 13071 may include a touch detection device and a touch controller.
  • Other input devices 13072 may include, but are not limited to, physical keyboards, function keys (such as volume control buttons, power buttons, etc.), trackballs, mice, and joysticks, which will not be described in detail here.
  • the radio frequency unit 1301 can transmit it to the processor 1310 for processing; in addition, the radio frequency unit 1301 can send uplink data to the network-side device.
  • the radio frequency unit 1301 includes, but is not limited to, antennas, amplifiers, transceivers, couplers, low-noise amplifiers, duplexers, etc.
  • the memory 1309 can be used to store software programs or instructions, as well as various data.
  • the memory 1309 may primarily include a first storage area for storing programs or instructions and a second storage area for storing data.
  • the first storage area may store the operating system, application programs or instructions required for at least one function (such as sound playback, image playback, etc.).
  • the memory 1309 may include volatile memory or non-volatile memory.
  • the non-volatile memory may be read-only memory (ROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), electrically erasable programmable read-only memory (EEPROM), or flash memory.
  • Volatile memory can be random access memory (RAM), static random access memory (SRAM), dynamic random access memory (DRAM), synchronous dynamic random access memory (SDRAM), double data rate synchronous dynamic random access memory (DDRSDRAM), enhanced synchronous dynamic random access memory (ESDRAM), synchronous link dynamic random access memory (SLDRAM), and direct memory bus RAM (DRRAM).
  • RAM random access memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • SDRAM synchronous dynamic random access memory
  • DDRSDRAM double data rate synchronous dynamic random access memory
  • ESDRAM enhanced synchronous dynamic random access memory
  • SLDRAM synchronous link dynamic random access memory
  • DRRAM direct memory bus RAM
  • the memory 1309 in this embodiment includes, but is not limited to, these and any other suitable types of memory.
  • Processor 1310 may include one or more processing units; optionally, processor 1310 integrates an application processor and a modem processor, wherein the application processor mainly handles operations involving the operating system, user interface, and applications, and the modem processor mainly handles wireless communication signals, such as a baseband processor. It is understood that the aforementioned modem processor may also not be integrated into processor 1310.
  • the radio frequency unit 1301 is used to receive first information from a second device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the radio frequency unit 1301 is used to send first information to the first device, the first information being used to instruct performance monitoring of the target object based on the first AI unit;
  • the first AI unit is used to infer and obtain evaluation-related information
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object
  • the target object is used to implement use case functions
  • the target object includes a second AI unit or a non-AI algorithm
  • the first device is used to implement the relevant functions of the target object
  • the second device is used to implement the control function of monitoring the target object.
  • the radio frequency unit 1301 is used to receive second information from the first device, the second information including any one of the following: a first data set; a mapping relationship between the first data set and target data; a second data set;
  • Processor 1310 is used to perform performance monitoring on a target object based on the second information and the first AI unit;
  • the first AI unit is used to infer evaluation-related information, which is used to determine the target key performance indicators (KPIs) of the target object.
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • the first data set includes sample data of the target object, which includes input data and output data.
  • the second data set is a data set after aligning the sample data in the first data set based on the target data mapping relationship.
  • the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects.
  • the first device is used to implement the relevant functions of the target object, and the third device is used to implement the inference function of the first AI unit.
  • the radio frequency unit 1301 is used to receive third information from the third device;
  • the processor 1310 is used to obtain the target KPI based on the third information
  • the third device is used to implement the reasoning function of the first AI unit, which is used to obtain evaluation-related information through reasoning.
  • the evaluation-related information is used to determine the target key performance indicators (KPIs) of the target object.
  • the fourth device is used to calculate the target KPIs of the target object.
  • the third information includes:
  • the ninth indication information is used to indicate whether reasoning is performed based on the first AI unit
  • a third data set or a fourth data set wherein the third data set includes the evaluation-related information, and the fourth data set includes a data set after aligning the evaluation-related information and the sample data of the target object based on a target data mapping relationship, wherein the target data mapping relationship is used to represent the association between at least two target sample data, and different target sample data are sample data of different target objects;
  • the target object is used to implement use case functions, and the target object includes a second AI unit or a non-AI algorithm.
  • This application also provides a network-side device, including a processor and a communication interface.
  • the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the steps of the method embodiments shown in FIG2, FIG5, FIG6, or FIG7.
  • This network-side device embodiment corresponds to the above-described first device-side, second device-side, third device-side, and fourth device-side method embodiments. All implementation processes and methods of the above method embodiments can be applied to this network-side device embodiment and achieve the same technical effects.
  • the network-side device 1400 includes: an antenna 1401, a radio frequency (RF) device 1402, a baseband device 1403, a processor 1404, and a memory 1405.
  • the antenna 1401 is connected to the RF device 1402.
  • the RF device 1402 receives information through the antenna 1401 and sends the received information to the baseband device 1403 for processing.
  • the baseband device 1403 processes the information to be transmitted and sends it to the RF device 1402, which then processes the received information and transmits it through the antenna 1401.
  • the method executed by the network-side device in the above embodiments can be implemented in the baseband device 1403, which includes a baseband processor.
  • the baseband device 1403 may include at least one baseband board, on which multiple chips are disposed, as shown in FIG14.
  • One of the chips is, for example, a baseband processor, which is connected to the memory 1405 via a bus interface to call the program in the memory 1405 to execute the network-side device operation shown in the above method embodiment.
  • the network-side device may also include a network interface 1406, such as a Common Public Radio Interface (CPRI).
  • CPRI Common Public Radio Interface
  • the network-side device 1400 in this application embodiment further includes: instructions or programs stored in memory 1405 and executable on processor 1404.
  • Processor 1404 calls the instructions or programs in memory 1405 to execute the methods executed by the modules shown in FIG8, FIG9, FIG10 or FIG11 and achieve the same technical effect. To avoid repetition, they will not be described in detail here.
  • the network-side device 1500 includes: a processor 1501, a network interface 1502, and a memory 1503.
  • the network-side device may be the performance monitoring and processing device shown in FIG8, FIG9, FIG10, or FIG11.
  • the network interface 1502 is, for example, a common public radio interface (CPRI).
  • CPRI common public radio interface
  • the network-side device 1500 in this application embodiment further includes: instructions or programs stored in memory 1503 and executable on processor 1501.
  • Processor 1501 calls the instructions or programs in memory 1503 to execute the methods executed by the modules shown in FIG8, FIG9, FIG10 or FIG11 and achieve the same technical effect. To avoid repetition, they will not be described in detail here.
  • This application also provides a readable storage medium storing a program or instructions.
  • the program or instructions When the program or instructions are executed by a processor, they implement the various processes of the above-described performance monitoring processing method embodiments and achieve the same technical effect. To avoid repetition, they will not be described again here.
  • the processor mentioned above is the processor in the terminal described in the above embodiments.
  • the readable storage medium includes computer-readable storage media, such as computer read-only memory (ROM), random access memory (RAM), magnetic disk, or optical disk.
  • ROM computer read-only memory
  • RAM random access memory
  • magnetic disk magnetic disk
  • optical disk optical disk
  • the readable storage medium may be a non-transient readable storage medium.
  • This application embodiment also provides a chip, which includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the various processes of the above-described performance monitoring processing method embodiments and can achieve the same technical effect. To avoid repetition, it will not be described again here.
  • chip mentioned in the embodiments of this application may also be referred to as a system-on-a-chip, system chip, chip system, or system-on-a-chip, etc.
  • This application also provides a computer program/program product, which includes computer instructions.
  • the computer program/program product is executed by at least one processor to implement the various processes of the above-described performance monitoring processing method embodiments and can achieve the same technical effect. To avoid repetition, it will not be described again here.
  • This application also provides a wireless communication system, including: a first device, a second device, a third device, and a fourth device.
  • the first device can be used to perform the steps of the performance monitoring processing method on the first device side as described above.
  • the second device can be used to perform the steps of the performance monitoring processing method on the second device side as described above.
  • the third device can be used to perform the steps of the performance monitoring processing method on the third device side as described above.
  • the fourth device can be used to perform the steps of the performance monitoring processing method on the fourth device side as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种性能监视处理方法、装置、终端及网络侧设备，属于通信技术领域，本申请实施例的性能监视处理方法包括：第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。

Description

性能监视处理方法、装置、终端及网络侧设备
相关申请的交叉引用
本申请主张在2024年5月16日提交的中国专利申请No.202410611705.0的优先权，其全部内容通过引用包含于此。
技术领域
本申请属于通信技术领域，具体涉及一种性能监视处理方法、装置、终端及网络侧设备。
背景技术
在移动通信系统中，越来越多的用例集合了人工智能(Artificial Intelligence，AI)。例如在物理层有基于AI的信道状态信息(channel state information，CSI)反馈压缩，基于AI的波束管理，基于AI的定位，基于AI的节能，基于AI的负载均衡等。针对物理层的AI用例进行监控时，通常需要基于真值进行监控，然而，通常真值无法获取到或者获取真值需要消耗较大的测量开销。因此，相关技术存在真值无法获取到或者获取真值导致监控的测量开销较大的问题。
发明内容
本申请实施例提供一种性能监视处理方法、装置、终端及网络侧设备，能够解决真值无法获取到或者获取真值导致监控的测量开销较大的问题。
第一方面，提供了一种性能监视处理方法，包括：
第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
第二方面，提供了一种性能监视处理方法，包括：
第二设备向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
第三方面，提供了一种性能监视处理方法，包括：
第三设备接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
所述第三设备基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
第四方面，提供了一种性能监视处理方法，包括：
第四设备接收来自第三设备的第三信息；
所述第四设备基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
第五方面，提供了一种性能监视处理装置，应用于第一设备，所述装置包括：
第一接收模块，用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
第六方面，提供了一种性能监视处理装置，应用于第二设备，所述装置包括：
第二发送模块，用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
第七方面，提供了一种性能监视处理装置，应用于第三设备，所述装置包括：
第三接收模块，用于接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
第一处理模块，用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
第八方面，提供了一种性能监视处理装置，应用于第四设备，所述装置包括：
第四接收模块，用于接收来自第三设备的第三信息；
第二处理模块，用于基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
第九方面，提供了一种性能监视处理装置，所述装置被配置为执行如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
第十方面，提供了一种终端，该终端包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
第十一方面，提供了一种终端，包括处理器及通信接口，其中，
在所述终端为第一设备的情况下，所述通信接口用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能；
在所述终端为第二设备的情况下，所述通信接口用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能；
在所述终端为第三设备的情况下，所述通信接口用于接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
处理器，用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能；
在所述终端为第四设备的情况下，所述通信接口用于接收来自第三设备的第三信息；
所述处理器用于基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
第十二方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
第十三方面，提供了一种网络侧设备，包括处理器及通信接口，其中，
在所述网络侧设备为第一设备的情况下，所述通信接口用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能；
在所述网络侧设备为第二设备的情况下，所述通信接口用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能；
在所述网络侧设备为第三设备的情况下，所述通信接口用于收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
所述处理器用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能；
在所述网络侧设备为第四设备的情况下，所述通信接口用于接收来自第三设备的第三信息；
所述处理器用于基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
第十四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
第十五方面，提供了一种无线通信系统，包括：第一设备、第二设备、第三设备和第四设备，所述第一设备可用于执行如第一方面所述的方法的步骤，所述第二设备可用于执行如第二方面所述的方法的步骤，所述第三设备可用于执行如第三方面所述的方法的步骤，所述第四设备可用于执行如第四方面所述的方法的步骤。
第十六方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第二方面所述的方法，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
第十七方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第四方面所述的方法的步骤。
本申请实施例通过第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。这样，基于评价相关信息确定目标对象的目标KPI实现对目标对象的性能监控，从而无需采用监视的测量资源获得真值进行性能监控，从而减小了监控的测量开销。因此本申请实施例解决了真值无法获取到或者获取真值导致监控的测量开销较大的问题。
附图说明
图1是本申请实施例可应用的一种无线通信系统的框图；
图2是本申请实施例提供的一种性能监视处理方法的流程示意图之一；
图2a至图2d是本申请实施例提供的一种性能监视处理方法可应用的不同方案的示例图；
图2e是本申请实施例提供的一种性能监视处理方法中的目标数据映射关系的示例图；
图3是本申请实施例提供的一种性能监视处理方法的流程示意图之二；
图3a至图3d是图3中步骤的细化流程示意图；
图4a至图4i是本申请实施例提供的一种性能监视处理方法的流程示例图；
图5是本申请实施例提供的一种性能监视处理方法的流程示意图之三；
图6是本申请实施例提供的一种性能监视处理方法的流程示意图之四；
图7是本申请实施例提供的一种性能监视处理方法的流程示意图之五；
图8是本申请实施例提供的一种性能监视处理装置的结构示意图之一；
图9是本申请实施例提供的一种性能监视处理装置的结构示意图之二；
图10是本申请实施例提供的一种性能监视处理装置的结构示意图之三；
图11是本申请实施例提供的一种性能监视处理装置的结构示意图之四；
图12是本申请实施例提供的一种通信设备的结构示意图；
图13是本申请实施例提供的一种终端的结构示意图；
图14是本申请实施例提供的一种网络侧设备的结构示意图；
图15是本申请实施例提供的另一种网络侧设备的结构示意图。
具体实施方式
本申请的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，本申请中的“或”表示所连接对象的至少其中之一。例如“A或B”的保护范围至少涵盖三种方案，即，方案一：包括A且不包括B；方案二：包括B且不包括A；方案三：既包括A又包括B。此外，术语“A和/或B”、“A和B中的至少一项”、“A或B中的至少一项”也分别至少涵盖上述三种方案。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请的术语“指示”既可以是一个直接的指示(或者说显式的指示)，也可以是一个间接的指示(或者说隐含的指示)。其中，直接的指示可以理解为，发送方在发送的指示中明确告知了接收方具体的信息、需要执行的操作或请求结果等内容；间接的指示可以理解为，接收方根据发送方发送的指示确定对应的信息，或者进行判断并根据判断结果确定需要执行的操作或请求结果等。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency-Division Multiple Access，SC-FDMA)或其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统以外的系统，如第6代(6th Generation，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、飞行器(flight vehicle)、车载用户设备(Vehicle User Equipment，VUE)、船载设备、行人用户设备(Pedestrian User Equipment，PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(Personal Computer，PC)、柜员机或者自助机等终端侧设备。可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。其中，车载设备也可以称为车载终端、车载控制器、车载模块、车载部件、车载芯片或车载单元等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备也可以称为无线接入网(Radio Access Network,RAN)设备、无线接入网功能或无线接入网单元。接入网设备可以包括基站、无线局域网(Wireless Local Area Network，WLAN)接入点(Access Point，AP)或无线保真(Wireless Fidelity，WiFi)节点等。其中，基站可被称为节点B(Node B，NB)、演进节点B(Evolved Node B，eNB)、下一代节点B(the next generation Node B，gNB)、新空口节点B(New Radio Node B，NR Node B)、接入点、中继站(Relay Base Station，RBS)、服务基站(Serving Base Station，SBS)、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点(home Node B，HNB)、家用演进型B节点(home evolved Node B)、发送接收点(Transmit/Receive Point，TRP)或所属领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。
核心网设备也可以称为核心网节点、核心网功能或核心网网元等，其包含但不限于如下至少一项：移动管理实体(Mobility Management Entity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)、统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)、网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)、位置管理功能(Location Management Function，LMF)、网关的移动位置中心(Gateway Mobile Location Centre，GMLC)、网络数据分析功能(Network Data Analytics Function，NWDAF)等。需要说明的是，在本申请实施例中仅以NR系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型，如果在后续协议版本(例如6G)中本申请实施例提到的核心网设备的名称发生变化，也在本申请的保护范围内。
可选的，核心网设备可以由一个设备中的一个或多个功能模块实现，也可以由多个设备共同实现，本申请实施例对此不作具体限定。可以理解的是，上述功能模块既可以是硬件设备中的网络元件，也可以是在专用硬件上运行的软件功能模块，或者是平台(例如，云平台)上实例化的虚拟化功能模块。
为了方便理解，以下对本申请实施例涉及的一些内容进行说明：
一、基于AI的定位的AI单元监控。
基于AI的定位用例，在AI单元监视时，监视关键绩效指标(Key Performance Indicator，KPI)一般为输入数据分布偏差，输出数据分布偏差，位置估计误差和到达时间(Time of Arrival，TOA)估计误差。其中，输入数据分布偏差是基于参考输入数据分布与实际模型输入的数据分布计算得到；输出数据分布偏差是基于参考输出数据分布与实际模型输入的数据分布计算得到；位置估计误差是基于预测的相对于基站的距离与真值对应的相对于基站的距离计算得到；TOA估计误差是基于预测的到达时间与真值对应的到达时间计算得到。
其中，AI单元输入包括时域信道，定位参考信号测量结果；
AI单元输出是预测的相对于基站的距离，或者TOA。
真值或标签是实际测量得到的相对于基站的距离，或者TOA。
二、基于AI的波束预测的模型监控。
基于AI的波束预测用例，在模型监视时，监视KPI一般为最强波束的预测准确率，或者是波束质量的预测误差。其中，最强波束的预测准确率是基于预测的最强波束标识与真值对应的最强波束的标识计算得到；波束质量的预测误差是基于预测的波束质量与真值对应的波束质量计算得到。
三、基于AI的CSI预测的模型监控。
基于AI的CSI预测用例，在模型监视时，监视KPI一般为余弦相似度平方。其中，余弦相似度平方数是基于预测信道与真值信道的相关性计算得到的。其中信道包括信道矩阵，预编码矩阵指示(Precoding matrix indicator,PMI)，信道特征向量或特征值。
针对基于AI的定位的AI单元监控，存在的问题是输入数据分布偏差，输出数据分布偏差属于间接的监控，不如基于真值的模型监控准确性高；而位置估计误差，TOA估计误差属于基于真值的监控，又存在只能依赖于某些特定用户提供真值，无法实时进行模型监控的问题。
针对基于AI的波束预测的AI单元监控，存在的问题是相比于推理过程，模型监控的数据采集需要获得所有波束的参考信号接收功率(Reference Signal Received Power，RSRP)，因此，需要消耗额外的测量资源和终端测量功耗。
基于AI的CSI预测的AI单元监控，存在的问题是相比于推理过程，AI单元监控的数据采集需要将真值对应的信道矩阵，PMI，信道特征向量等信息由终端传递给网络侧设备，因此，需要引入大量的上行开销。
为此，提出了本申请的性能监视处理方法，下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的性能监视处理方法进行详细地说明。
参照图2，本申请实施例提供了一种性能监视处理方法，如图2所示，该性能监视处理方法包括：
步骤201，第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
本申请实施例中，由于可以通过第一AI单元基于第一信息进行推理，获得评价相关信息，并可以基于评价相关信息确定目标对象的目标关键绩效指标KPI，从而可以基于目标KPI实现对目标对象的性能监控。这样可以在第一信息无需额外指示或配置用于监视的测量资源，因此可以减少测量资源占用的频带资源(即测量开销)，并降低终端的测量功率。
可选地，上述用例功能可以包括但不限于以下至少一项：定位功能、波束预测功能和CSI预测功能等。
可选地，所述第一设备用于实现所述目标对象的相关功能可以理解为，在第一设备上设置有目标对象，第一设备可以基于目标对象实现相关的功能，所述相关的功能包括例如波束预测，CSI预测，链路自适应，移动性管理，节能等。目标对象是实现上述功能的算法，如果目标对象是非AI的算法，则第一设备通过执行非AI算法实现上述功能。如果目标对象是AI单元，则第一设备通过执行AI单元，或进行AI单元推理，实现上述功能。
可选地，上述第一AI单元可以理解或替换为评价模型，或奖励(reward)模型。在一些实施例中，上述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
可选地，上述绝对推理性能可以理解为推理性能与真值对应的性能之间的差距。上述使用所述第二AI单元的增益空间可以理解为：在使用所述第二AI单元的情况下，可以增加用例的性能的大小。上述第二AI单元的相对推理性能可以理解为不同第二AI单元的推理性能的评价结果，如一个第二AI单元的推理性能比另一个第二AI单元的推理性能好或差的评价结果。
针对第一AI单元的作用或目的的不同，第一AI单元可以设置包括以下几种方案：
方案1，如图2a所示，在一些实施例中，上述第一AI单元的输入包括第二AI单元的输入和输出，第一AI单元输出的推理结果为第二AI单元的绝对推理性能，例如可以表示为第二AI单元的推理性能与真值对应的性能之间的差距。
方案2，如图2b所示，在一些实施例中，上述第一AI单元的输入包括非AI算法(rule-based)的输入和输出，第一AI单元输出的推理结果为使用所述第二AI单元的增益空间(或者为最大增益空间)。这样，可以基于推理结果确定是否启用第二AI单元的模型推理，或者启动第二AI单元的训练数据收集。
方案3，如图2c所示，在一些实施例中，上述第一AI单元的输入包括第二AI单元的输入和至少两个第二AI单元的输出。这样可以获得针对同一输入数据，不同的第二AI单元的推理性能的评价结果，从而比对哪一个第二AI单元的推理性能更好，从而选择激活或切换到推理性能更好的第二AI单元。
方案4，如图2d所示，在一些实施例中，上述第一AI单元的输入包括至少两个第二AI单元的输入和输出。这样可以获得不同的第二AI单元的推理性能的评价结果，从而比对哪一个第二AI单元的推理性能更好，从而选择激活或切换到推理性能更好的第二AI单元。
本申请实施例通过第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。这样，基于评价相关信息确定目标对象的目标KPI实现对目标对象的性能监控，从而无需采用监视的测量资源获得真值进行性能监控。因此本申请实施例可以减小监控的测量开销。
可选地，在一些实施例中，所述第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
本申请实施例中，上述监视目的与评价相关信息关联，例如，在一些实施例中，上述监视目的用于确定第一AI单元的输入数据和评价相关信息的具体内容，例如上述监视目的可以包括以下至少一项：AI单元回退，AI单元增益空间估计，AI单元切换或性能排序，AI单元功能切换。
当监视目的是AI单元回退时，第一AI单元的输入信息包括第二AI单元的输入和输出；评价相关信息的具体内容包括第二AI单元的绝对推理性能；
当监视目的是AI单元增益空间估计时，第一AI单元的输入信息包括非AI算法(rule-based)的输入和输出；评价相关信息的具体内容包括使用所述第二AI单元的增益空间(或者为最大增益空间)；
当监视目的是AI单元切换或性能排序时，第一AI单元的输入信息包括第二AI单元的输入和至少两个第二AI单元的输出；评价相关信息的具体内容包括不同的第二AI单元的推理性能的相对评价结果
当监视目的是AI单元功能切换时，第一AI单元的输入信息包括至少两个第二AI单元的输入和输出；评价相关信息的具体内容包括不同的第二AI单元的推理性能的相对评价结果。
可选地，针对上述第二指示信息，可以采用1比特(bit)进行指示，该1比特的值为第一值时可以指示基于所述第一AI单元进行性能监视，该1比特的值为第二值时可以指示基于真值进行性能监视。
可选地，在一些实施例中，上述第一AI单元的输入数据的指示可以通过第六指示信息进行指示，也可以通过上述第三指示信息隐式指示。所述第六指示信息可以是上述第一AI单元的输入相关的第一描述信息，所述第一描述信息包括各输入参数的可缺省标识；例如，各输入参数关联可缺省标识，若可缺省标识该输入参数可缺省，则当该输入参数无法获取时，可无需输入该参数。
可选地，上述输入数据和输出数据的指示方式可以包括但不限于以下至少一项：测量量；格式信息，如维度、个数和顺序等；量化精度。
需要说明的是，第二设备向第一设备发送第一信息的方式可以包括以下任一项：
网络配置，例如，第二设备可以通过配置的形式直接给终端配置第一信息；
网络配置和网络侧触发，例如，第二设备通过配置的形式给第一设备发送多个候选第一信息，然后通过后续的指示信息指示要触发的第一信息；
网络配置和终端请求触发，例如，第二设备通过配置的形式给第一设备发送多个候选第一信息，第一设备向第二设备请求触发某一个第一信息，然后第二设备通过后续的指示信息指示要触发的第一信息。
可选地，在一些实施例中，所述方法还包括：
所述第一设备向所述第三设备发送第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
本申请实施例中，在第一设备未获得目标数据映射关系的情况下，此时，第一设备无法实现对所述第一数据集合中样本数据进行对齐，第一设备向第三设备发送的第二信息为第一数据集合。
可选地，上述输出数据可以理解为与AI单元输出参数相关的第二描述信息。第二描述信息可对输出参数进行描述，例如，第一输出参数输出值为A时，表示第一意义；第一输出参数输出值为B时，表示第二意义。
可选地，在第一设备获得目标数据映射关系的情况下，此时，第一设备可以进行或者不进行对所述第一数据集合中样本数据进行对齐，具体可以由第一设备实现，例如，在第一设备进行对所述第一数据集合中样本数据进行对齐的情况下，第一设备向第三设备发送的第二信息为第二数据集合；在第一设备不进行对所述第一数据集合中样本数据进行对齐的情况下，第一设备向第三设备发送的第二信息为第一数据集合和目标数据映射关系。
需要说明的是，目标数据映射关系可以理解为任意两个目标样本数据之间的关联关系，例如，当监视目的是AI单元切换或性能排序，或者当监视目的是AI单元功能切换时，第一AI单元的模型输入数据包括了来自至少一个第二AI单元的数据。此时，对所述第一数据集合中样本数据进行对齐，指的是将多个第二AI单元在不同时刻的输入数据和输出数据对齐组合，成为第二数据集合。
目标数据映射关系的指示可以包括如下至少之一：监视目的；关联的AI单元；关联的用例功能；关联样本图案；关联样本间隔；关联样本窗口。换句话说，上述目标数据映射关系与监视目的、AI单元、用例功能、样本图案、样本间隔和样本窗口中的至少一项关联。
a1：监视目的。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。当目标数据映射关系指示监视目的为AI单元功能切换时，则第一设备会将基于AI的波束预测的输入和预测(输出)数据，以及基于AI的CSI预测的输入和预测(输出)数据进行数据对齐，生成第二数据集合。
a2：关联的AI单元。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。当目标数据映射关系指示关联的AI单元为基于AI的波束预测的AI单元，以及基于AI的CSI预测的AI单元，则第一设备会将基于AI的波束预测的输入和预测(输出)数据，以及基于AI的CSI预测的输入和预测(输出)数据进行数据对齐，生成第二数据集合；当目标数据映射关系指示关联的AI单元为基于AI的波束预测的至少一个AI单元时，则第一设备会将基于AI的波束预测的多个AI单元对应的输入和预测数据作为第二数据集合。
其中，关联的AI单元可以是预先定义的组合，或者可以单独指示具体的AI单元标识。
a3：关联的用例功能。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。当关联的用例功能为基于AI的波束预测，以及基于AI的CSI预测时，则第一设备会将基于AI的波束预测的输入和预测(输出)数据，以及基于AI的CSI预测的输入和预测(输出)数据进行数据对齐，生成第二数据集合。
其中，关联的用例功能可以是预先定义的组合，或者可以单独指示具体的功能。
a4：关联样本图案。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。例如，当关联的样本图案为{k+(1，90)，k+(3，92)},表示将基于AI的波束预测AI单元在t＝k+1时间推理的样本，与基于AI的CSI预测AI单元在t＝k+3时间推理的样本对齐作为第二数据集合的一个样本，并且将基于AI的波束预测AI单元在t＝k+90时间推理的样本，与基于AI的CSI预测AI单元在t＝k+92时间推理的样本对齐作为第二数据集合的一个样本；
a5：关联样本间隔。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。例如，当关联的样本间隔为1000时，则表示将基于AI的波束预测的样本标识为k的样本，与基于AI的CSI预测的样本标识为k+1000的样本一起作为第二数据集合中的一个样本。
a6：关联样本窗口。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测。例如，当关联的样本窗口为1s，则表示第一设备将基于AI的波束预测在窗口为1s内的多个第二AI单元的输入和输出数据，生成第二数据集合。例如，窗口的起始时间可以是收到监视指示开始的时间，具体的对齐方法为，在该窗口内，第二AI单元1的输入数据为X，推理得到的预测数据为Y1，第二AI单元2的输入数据为X，推理得到的预测数据为Y2。则(X,Y1,Y2)作为第二数据集合中的一个样本。
可选地，在一些实施例中，所述第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，在一些实施例中，在所述第一设备还用于实现所述第一AI单元的推理功能的情况下，所述方法还包括：
所述第一设备向第四设备发送第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，用于实现所述第一AI单元的推理功能的设备可以称之为第三设备，在所述第一设备还用于实现所述第一AI单元的推理功能的情况下，可以理解为第一设备和第三设备为同一个设备，否则，第一设备和第三设备为不同的设备。
需要说明的是，在本申请实施例中，基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐可以理解为，基于目标数据映射关系实现第一AI单元的输入数据和输出数据的对齐。例如，可以基于所述目标对象的样本数据可以获得多个评价相关信息，基于目标数据映射关系可以确定每一评价相关信息关联的目标对象的样本数据。在第四数据集合中可以隐含目标数据映射关系。
本申请实施例中，如果第三设备获得了第二数据集合，由于第二数据集合隐含了目标数据映射关系，因此目标数据映射关系可以作用在第一AI单元的输入侧。此时，第三设备在基于第一AI单元推理前，已经获知了哪些第一AI单元的输入是对齐，即第三设备在推理前已经知道第二数据集合中哪些第二AI单元的样本要做对比。因此，在第一AI单元推理完成后，可以对多个第一AI单元输入对应的输出进行相减操作获得待对比两个第二AI单元的性能差值，从而获得第四数据集合。
如果第三设备获得了第一数据集合，此时目标数据映射关系可以作用在第一AI单元的输出侧。第三设备在推理前并不知道第一数据集合中哪些第二AI单元的样本要做对比，因此，只是对每个第二AI单元的样本做独立推理，得到虚拟评价结果。而多个第二AI单元的虚拟评价结果如何组合获得对比性能，可以在第三设备推理完后进行，或者在第四设备进行。如果虚拟评价结果的对齐在第三设备完成，则第三设备可以生成第四数据集合，否则第三设备生成的是第三数据集合。
例如，第三设备可以获得多个第二AI单元的样本和多个第二AI单元的虚拟评价结果，然后第三设备可以基于目标映射关系生成第四数据集合，如图2e所示，具体的，第三设备可以基于目标映射关系确定哪些第二AI单元的样本(如图中圆形灰色填充块所示)要做对比，并将需要对比的第二AI单元对应的虚拟评价结果(如图中圆形带点填充块所示)进行相减操作，从而可以得到两个第二AI单元的性能差值(如图中方形带点填充块)，最终将该两个第二AI单元的样本和性能差值作为第四数据集合的一个样本。
可选地，在一些实施例中，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
需要说明的是，上述第三设备可以从第二设备获取上述目标数据映射关系，在获得该目标数据映射关系后，可以在上述第三信息中携带目标数据映射关系的指示信息。在一些实施例中，第一设备和第三设备为不同的设备的情况下，第三设备可以从第一设备获取上述目标数据映射关系，在获得该目标数据映射关系后，可以在上述第三信息中携带目标数据映射关系的指示信息。
可选地，上述目标数据映射关系的指示信息可以包括以下至少一项：
与本样本或样本集合关联的样本指示或样本集合指示；
关联的报告指示；
关联的测量资源指示。
可选地，在一些实施例中，如果目标数据映射关系作用在第一AI单元的输出侧，第三设备在推理前并不知道第一数据集合中哪些第二AI单元的样本要做对比，因此，只是对每个第二AI单元的样本做独立推理，得到虚拟评价结果。而多个第二AI单元的评价结果如何组合获得对比性能，可以在第四设备进行。
b1：与本样本标识关联的样本指示。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，基于AI的CSI预测，基于AI的定位。例如基于AI的波束预测对应的样本数据的样本标识为1～1000，基于AI的CSI预测的样本数据标识为1001～2000，基于AI的定位的样本数据标识为2001～3000。假设第四设备已经收到了样本标识为1～2000的第三数据集合，又收到一个第三信息，携带了第三数据集合中的样本标识为2001～2010，关联的样本标识为1～10。则第四设备将基于AI的波束预测的样本1～10，与基于AI定位的样本2001～2010依次组合在一起，成为第四数据集合的一个样本。例如，样本1与样本2001，样本2与样本2002，依次类推。
b2：与本样本集合关联的样本集合指示。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，基于AI的CSI预测，基于AI的定位。例如基于AI的波束预测对应的样本数据集合ID为1(共1000个样本)，基于AI的CSI预测的样本数据集合ID为2(共1000个样本)，基于AI的定位的样本数据集合ID为3(共1000个样本)。假设第四设备已经收到了样本集合1和样本集合2，又收到一个第三信息，携带了样本集合3，关联的样本集合标识为2。则第四设备将基于AI的CSI预测的样本集合2，与基于AI定位的样本集合3依次组合在一起，成为第四数据集合。数据集合中单个样本的对齐方法可以参考预定的方式，或者额外指示。
b3：关联的报告指示。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，基于AI的CSI预测，基于AI的定位。例如基于AI的波束预测对应的样本数据的携带在报告1～10发送给第四设备，基于AI的CSI预测的样本数据携带在报告11～20发送给第四设备，基于AI的定位的样本数据携带在报告21～30发送给第四设备。假设第四设备已经收到报告1～20，又收到一个第三信息，包括报告21，关联的报告ID是11，则第四设备将报告11中基于AI的CSI预测的样本数据与报告21中基于AI定位的样本数据进行对齐，成为第四数据集合中的一个样本。
b4：关联的测量资源指示。
假设第一设备正在进行的AI单元推理包括基于AI的波束预测，以及基于AI的CSI预测。
基于AI的波束预测对应的一个第三数据集合样本包括了(X1,Y1,Z1)，其中，X1为输入数据，对应的测量资源是RS1，Y1是第二AI单元1的模型输出/预测结果，Z1是将(X,Y1)输入第一AI单元后获得的推理结果。
基于AI的CSI预测对应的一个第三数据集合样本包括了(X2,Y2,Z2)，其中，X2为输入数据，对应的测量资源是RS2，Y2是第二AI单元2的模型输出或预测结果，Z2是将(X,Y2)输入第一AI单元后获得的推理结果。当第四设备收到(X2,Y2,Z2)，以及关联的测量资源指示为RS1时，则第四设备将RS1对应的样本(X1,Y1,Z1)与(X2,Y2,Z2)进行关联，得到第四数据集的一个样本。
应理解，上述b1至b4的方案也适用于将第一数据集合处理为第二数据集合。
可选地，在一些实施例中，所述方法还包括：
所述第一设备向第四设备发送第五信息，所述第五信息包括目标数据映射关系的指示信息。
可选地，在一些实施例中，所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，在一些实施例中，在所述第一设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述方法还包括：
所述第一设备基于第一AI单元输出的评价相关信息，确定目标KPI；
所述第一设备向所述第二设备发送第六信息，所述第六信息包括所述目标KPI。
本申请实施例中，用于实现计算所述目标对象的目标KPI的功能的设备可以称之为第四设备，在所述第一设备还用于实现计算所述目标对象的目标KPI的功能的情况下，可以理解为第一设备和第四设备为同一个设备，否则，第一设备和第四设备为不同的设备。
需要说明的是，上述目标KPI可以为第一AI单元一次输出的评价相关信息，或者基于第一AI单元多次输出的评价相关信息进行统计(如计算平均值)得到。
应理解，在第二设备接收到第六信息后，可以基于目标KPI执行针对第二AI单元的相关操作，例如可以确定是否使用第二AI单元，是否切换第二AI单元，是否回退到非AI算法，是否切换到其他功能的第二AI单元等。
可选地，在一些实施例中，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，在一些实施例中，所述第一设备基于第一AI单元输出的评价相关信息，确定目标KPI包括以下任一项：
所述第一设备从第三设备接收所述第一AI单元输出的评价相关信息，并基于目标数据映射关系对所述评价相关信息对齐后，计算目标KPI；
所述第一设备从第三设备接收第四数据集合，并基于第四数据集合计算目标KPI，其中，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元输出的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
本申请实施例中，在第一设备接收到数据为已经对齐的数据(如第四数据集合)，则可以直接计算目标KPI；在第一设备接收到的数据为未对齐的数据(如第三数据集合，即第一AI单元输出的评价相关信息)，则第一设备需要基于目标数据映射关系对所述评价相关信息对齐后，再计算目标KPI。
可选地，在一些实施例中，所述第一设备为终端、基站或核心网设备；所述第二设备为终端、基站或核心网设备；所述第三设备为终端、基站或核心网设备；所述第四设备为终端、基站或核心网设备。
为了更好的理解本申请，以下通过一些示例进行说明。
本申请的主要流程如图3所示，包括以下步骤：
步骤1，第二设备向第一设备发送第一信息；
步骤2，执行目标对象监控的数据收集操作，可能涉及的设备包括第一设备、第二设备、第三设备和第四设备；
步骤3，第四设备计算目标对象的目标KPI；
步骤4，第四设备向第二设备发送第六信息。
针对上述步骤1，第二设备可以通过第一信息隐式或显示指示基于所述第一AI单元进行性能监视。在隐式指示基于所述第一AI单元进行性能监视时，通过不额外指示监视测量资源的方式，告知第一设备将基于第一AI模型进行性能监视。在现有技术中，为了收集监视相关的数据，通常需要配置额外的测量资源用于收集真值等信息；而不额外指示监视相关的测量资源，则表示不是基于测量的真值进行模型监视；在显示指示时，可以通过1bit的指示值用于区分基于真值或基于第一AI模型进行性能监视。
针对上述步骤2存在以下不同情况对应的方法。
方法1：第一设备未获得目标数据映射关系，应理解，针对本申请的上述方案3和方案4，一个第一AI单元对应了至少两个目标对象的样本数据，此时，需要设置目标数据映射关系。
可选地，信息1中有1bit指示进行性能监视，但是没有额外配置用于监视测量的资源，则第一设备认为将进行基于第一AI单元的性能监视。此时第一设备需要向第三设备发送第一AI单元的输入数据(包括第二AI单元的输入和输出数据)。针对方法1，包括以下情况。
情况1a：第三设备从第二设备获得目标数据映射关系。如图3a所示，具体包括以下步骤：
步骤2-1：第二设备向第三设备发送第四信息。所述第四信息包括目标数据映射关系的指示信息，还可以包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-2：第一设备向第三设备发送第二信息，所述第二信息包括第一数据集合。可选地，还可以包括所述样本数据对应的样本标识或所述样本数据对应的样本集合标识。
步骤2-3：第三设备向第四设备发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
第四数据集合，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
情况1b：第四设备从第二设备获得目标数据映射关系。如图3b所示，具体包括以下步骤：
步骤2-1：第二设备向第四设备发送第七信息，所述第七信息包括目标数据映射关系的指示信息。可选地，所述第七信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
步骤2-2：第一设备向第三设备发送第二信息，所述第二信息包括第一数据集合。可选地，还可以包括所述样本数据对应的样本标识或所述样本数据对应的样本集合标识。
步骤2-3：第三设备向第四设备发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
方法2，第二设备已获得目标数据映射关系。针对上述方案3和方案4包括以下情况。
情况2a，目标数据映射关系由第一设备告诉给第三设备再告诉给第四设备，如图3c所示，包括以下步骤流程：
步骤2-2：第一设备向第三设备发送第二信息，所述第二信息包括第一数据集合和目标数据映射关系；第二数据集合。可选地，还可以包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的。
步骤2-3：第三设备向第四设备发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
情况2b，目标数据映射关系由第一设备告诉给第四设备，如图3d所示，包括以下步骤流程：
步骤2-1：第一设备向第四设备发送第五信息，所述第五信息包括目标数据映射关系的指示信息。可选地，所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
步骤2-2：第一设备向第三设备发送第二信息，所述第二信息包括第一数据集合。可选地，还可以包括所述样本数据对应的样本标识或所述样本数据对应的样本集合标识。
步骤2-3：第三设备向第四设备发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
可选地，在一些实施例中，目标数据映射关系的指示可以包括以下至少一项：监视目的；关联的AI单元；关联的用例功能；关联样本图案；关联样本间隔；关联样本窗口与本样本或样本集合关联的样本指示或样本集合指示；关联的报告指示；关联的测量资源指示。其中，第三设备基于目标数据映射关系生成监视样本的方法可以参照上述实施例，在此不再赘述。
针对上述步骤3，在第四设备接收到数据为已经对齐的数据(如第四数据集合)，则可以直接计算目标KPI；在第四设备接收到的数据为未对齐的数据(如第三数据集合，即第一AI单元输出的评价相关信息)，则第四设备需要基于目标数据映射关系对所述评价相关信息对齐后，再计算目标KPI。
针对上述步骤4，所述第六信息包括所述目标KPI。可选地，还可以包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
以下针对第一设备、第二设备、第三设备和第四设备的不同合设情况的实例进行举例说明。
实施例一，合设情况1：第一设备为终端，第二设备、第三设备和第四设备为同一设备，即基站，上述AI用例可以为AI波束预测或CSI预测，由于第二设备、第三设备和第四设备为同一设备，因此第二设备、第三设备和第四设备之间的交互属于内部交互，从而可以减少信令交互的开销。具体流程如图4a所示。
实施例1a：第一设备未获得目标数据映射关系，如图4a所示，包括以下流程。
步骤1，基站(第二设备、第三设备和第四设备合设)向终端(第一设备)发送第一信息。第一信息包括第一指示信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2，终端向基站发送第二信息，所述第二信息包括：第一数据集合，样本数据对应的样本标识或样本数据对应的样本集合标识。
针对基于AI的波束预测，第二AI单元的输入数据包括如下至少一项：
部分波束的波束质量；
历史全部波束的波束质量；
历史部分波束的波束质量；
时间戳。
针对基于AI的波束预测，第二AI单元的输出数据包括如下至少一项：
全波波束的波束质量；
未来全部波束的波束质量；
未来的时间戳。
针对基于AI的CSI预测，第二AI单元的输入数据包括如下至少一项：
历史的信道矩阵；
历史的PMI；
历史的信道特征向量；
历史的信道特征值；
历史的多普勒扩展；
历史的时延扩展。
针对基于AI的CSI预测，第二AI单元的输出数据包括如下至少一项：
预测的信道矩阵；
预测的PMI；
预测的信道特征向量；
预测的信道特征值；
预测的多普勒扩展；
预测的时延扩展。
步骤3：基站计算第二AI单元的目标KPI。
具体地，基站基于样本标识或样本集合标识，将第二AI单元的输入数据和第二AI单元的输出数据进行数据对齐，生成第一AI单元的数据输入，再基于第一AI单元，得到第一AI单元的推理结果，再计算第二AI单元的目标KPI。
实施例1b：第一设备获得了目标数据映射关系，如图4a所示，包括以下流程。
步骤1，基站(第二设备、第三设备和第四设备合设)向终端(第一设备)发送第一信息。第一信息包括以下至少一项：
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
步骤2，终端向基站发送第二信息，所述第二信息包括以下任一项：第二数据集合；第一数据集合和目标数据映射关系；
可选地，第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤3：基站计算第二AI单元的目标KPI。
可选地，如果第二信息包括了第二数据集合，基站可以基于第二数据集合得到对齐后的第一AI单元的输入，再基于第一AI单元，推理得到对应的结果，再计算第二AI单元的目标KPI。
如果第二信息包括了第一数据集合和目标数据映射关系，则基站可以基于第一数据集合和目标数据映射关系对第一AI单元的多个数据进行数据对齐，获得对齐的第一AI单元的输入数据，再基于第一AI单元推理获得推理结果，再计算第二AI单元的目标KPI。
实施例二，合设情况2：第一设备、第三设备和第四设备为同一设备，即终端，第二设备为基站，上述AI用例可以为AI波束预测或CSI预测。由于第一设备、第三设备和第四设备为同一设备，因此第一设备、第三设备和第四设备之间的交互属于内部交互，从而可以减少信令交互的开销。
实施例2a：第一设备未获得目标数据映射关系，如图4b所示，包括以下流程。
步骤1，基站(第二设备)向终端(第一设备、第三设备和第四设备合设)发送第一信息。第一信息包括第一指示信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2-1：基站向终端发送第四信息或第七信息。所述第四信息或第七信息包括目标数据映射关系的指示，还可以包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤3：终端计算第二AI单元的目标KPI。
具体地，终端基于样本标识或样本集合标识，将第二AI单元的输入数据和第二AI单元的输出数据进行数据对齐，获得第一AI单元的数据，再基于第一AI单元推理得到第一AI单元的推理结果，再计算第二AI单元的目标KPI。
步骤4：终端向基站发送第六信息，所述第六信息包括所述目标KPI。
可选地，上述第四信息或第七信息可以通过下行控制信息(Downlink Control Information，DCI)或媒体接入控制控制元素(Medium Access Control Control Element，MAC CE)承载。上述第六信息可以承载在CSI上报中，或者其他新增的信令中。
实施例2b：步骤2采用方法1，即第一设备已获得目标数据映射关系，如图4c所示，包括以下流程。
步骤1，基站向终端发送第一信息。第一信息包括如下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
目标数据映射关系的指示；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
其中，第三指示信息、第四指示信息和第六指示信息可以用于间接指示目标数据映射关系。
步骤3：终端计算第二AI单元的目标KPI。
具体地，终端基于样本标识或样本集合标识，将第二AI单元的输入数据和第二AI单元的输出数据进行数据对齐，再基于第一AI单元，推理得到推理结果，再计算第二AI单元的目标KPI。
步骤4：终端向基站发送第六信息，所述第六信息包括所述目标KPI。
实施例三，情况3：第一设备为终端，第三设备为基站，第二设备和第四设备为同一设备，即LMF，上述AI用例可以为AI定位。本实施例中，由于将第一设备和第三设备设置为独立的设备，从而在同一个设备上仅需要支持一种AI单元，从而可以降低对设备的要求。
实施例3-1：第一设备未获得目标数据映射关系。
实施例3-1a：第三设备从第二设备获得目标数据映射关系，如图4d所示，包括以下流程。
步骤1：LMF(第二设备与第四设备合设)向终端(第一设备)发送第一信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2-1：LMF向基站(第三设备)发送第四信息，第四信息包括以下至少一项：
目标数据映射关系的指示；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-2：终端向基站发送第二信息，第二信息包括：第一数据集合；样本数据对应的样本标识或样本数据对应的样本集合标识。
步骤2-3：基站向LMF发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
第四数据集合，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
目标数据映射关系的指示；
第四指示信息，用于指示所述第一AI单元。
步骤3：LMF计算第二AI单元的目标KPI。
可选地，如果第三信息包括了第四数据集合，则表示基站已完成了数据对齐操作，LMF可以直接基于第四数据集合计算第二AI单元的目标KPI。
如果第三信息包括了第三数据集合和目标数据映射关系，则LMF需要先基于第三数据集合和目标数据映射关系进行数据对齐后，再计算第二AI单元的目标KPI。
实施例3-1b：第四设备从第二设备获得目标数据映射关系，如图4e所示，包括以下流程。
步骤1：LMF(第二设备与第四设备合设)向终端(第一设备)发送第一信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2-2：终端向基站(第三设备)发送第二信息，第二信息包括：第一数据集合；样本数据对应的样本标识或样本数据对应的样本集合标识。
步骤2-3：基站向LMF发送第三信息，所述第三信息包括以下至少一项：
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
样本数据对应的样本标识或样本数据对应的样本集合标识；
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第四指示信息，用于指示所述第一AI单元。
步骤3：LMF计算第二AI单元的目标KPI。
具体地，LMF需要先进行样本数据集合对齐，再计算目标KPI。其中，目标数据的映射关系可以由LMF自身获得，因为LMF此时为第二设备。
实施例3-2：第一信息包含了目标数据映射关系，如图4e所示，包括以下流程。
步骤1，LMF(第二设备与第四设备合设)向终端(第一设备)发送第一信息。第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
步骤2-2：终端向基站发送第二信息，所述第二信息包括以下任一项：第二数据集合；第一数据集合和目标数据映射关系；
可选地，第二信息还包括以下至少一项：
样本数据对应的样本标识或样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-3：基站向LMF发送第三信息，所述第三信息包括以下任一项：第四数据集合；第三数据集合和目标数据映射关系；
可选地，第三信息还包括以下至少一项：
样本数据对应的样本标识或样本数据对应的样本集合标识；
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第四指示信息，用于指示所述第一AI单元。
步骤3：LMF计算第二AI单元的目标KPI。
具体地，如果第三信息包含的是第四数据集合，则LMF不需要做额外的数据集对齐，可以直接计算目标KPI；如果第三信息包含的是第三数据集合和目标数据映射关系的指示，则LMF需要先进行样本数据集合对齐，再计算目标KPI。
实施例四，上述AI用例可以为AI定位，第一设备为终端，第三设备和第四设备为同一设备，即基站，第二设备LMF。
实施例4-1：第一设备未获得目标数据映射关系。参照图4f，具体包括以下流程。
步骤1：LMF(第二设备)向终端(第一设备)发送第一信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2-1：LMF向基站(第三设备和第四设备合设)发送第四信息或第七信息，第四信息或第七信息包括以下至少一项：
目标数据映射关系的指示；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-2：终端向基站发送第二信息，第二信息包括：第一数据集合；样本数据对应的样本标识或样本数据对应的样本集合标识。
步骤3：基站进行第一AI单元的推理，并计算第二AI单元的目标KPI。
具体的，基站作为第三设备，根据第一数据集合和第一AI单元获得推理结果，再基于目标映射关系对多个推理结果进行对齐；或者根据第一数据集合和目标数据映射关系确定对齐后第一AI单元的输入，推理得到推理结果。基站作为第四设备，基于推理结果计算目标KPI。
步骤4，基站向LMF发送第六信息，所述第六信息包括所述目标KPI。
实施例4-2：第一设备获得目标数据映射关系。
实施例4-2a：第一设备把目标数据映射关系告诉给第三设备，参照图4g，具体包括以下流程。
步骤1：LMF(第二设备)向终端(第一设备)发送第一信息。第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
步骤2-2：终端向基站(第三设备与第四设备合设)发送第二信息，所述第二信息包括以下任一项：第二数据集合；第一数据集合和目标数据映射关系；
可选地，第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤3：基站进行第一AI单元的推理，并计算第二AI单元的目标KPI。
具体地，基站作为第三设备，如果第二信息包括了第二数据集合，基站可以基于第二数据集合直接获得对齐后的第一AI单元的输入，再推理得到第一AI单元的推理结果。如果第二信息包括了第一数据集合和目标数据映射关系，则基站可以先基于第一数据集合和目标数据映射关系进行数据对齐后，获得对齐后的第一AI单元的输入，再进行第一AI单元推理，获得推理结果。
基站作为第四设备，根据第一AI单元的推理结果计算目标KPI。
步骤4，基站向LMF发送第六信息，所述第六信息包括所述目标KPI。
实施例4-2b：第二设备没有把目标映射关系告诉第一设备，但第二设备把目标数据映射关系告诉给第三设备和第四设备，参照图4f，具体包括以下流程。
步骤1：LMF(第二设备)向终端(第一设备)发送第一信息，用于指示进行性能监视。此时不需要配置额外的监视测量资源。
步骤2-1，LMF(第二设备)向基站(第三设备，第四设备合设)发送第四信息或第七信息。所述第四信息或第七信息包括目标数据映射关系的指示，还可以包括以下至少一项：
第一AI单元的指示；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，第一信息的发送方式可以包括网络配置、网络触发或者终端触发。
可选地，第四信息的放松可以是网络配置或者网络触发。
步骤2-2，终端(第一设备)向基站(第三设备与第四设备合设)发送第二信息包括以下至少一项：
第一数据集合；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
具体地，基站作为第三设备，基于第二信息中的第一数据集合，以及第四信息中的目标数据映射关系，生成第二数据集，再基于第一AI单元推理获得推理结果；或者先基于第一数据集合，以及第一AI单元推理获得推理结果，再基于第四信息中的目标数据映射关系对第一AI单元的推理结果进行数据对齐获得第四数据集。
基站作为第四设备，根据第一AI单元的推理结果计算目标KPI。
步骤4，基站向LMF发送第六信息，所述第六信息包括所述目标KPI。
实施例五，上述AI用例可以为AI定位，第一设备、第三设备和第四设备为同一设备，即终端，第二设备LMF。本实施例与上述实施例二类似，区别在于，本实施例中的第二设备不是基站，而是LMF。
实施例六，上述AI用例可以为AI定位，第一设备、第二设备和第四设备为同一设备，即LMF，第三设备基站。
实施例6-1a：第三设备获得目标数据映射关系。参照图4h，具体包括以下流程。
步骤2-1：LMF(第一设备、第二设备、第四设备合设)向基站(第三设备)发送第四信息，所述第四信息包括所述目标数据映射关系的指示信息。第四信息还可以包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-2：LMF向基站发送第二信息，第二信息包括以下至少一项：
第一数据集合，所述第一数据集合包括所述目标对象的样本数据；
第二数据集合，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合；
样本数据对应的样本标识或样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
步骤2-3：基站向LMF发送第三信息，所述第三信息包括以下至少一项：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
第四数据集合，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
目标数据映射关系的指示；
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
步骤3：LMF计算第二AI单元的目标KPI。
LMF作为第四设备，如果第三信息包含的是第四数据集，即第一AI单元的一个样本对应的输入数据和输出数据已经做了对齐，则可以直接计算得到目标KPI；
LMF作为第四设备，如果第三信息包含的是第三数据集合和目标数据映射关系的指示，则第四设备需要先将第三数据集合中不同样本进行对齐(即在第一AI单元的模型推理后对数据进行对齐)，然后计算得到目标KPI。
实施例6-1b：第三设备未获得目标数据映射关系。参照图4i，具体包括以下流程。
步骤2-2：LMF(第一设备、第二设备、第四设备合设)向基站(第三设备)发送第二信息包括以下至少一项：
第一数据集合；
样本数据对应的样本标识或样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
步骤2-3：基站向LMF发送第三信息，所述第三信息包括以下至少一项：
第三数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息；
样本数据对应的样本标识或样本数据对应的样本集合标识；
第四指示信息，用于指示所述第一AI单元。
步骤3：LMF计算第二AI单元的目标KPI。
具体地，LMF作为第四设备，基于第三信息包含的第三数据集合LMF根据自身可以获得的目标数据映射关系对第三数据集中不同样本进行对齐(即在第一AI单元的模型推理后对数据进行对齐)，然后计算得到目标KPI。
值得指出的是，上述不同实施例中涉及的各种信息和模型的实现，以及各个步骤的实施可以相互参考或结合，为避免过多重复，不在一一列举。
参照图5，本申请实施例还提供了一种性能监视处理方法，如图5所示，该性能监视处理方法包括：
步骤501，第二设备向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
可选地，所述方法还包括：
所述第二设备向第三设备发送第四信息，所述第四信息包括目标数据映射关系的指示信息；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第四信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，在所述第二设备还用于实现所述第一AI单元的推理功能的情况下，所述方法还包括：
所述第二设备从所述第一设备接收第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
其中，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，在所述第二设备还用于实现计算所述目标对象的监控性能关键绩效指标KPI的功能的情况下，所述方法还包括：
所述第二设备基于目标数据映射关系对第一AI单元的评价相关信息进行对齐后，计算目标KPI；
其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述方法还包括：
所述第二设备向第四设备发送第七信息，所述第七信息包括目标数据映射关系的指示信息。
可选地，所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，在所述第二设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述方法还包括：
所述第二设备接收来自第三设备的第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述方法还包括以下任一项：
所述第二设备基于目标数据映射关系对所述第三数据集合中的第一AI单元的评价相关信息进行对齐后，计算目标KPI；
所述第二设备基于所述第四数据集合计算目标KPI；
其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述方法还包括：
所述第二设备基于所述目标KPI执行以下至少以下任一项：退回到非AI算法；启动AI单元；切换AI单元；切换AI用例功能。
可选地，所述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
可选地，在一些实施例中，所述第一设备为终端、基站或核心网设备；所述第二设备为终端、基站或核心网设备；所述第三设备为终端、基站或核心网设备；所述第四设备为终端、基站或核心网设备。
参照图6，本申请实施例还提供了一种性能监视处理方法，如图6所示，该性能监视处理方法包括：
步骤601，第三设备接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
步骤602，所述第三设备基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第三设备基于所述第二信息和第一AI单元对目标对象进行性能监视包括：
所述第三设备基于所述第二信息和第一AI单元，确定所述评价相关信息；
所述第三设备执行目标操作；
其中，所述目标操作满足以下至少一项：
在所述第三设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI；
所述目标操作包括向第四设备发送第三信息，所述第三信息包括：第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于所述目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，所述第三设备基于所述第二信息和第一AI单元，确定所述评价相关信息包括以下任一项：
所述第三设备将第二信息中第二AI单元的输入数据和输出数据作为所述第一AI单元的输入，获得所述第二AI单元的绝对推理性能，所述评价相关信息包括所述第二AI单元的绝对推理性能；
所述第三设备将第二信息中非AI算法的输入数据和输出数据作为所述第一AI单元的输入，获得使用所述第二AI单元的增益空间，所述评价相关信息包括所述第二AI单元的增益空间；
所述第三设备将第二信息中第二AI单元的输入数据和至少两个输出数据作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述至少两个输出数据为所述至少两个不同的第二AI单元对应的输出数据；
所述第三设备将第二信息中至少两个第二AI单元的样本数据分别作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述第二AI单元的样本数据包括第二AI单元的输入数据和第二AI单元的输出数据。
可选地，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI之后，所述方法还包括：
所述第三设备向第二设备发送第六信息；
其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述方法还包括：
所述第三设备从第二设备接收第四信息，所述第四信息包括目标数据映射关系的指示信息。
可选地，所述第四信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，所述方法还包括：
所述第三设备向第四设备发送第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，在一些实施例中，所述第一设备为终端、基站或核心网设备；所述第二设备为终端、基站或核心网设备；所述第三设备为终端、基站或核心网设备；所述第四设备为终端、基站或核心网设备。
参照图7，本申请实施例还提供了一种性能监视处理方法，如图7所示，该性能监视处理方法包括：
步骤701，第四设备接收来自第三设备的第三信息；
步骤702，所述第四设备基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
可选地，所述第四设备基于所述第三信息，获得目标KPI包括以下任一项：
所述第四设备基于目标数据映射关系对所述第三数据集合中评价相关信息对齐后，计算目标KPI；
所述第四设备基于所述第四数据集合计算目标KPI。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述方法还包括：
所述第四设备向第二设备发送第六信息；
其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，所述方法还包括：
所述第四设备从第二设备接收第七信息，所述第七信息包括所述目标数据映射关系；
所述第四设备从第一设备接收第五信息，所述第五信息包括所述目标数据映射关系。
可选地，所述第七信息或所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示所述第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，所述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
可选地，在一些实施例中，所述第一设备为终端、基站或核心网设备；所述第二设备为终端、基站或核心网设备；所述第三设备为终端、基站或核心网设备；所述第四设备为终端、基站或核心网设备。
本申请实施例提供的性能监视处理方法，执行主体可以为性能监视处理装置。本申请实施例中以性能监视处理装置执行性能监视处理方法为例，说明本申请实施例提供的性能监视处理装置。
本申请实施例提供一种性能监视处理装置，作为一种示例，性能监视处理装置可以是通信设备或通信设备中的部件，例如芯片。该通信设备可以是终端、网络侧设备或服务器等。示例性的，终端可以包括但不限于上述所列举的终端11的类型，网络侧设备可以包括但不限于上述所列举的网络侧设备12的类型，本申请实施例不作具体限定。
性能监视处理装置包括接收模块、发送模块和处理模块。其中，接收模块、发送模块和处理模块可以是通过软件实现，也可以通过硬件实现。当通过硬件实现时，处理模块可以由处理器实现，示例性的，处理器可以包括通用处理器、专用处理器等，例如包括中央处理单元(Central Processing Unit，CPU)、微处理器、数字信号处理器(Digital Signal Processor，DSP)、人工智能(Artificial Intelligent，AI)处理器、图形处理器(Graphics Processing Unit，GPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、网络处理器(Network Processor，NP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、门电路、晶体管、分立硬件组件等。接收模块和发送模块可以由通信接口实现，通信接口可以包括收发器、管脚、电路、总线、射频单元等其中一种或多种。
具体的，参见图8，该性能监视处理装置800包括第一收模块801，用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
可选地，所述性能监视处理装置800还包括：
第一发送模块，用于向第三设备发送第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，在所述第一设备还用于实现所述第一AI单元的推理功能的情况下，所述性能监视处理装置800还包括：
第一发送模块，用于向第四设备发送第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述第一接收模块还用于从所述第二设备接收第四信息，所述第四信息包括所述目标数据映射关系的指示信息。
可选地，所述第四信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置800还包括：
第一发送模块，用于向第四设备发送第五信息，所述第五信息包括目标数据映射关系的指示信息。
可选地，所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，所述性能监视处理装置800还包括：
第三处理模块，用于在所述第一设备还用于实现计算所述目标对象的目标KPI的功能的情况下，基于第一AI单元输出的评价相关信息，确定目标KPI；
第一发送模块，用于向所述第二设备发送第六信息，所述第六信息包括所述目标KPI。
可选地，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，所述第三处理模块用于执行以下包括以下任一项：
从第三设备接收所述第一AI单元输出的评价相关信息，并基于目标数据映射关系对所述评价相关信息对齐后，计算目标KPI；
从第三设备接收第四数据集合，并基于第四数据集合计算目标KPI，其中，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元输出的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
具体的，参见图9，该性能监视处理装置900包括第二发送模块901，用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第一信息包括以下至少一项：
第一指示信息，用于指示进行性能监视；
第二指示信息，用于指示基于所述第一AI单元进行性能监视；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
第六指示信息，用于指示第一AI单元的输入信息。
可选地，所述第二发送模块901还用于：向第三设备发送第四信息，所述第四信息包括目标数据映射关系的指示信息；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第四信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置900还包括：
第二接收模块，用于在所述第二设备还用于实现所述第一AI单元的推理功能的情况下，从所述第一设备接收第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
其中，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述第二信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置900还包括：
第四处理模块，用于在所述第二设备还用于实现计算所述目标对象的监控性能关键绩效指标KPI的功能的情况下，基于目标数据映射关系对第一AI单元的评价相关信息进行对齐后，计算目标KPI；
其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述第二发送模块901还用于：
向第四设备发送第七信息，所述第七信息包括目标数据映射关系的指示信息。
可选地，所述第七信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，所述性能监视处理装置900还包括：
第二接收模块，用于在所述第二设备还用于实现计算所述目标对象的目标KPI的功能的情况下，接收来自第三设备的第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置900还包括：第四处理模块，用于执行以下任一项：
基于目标数据映射关系对所述第三数据集合中的第一AI单元的评价相关信息进行对齐后，计算目标KPI；
基于所述第四数据集合计算目标KPI；
其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
可选地，所述性能监视处理装置900还包括：第四处理模块，用于基于所述目标KPI执行以下至少以下任一项：退回到非AI算法；启动AI单元；切换AI单元；切换AI用例功能。
可选地，所述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
具体的，参见图10，性能监视处理装置1000包括；
第三接收模块1001，用于接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
第一处理模块1002，用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
可选地，所述第一处理模块1002包括：
确定单元，用于基于所述第二信息和第一AI单元，确定所述评价相关信息；
执行单元，用于执行目标操作；
其中，所述目标操作满足以下至少一项：
在所述第三设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI；
所述目标操作包括向第四设备发送第三信息，所述第三信息包括：第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于所述目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，所述确定单元具体用于执行以下任一项：
将第二信息中第二AI单元的输入数据和输出数据作为所述第一AI单元的输入，获得所述第二AI单元的绝对推理性能，所述评价相关信息包括所述第二AI单元的绝对推理性能；
将第二信息中非AI算法的输入数据和输出数据作为所述第一AI单元的输入，获得使用所述第二AI单元的增益空间，所述评价相关信息包括所述第二AI单元的增益空间；
将第二信息中第二AI单元的输入数据和至少两个输出数据作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述至少两个输出数据为所述至少两个不同的第二AI单元对应的输出数据；
将第二信息中至少两个第二AI单元的样本数据分别作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述第二AI单元的样本数据包括第二AI单元的输入数据和第二AI单元的输出数据。
可选地，所述性能监视处理装置1000还包括：
第三发送模块，用于向第二设备发送第六信息；
其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，所述第三接收模块1001还用于从第二设备接收第四信息，所述第四信息包括目标数据映射关系的指示信息。
可选地，所述第四信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置1000还包括：
第三发送模块，用于向第四设备发送第三信息，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
具体的，参见图11，性能监视处理装置1100包括：
第四接收模块1101，用于接收来自第三设备的第三信息；
第二处理模块1102，用于基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
可选地，所述第二处理模块1102具体用于执行以下任一项：
基于目标数据映射关系对所述第三数据集合中评价相关信息对齐后，计算目标KPI；
基于所述第四数据集合计算目标KPI。
可选地，所述第三信息还包括以下至少一项：
所述样本数据对应的样本标识或所述样本数据对应的样本集合标识；
所述目标数据映射关系的指示信息；
第四指示信息，用于指示所述第一AI单元。
可选地，所述性能监视处理装置1100还包括：
第四发送模块，用于向第二设备发送第六信息；
其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
可选地，所述第六信息还包括以下至少一项：
第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
第三指示信息，用于指示基于所述第一AI单元的监视目的；
所述第一AI单元；
所述第二AI单元。
可选地，所述第四接收模块1101还用于执行以下至少一项：
从第二设备接收第七信息，所述第七信息包括所述目标数据映射关系；
从第一设备接收第五信息，所述第五信息包括所述目标数据映射关系。
可选地，所述第七信息或所述第五信息还包括以下至少一项：
第三指示信息，用于指示基于所述第一AI单元的监视目的；
第四指示信息，用于指示所述第一AI单元；
第七指示信息，用于指示所述第三设备；
第八指示信息，用于指示所述目标对象对应的用例。
可选地，所述评价相关信息包括以下任一项：
所述第二AI单元的绝对推理性能；
使用所述第二AI单元的增益空间；
所述第二AI单元的相对推理性能。
本申请实施例提供的性能监视处理装置能够实现图2、图3、图5至图7的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图12所示，本申请实施例还提供一种通信设备1200，包括处理器1201和存储器1202，存储器1202上存储有可在所述处理器1201上运行的程序或指令，该程序或指令被处理器1201执行时实现上述性能监视处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种终端，包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如图2、5、6或7所示方法实施例中的步骤。该终端实施例与上述第一设备侧、第二设备侧、第三设备侧和第四设备侧方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中，且能达到相同的技术效果。该终端可以是图8、9、10或11所示的性能监视处理装置。具体地，图13为实现本申请实施例的一种终端的硬件结构示意图。
该终端1300包括但不限于：射频单元1301、网络模块1302、音频输出单元1303、输入单元1304、传感器1305、显示单元1306、用户输入单元1307、接口单元1308、存储器1309以及处理器1310等中的至少部分部件。
本领域技术人员可以理解，终端1300还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1310逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗管理等功能。图13中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元1304可以包括图形处理器13041和麦克风13042，图形处理器13041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1306可包括显示面板13061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板13061。用户输入单元1307包括触控面板13071以及其他输入设备13072中的至少一种。触控面板13071，也称为触摸屏。触控面板13071可包括触摸检测装置和触摸控制器两个部分。其他输入设备13072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
本申请实施例中，射频单元1301接收来自网络侧设备的下行数据后，可以传输给处理器1310进行处理；另外，射频单元1301可以向网络侧设备发送上行数据。通常，射频单元1301包括但不限于天线、放大器、收发器、耦合器、低噪声放大器、双工器等。
存储器1309可用于存储软件程序或指令以及各种数据。存储器1309可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1309可以包括易失性存储器或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1309包括但不限于这些和任意其它适合类型的存储器。
处理器1310可包括一个或多个处理单元；可选的，处理器1310集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1310中。
其中，在所述终端为第一设备的情况下，所述射频单元1301用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
在所述终端为第二设备的情况下，所述射频单元1301用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
在所述终端为第三设备的情况下，所述射频单元1301用于接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
处理器1310，用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
在所述终端为第四设备的情况下，所述射频单元1301用于接收来自第三设备的第三信息；
所述处理器1310用于基于所述第三信息，获得目标KPI；
其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
可以理解，本实施例中提及的各实现方式的实现过程可以参照第一设备、第二设备、第三设备或第四设备侧的方法实施例的相关描述，并达到相同或相应的技术效果，为避免重复，在此不再赘述。
本申请实施例还提供一种网络侧设备，包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如图2、图5、图6或图7所示的方法实施例的步骤。该网络侧设备实施例与上述第一设备侧、第二设备侧、第三设备侧和第四设备侧方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中，且能达到相同的技术效果。
具体地，本申请实施例还提供了一种网络侧设备，该网络侧设备可以是图8、图9、图10或图11所示的性能监视处理装置。如图14所示，该网络侧设备1400包括：天线1401、射频装置1402、基带装置1403、处理器1404和存储器1405。天线1401与射频装置1402连接。在上行方向上，射频装置1402通过天线1401接收信息，将接收的信息发送给基带装置1403进行处理。在下行方向上，基带装置1403对要发送的信息进行处理，并发送给射频装置1402，射频装置1402对收到的信息进行处理后经过天线1401发送出去。
以上实施例中网络侧设备执行的方法可以在基带装置1403中实现，该基带装置1403包括基带处理器。
基带装置1403例如可以包括至少一个基带板，该基带板上设置有多个芯片，如图14所示，其中一个芯片例如为基带处理器，通过总线接口与存储器1405连接，以调用存储器1405中的程序，执行以上方法实施例中所示的网络侧设备操作。
该网络侧设备还可以包括网络接口1406，该接口例如为通用公共无线接口(Common Public Radio Interface，CPRI)。
具体地，本申请实施例的网络侧设备1400还包括：存储在存储器1405上并可在处理器1404上运行的指令或程序，处理器1404调用存储器1405中的指令或程序执行图8、图9、图10或图11所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
具体地，本申请实施例还提供了一种网络侧设备。如图15所示，该网络侧设备1500包括：处理器1501、网络接口1502和存储器1503。该网络侧设备可以是图8、图9、图10或图11所示的性能监视处理装置。其中，网络接口1502例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本申请实施例的网络侧设备1500还包括：存储在存储器1503上并可在处理器1501上运行的指令或程序，处理器1501调用存储器1503中的指令或程序执行图8、图9、图10或图11所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述性能监视处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。在一些示例中，可读存储介质可以是非瞬态的可读存储介质。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述性能监视处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品包括计算机指令，所述计算机程序/程序产品被至少一个处理器执行以实现上述性能监视处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种无线通信系统，包括：第一设备、第二设备、第三设备和第四设备，所述第一设备可用于执行如上所述第一设备侧的性能监视处理方法的步骤，所述第二设备可用于执行如上所述第二设备侧的性能监视处理方法的步骤，所述第三设备可用于执行如上所述第三设备侧的性能监视处理方法的步骤，所述第四设备可用于执行如上所述第四设备侧的性能监视处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助计算机软件产品加必需的通用硬件平台的方式来实现，当然也可以通过硬件。该计算机软件产品存储在存储介质(如ROM、RAM、磁碟、光盘等)中，包括若干指令，用以使得终端或者网络侧设备执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式的实施方式，这些实施方式均属于本申请的保护之内。

Claims (43)

  1. 一种性能监视处理方法，包括：
    第一设备接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
  2. 根据权利要求1所述的方法，其中，所述第一信息包括以下至少一项：
    第一指示信息，用于指示进行性能监视；
    第二指示信息，用于指示基于所述第一AI单元进行性能监视；
    第三指示信息，用于指示基于所述第一AI单元的监视目的；
    第四指示信息，用于指示所述第一AI单元；
    第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
    第六指示信息，用于指示第一AI单元的输入信息。
  3. 根据权利要求1所述的方法，所述方法还包括：
    所述第一设备向第三设备发送第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    其中，所述第三设备用于实现所述第一AI单元的推理功能，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  4. 根据权利要求1至3任一项所述的方法，其中，在所述第一设备还用于实现所述第一AI单元的推理功能的情况下，所述方法还包括：
    所述第一设备向第四设备发送第三信息，所述第三信息包括：
    第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
    第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元输出的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
    其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
  5. 根据权利要求4所述的方法，所述方法还包括：
    所述第一设备从所述第二设备接收第四信息，所述第四信息包括所述目标数据映射关系的指示信息。
  6. 根据权利要求1至5任一项所述的方法，所述方法还包括：
    所述第一设备向第四设备发送第五信息，所述第五信息包括目标数据映射关系的指示信息。
  7. 根据权利要求1至6任一项所述的方法，其中，在所述第一设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述方法还包括：
    所述第一设备基于第一AI单元输出的评价相关信息，确定目标KPI；
    所述第一设备向所述第二设备发送第六信息，所述第六信息包括所述目标KPI。
  8. 根据权利要求7所述的方法，其中，所述第六信息还包括以下至少一项：
    第十指示信息，用于指示是否基于所述第一AI单元获得所述目标KPI；
    第三指示信息，用于指示基于所述第一AI单元的监视目的；
    所述第一AI单元；
    所述第二AI单元。
  9. 根据权利要求7所述的方法，其中，所述第一设备基于第一AI单元输出的评价相关信息，确定目标KPI包括以下任一项：
    所述第一设备从第三设备接收所述第一AI单元输出的评价相关信息，并基于目标数据映射关系对所述评价相关信息对齐后，计算目标KPI；
    所述第一设备从第三设备接收第四数据集合，并基于第四数据集合计算目标KPI，其中，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元输出的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
    其中，所述第三设备用于实现所述第一AI单元的推理功能。
  10. 根据权利要求1至9任一项所述的方法，其中，所述第一设备为终端、基站或核心网设备；或者，所述第二设备为终端、基站或核心网设备。
  11. 一种性能监视处理方法，包括：
    第二设备向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
  12. 根据权利要求11所述的方法，其中，所述第一信息包括以下至少一项：
    第一指示信息，用于指示进行性能监视；
    第二指示信息，用于指示基于所述第一AI单元进行性能监视；
    第三指示信息，用于指示基于所述第一AI单元的监视目的；
    第四指示信息，用于指示所述第一AI单元；
    第五指示信息，用于指示适用于所述第一AI单元的第二AI单元；
    第六指示信息，用于指示第一AI单元的输入信息。
  13. 根据权利要求11或12所述的方法，所述方法还包括：
    所述第二设备向第三设备发送第四信息，所述第四信息包括目标数据映射关系的指示信息；
    其中，所述第三设备用于实现所述第一AI单元的推理功能。
  14. 根据权利要求11至13任一项所述的方法，其中，在所述第二设备还用于实现所述第一AI单元的推理功能的情况下，所述方法还包括：
    所述第二设备从所述第一设备接收第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    其中，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  15. 根据权利要求14所述的方法，其中，在所述第二设备还用于实现计算所述目标对象的监控性能关键绩效指标KPI的功能的情况下，所述方法还包括：
    所述第二设备基于目标数据映射关系对第一AI单元的评价相关信息进行对齐后，计算目标KPI；
    其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  16. 根据权利要求11或12所述的方法，所述方法还包括：
    所述第二设备向第四设备发送第七信息，所述第七信息包括目标数据映射关系的指示信息。
  17. 根据权利要求11至16任一项所述的方法，其中，在所述第二设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述方法还包括：
    所述第二设备接收来自第三设备的第三信息，所述第三信息包括：
    第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
    第三数据集合或第四数据集合，所述第三数据集合包括所述第一AI单元的评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述第一AI单元的评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
    其中，所述第三设备用于实现所述第一AI单元的推理功能。
  18. 根据权利要求17所述的方法，所述方法还包括以下任一项：
    所述第二设备基于目标数据映射关系对所述第三数据集合中的第一AI单元的评价相关信息进行对齐后，计算目标KPI；
    所述第二设备基于所述第四数据集合计算目标KPI；
    其中，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  19. 根据权利要求15或18所述的方法，所述方法还包括：
    所述第二设备基于所述目标KPI执行以下至少以下任一项：退回到非AI算法；启动AI单元；切换AI单元；切换AI用例功能。
  20. 根据权利要求11至19任一项所述的方法，其中，所述评价相关信息包括以下任一项：
    所述第二AI单元的绝对推理性能；
    使用所述第二AI单元的增益空间；
    所述第二AI单元的相对推理性能。
  21. 一种性能监视处理方法，包括：
    第三设备接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    所述第三设备基于所述第二信息和第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
  22. 根据权利要求21所述的方法，其中，所述第三设备基于所述第二信息和第一AI单元对目标对象进行性能监视包括：
    所述第三设备基于所述第二信息和第一AI单元，确定所述评价相关信息；
    所述第三设备执行目标操作；
    其中，所述目标操作满足以下至少一项：
    在所述第三设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI；
    所述目标操作包括向第四设备发送第三信息，所述第三信息包括：第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于所述目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
  23. 根据权利要求22所述的方法，其中，所述第三设备基于所述第二信息和第一AI单元，确定所述评价相关信息包括以下任一项：
    所述第三设备将第二信息中第二AI单元的输入数据和输出数据作为所述第一AI单元的输入，获得所述第二AI单元的绝对推理性能，所述评价相关信息包括所述第二AI单元的绝对推理性能；
    所述第三设备将第二信息中非AI算法的输入数据和输出数据作为所述第一AI单元的输入，获得使用所述第二AI单元的增益空间，所述评价相关信息包括所述第二AI单元的增益空间；
    所述第三设备将第二信息中第二AI单元的输入数据和至少两个输出数据作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述至少两个输出数据为所述至少两个不同的第二AI单元对应的输出数据；
    所述第三设备将第二信息中至少两个第二AI单元的样本数据分别作为所述第一AI单元的输入，获得使用至少两个第二AI单元的相对推理性能，所述评价相关信息包括所述至少两个第二AI单元的相对推理性能，其中，所述第二AI单元的样本数据包括第二AI单元的输入数据和第二AI单元的输出数据。
  24. 根据权利要求22所述的方法，其中，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI之后，所述方法还包括：
    所述第三设备向第二设备发送第六信息；
    其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
  25. 根据权利要求21至24任一项所述的方法，所述方法还包括：
    所述第三设备向第四设备发送第三信息，所述第三信息包括：
    第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
    第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；
    其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
  26. 根据权利要求21至25任一项所述的方法，其中，所述第一设备为终端、基站或核心网设备；或者，所述第三设备为终端、基站或核心网设备。
  27. 一种性能监视处理方法，包括：
    第四设备接收来自第三设备的第三信息；
    所述第四设备基于所述第三信息，获得目标KPI；
    其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
    第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
    第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
    其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
  28. 根据权利要求27所述的方法，其中，所述第四设备基于所述第三信息，获得目标KPI包括以下任一项：
    所述第四设备基于目标数据映射关系对所述第三数据集合中评价相关信息对齐后，计算目标KPI；
    所述第四设备基于所述第四数据集合计算目标KPI。
  29. 根据权利要求27或28所述的方法，所述方法还包括：
    所述第四设备向第二设备发送第六信息；
    其中，所述第六信息包括所述目标KPI，所述第二设备用于实现所述目标对象监视的控制功能。
  30. 根据权利要求29所述的方法，所述方法还包括以下任一项：
    所述第四设备从第二设备接收第七信息，所述第七信息包括所述目标数据映射关系；
    所述第四设备从第一设备接收第五信息，所述第五信息包括所述目标数据映射关系。
  31. 根据权利要求27至30任一项所述的方法，其中，所述第三设备为终端、基站或核心网设备；或者，所述第四设备为终端、基站或核心网设备。
  32. 一种性能监视处理装置，应用于第一设备，所述装置包括：
    第一接收模块，用于接收来自第二设备的第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
  33. 根据权利要求32所述的装置，还包括：
    第一发送模块，用于向第三设备发送第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    其中，所述第三设备用于实现所述第一AI单元的推理功能，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  34. 一种性能监视处理装置，应用于第二设备，所述装置包括：
    第二发送模块，用于向第一设备发送第一信息，所述第一信息用于指示基于第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一设备用于实现所述目标对象的相关功能，所述第二设备用于实现所述目标对象监视的控制功能。
  35. 根据权利要求34所述的装置，其中，在所述第二设备还用于实现所述第一AI单元的推理功能的情况下，所述装置还包括：
    第二接收模块，用于从所述第一设备接收第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    其中，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据。
  36. 一种性能监视处理装置，应用于第三设备，所述装置包括：
    第三接收模块，用于接收来自第一设备的第二信息，所述第二信息包括以下任一项：第一数据集合；第一数据集合和目标数据映射关系；第二数据集合；
    第一处理模块，用于基于所述第二信息和第一AI单元对目标对象进行性能监视；
    其中，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定所述目标对象的目标关键绩效指标KPI，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法，所述第一数据集合包括所述目标对象的样本数据，所述样本数据包括输入数据和输出数据，所述第二数据集合为基于所述目标数据映射关系对所述第一数据集合中样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；所述第一设备用于实现所述目标对象的相关功能，所述第三设备用于实现所述第一AI单元的推理功能。
  37. 根据权利要求36所述的装置，其中，所述第一处理模块包括：
    确定单元，用于基于所述第二信息和第一AI单元，确定所述评价相关信息；
    执行单元，用于执行目标操作；
    其中，所述目标操作满足以下至少一项：
    在所述第三设备还用于实现计算所述目标对象的目标KPI的功能的情况下，所述目标操作包括基于所述目标数据映射关系对所述评价相关信息进行对齐后，计算目标KPI；
    所述目标操作包括向第四设备发送第三信息，所述第三信息包括：第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于所述目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合；其中，所述第四设备用于实现计算所述目标对象的目标KPI的功能。
  38. 一种性能监视处理装置，应用于第四设备，所述装置包括：
    第四接收模块，用于接收来自第三设备的第三信息；
    第二处理模块，用于基于所述第三信息，获得目标KPI；
    其中，所述第三设备用于实现第一AI单元的推理功能，所述第一AI单元用于推理获得评价相关信息，所述评价相关信息用于确定目标对象的目标关键绩效指标KPI，所述第四设备用于实现计算目标对象的目标KPI的功能，所述第三信息包括：
    第九指示信息，所述第九指示信息用于指示是否基于所述第一AI单元进行推理；
    第三数据集合或第四数据集合，所述第三数据集合包括所述评价相关信息，所述第四数据集合包括基于目标数据映射关系对所述评价相关信息和所述目标对象的样本数据进行对齐后的数据集合，所述目标数据映射关系用于表示至少两个目标样本数据之间的关联关系，不同的所述目标样本数据为不同的目标对象的样本数据；
    其中，所述目标对象用于实现用例功能，且所述目标对象包括第二AI单元或非AI算法。
  39. 根据权利要求38所述的装置，其中，所述第二处理模块具体用于执行以下任一项：
    基于目标数据映射关系对所述第三数据集合中评价相关信息对齐后，计算目标KPI；
    基于所述第四数据集合计算目标KPI。
  40. 一种终端，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至31中任一项所述的性能监视处理方法的步骤。
  41. 一种网络侧设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至31任一项所述的性能监视处理方法的步骤。
  42. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至31任一项所述的性能监视处理方法的步骤。
  43. 一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至31中任一项所述的性能监视处理方法的步骤。
PCT/CN2025/093636 2024-05-16 2025-05-09 性能监视处理方法、装置、终端及网络侧设备 Pending WO2025237166A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410611705.0A CN120980580A (zh) 2024-05-16 2024-05-16 性能监视处理方法、装置、终端及网络侧设备
CN202410611705.0 2024-05-16

Publications (1)

Publication Number Publication Date
WO2025237166A1 true WO2025237166A1 (zh) 2025-11-20

Family

ID=97653165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2025/093636 Pending WO2025237166A1 (zh) 2024-05-16 2025-05-09 性能监视处理方法、装置、终端及网络侧设备

Country Status (2)

Country Link
CN (1) CN120980580A (zh)
WO (1) WO2025237166A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012359A1 (en) * 2021-08-05 2023-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method for monitoring performance of an artificial intelligence (ai)/machine learning (ml) model or algorithm
WO2023141834A1 (zh) * 2022-01-26 2023-08-03 Oppo广东移动通信有限公司 模型性能的监测方法、装置、设备及介质
CN117425158A (zh) * 2022-07-11 2024-01-19 维沃移动通信有限公司 人工智能请求分析方法、装置及设备
WO2024091970A1 (en) * 2022-10-25 2024-05-02 Intel Corporation Performance evaluation for artificial intelligence/machine learning inference

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012359A1 (en) * 2021-08-05 2023-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method for monitoring performance of an artificial intelligence (ai)/machine learning (ml) model or algorithm
WO2023141834A1 (zh) * 2022-01-26 2023-08-03 Oppo广东移动通信有限公司 模型性能的监测方法、装置、设备及介质
CN117425158A (zh) * 2022-07-11 2024-01-19 维沃移动通信有限公司 人工智能请求分析方法、装置及设备
WO2024091970A1 (en) * 2022-10-25 2024-05-02 Intel Corporation Performance evaluation for artificial intelligence/machine learning inference

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VIJAY NANGIA, LENOVO: "AI/ML Positioning use cases and Associated Impacts", 3GPP DRAFT; R1-2211778; TYPE DISCUSSION; FS_NR_AIML_AIR, 3RD GENERATION PARTNERSHIP PROJECT (3GPP), MOBILE COMPETENCE CENTRE ; 650, ROUTE DES LUCIOLES ; F-06921 SOPHIA-ANTIPOLIS CEDEX ; FRANCE, vol. RAN WG1, no. Toulouse, FR; 20221114 - 20221118, 7 November 2022 (2022-11-07), Mobile Competence Centre ; 650, route des Lucioles ; F-06921 Sophia-Antipolis Cedex ; France, XP052222343 *
VIJAY NANGIA, LENOVO: "Discussion on AI/ML Positioning Evaluations", 3GPP DRAFT; R1-2211777; TYPE DISCUSSION; FS_NR_AIML_AIR, 3RD GENERATION PARTNERSHIP PROJECT (3GPP), MOBILE COMPETENCE CENTRE ; 650, ROUTE DES LUCIOLES ; F-06921 SOPHIA-ANTIPOLIS CEDEX ; FRANCE, vol. RAN WG1, no. Toulouse, FR; 20221114 - 20221118, 7 November 2022 (2022-11-07), Mobile Competence Centre ; 650, route des Lucioles ; F-06921 Sophia-Antipolis Cedex ; France, XP052222342 *

Also Published As

Publication number Publication date
CN120980580A (zh) 2025-11-18

Similar Documents

Publication Publication Date Title
WO2022105756A1 (zh) 定位方法、装置、终端设备、基站及位置管理服务器
CN118283645A (zh) 模型信息传输方法、装置及设备
WO2023231921A1 (zh) 无线感知切换方法及设备
CN118214750A (zh) Ai算力上报方法、终端及网络侧设备
WO2025237166A1 (zh) 性能监视处理方法、装置、终端及网络侧设备
CN120980582A (zh) 数据收集处理方法、装置、终端及网络侧设备
WO2025237165A1 (zh) 数据收集方法、装置、终端及网络侧设备
WO2026067352A1 (zh) 信息传输方法、装置及相关设备
WO2026067376A1 (zh) 信息确定方法、装置、终端及网络侧设备
WO2026012174A1 (zh) 信息配置方法、装置、设备及存储介质
WO2025167915A1 (zh) 基于ai模型的终端定位方法、终端及网络侧设备
WO2026001813A1 (zh) 信息获取方法、终端、网络侧设备及存储介质
CN119012376A (zh) 能力上报处理方法、装置、终端及网络侧设备
WO2026012237A1 (zh) 计算节点切换方法、装置及设备
WO2026056757A1 (zh) 预测相关的处理方法、终端及网络侧设备
CN119496538A (zh) 信道状态信息上报、接收方法、装置、设备及可读存储介质
WO2026012236A1 (zh) 接入网设备切换方法、装置及设备
CN122002305A (zh) Ai模型管理方法、装置及通信设备
WO2025067043A1 (zh) 信息上报方法、信息上报配置方法、装置及相关设备
WO2026032295A1 (zh) 终端能力上报或接收方法、终端及网络侧设备
WO2025031325A1 (zh) 基于参考模型的通信方法及设备
WO2026012198A1 (zh) 信息获取方法、信息传输方法、装置及通信设备
WO2026012157A1 (zh) 信息传输方法、装置及通信设备
WO2026032266A1 (zh) 无线通信方法、装置及设备
CN118784010A (zh) 波束预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25802816

Country of ref document: EP

Kind code of ref document: A1