WO2023240546A1 - 模型监测方法、装置、设备及介质 - Google Patents

模型监测方法、装置、设备及介质 Download PDF

Info

Publication number
WO2023240546A1
WO2023240546A1 PCT/CN2022/099197 CN2022099197W WO2023240546A1 WO 2023240546 A1 WO2023240546 A1 WO 2023240546A1 CN 2022099197 W CN2022099197 W CN 2022099197W WO 2023240546 A1 WO2023240546 A1 WO 2023240546A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
performance
terminal
indication
reference signal
Prior art date
Application number
PCT/CN2022/099197
Other languages
English (en)
French (fr)
Inventor
李明菊
Original Assignee
北京小米移动软件有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米移动软件有限公司 filed Critical 北京小米移动软件有限公司
Priority to PCT/CN2022/099197 priority Critical patent/WO2023240546A1/zh
Publication of WO2023240546A1 publication Critical patent/WO2023240546A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems

Definitions

  • the present application relates to the field of communication technology, and in particular to a model monitoring method, device, equipment and medium.
  • the access network equipment will configure a reference signal resource set for beam measurement.
  • the terminal measures the reference signal resources in the reference signal resource set, and then reports the reference signal resources with relatively strong beam quality and the corresponding beam quality.
  • the beam quality Including L1-RSRP (Layer1-Reference Signal Received Power, Layer 1 reference signal received power) and/or L1-SINR (Layer1-Signal to Interference plus Noise Ratio, Layer 1 signal-to-noise ratio) for access network equipment.
  • Embodiments of the present application provide a model monitoring method, device, equipment and medium, which can monitor the performance of the model in real time so that the terminal can perform subsequent steps.
  • the technical solution is as follows:
  • a model monitoring device which device includes:
  • a monitoring module is used to monitor the performance indicators of the model.
  • a model monitoring method is provided, which is performed by an access network device.
  • the method includes:
  • a model monitoring device which device includes:
  • the second receiving module is configured to receive a performance indication reported by the terminal, where the performance indication is used to indicate that the terminal detects that the performance index of the model is lower than the threshold value of the performance index.
  • a terminal which includes:
  • the processor is configured to load and execute executable instructions so that the terminal implements any of the above-mentioned model monitoring methods.
  • an access network device includes:
  • Memory used to store instructions executable by the processor
  • a chip is provided, and a communication device equipped with the chip is used to implement any of the above-mentioned model monitoring methods.
  • This solution can monitor the performance indicators of the model so that the terminal can perform subsequent steps based on the performance of the model to improve the performance of beam quality prediction based on the AI model.
  • Figure 3 is a schematic diagram of a model monitoring method provided according to an exemplary embodiment
  • Figure 5 is a schematic flow chart of a model monitoring method according to an exemplary embodiment
  • Figure 6 is a schematic flow chart of a model monitoring method according to an exemplary embodiment
  • Figure 7 is a schematic flow chart of a model monitoring method according to an exemplary embodiment
  • Figure 8 is a schematic diagram of a model monitoring method provided according to an exemplary embodiment
  • Figure 9 is a schematic diagram of a model monitoring method provided according to an exemplary embodiment
  • Figure 12 is a schematic flow chart of a model monitoring method according to an exemplary embodiment
  • Figure 16 is a schematic structural diagram of a terminal according to an exemplary embodiment
  • the communication system may include: a terminal 10 and an access network device 20.
  • the number of terminals 10 is usually multiple, and one or more terminals 10 may be distributed in the cell managed by each access network device 20 .
  • the terminal 10 may include various handheld devices, vehicle-mounted devices, wearable devices, computing devices or other processing devices connected to wireless modems with wireless communication functions, as well as various forms of user equipment (User Equipment, UE), mobile stations ( Mobile Station, MS) and so on.
  • UE User Equipment
  • MS Mobile Station
  • step 201 the performance indicators of the model are monitored.
  • the access network device configures a reference signal set for beam measurement.
  • Each reference signal in the reference signal set corresponds to a different transmit beam on the access network device side.
  • the terminal in the reference signal set Measure each reference signal, and then report the identification of Or Layer1-Signal to Interference plus Noise Ratio, L1-SINR).
  • L1-RSRP average difference the difference between the actual L1-RSRP corresponding to the strongest reference signal identifier predicted by the AI model and the actual L1-RSRP corresponding to the actual strongest reference signal identifier. If the strongest reference signal identity predicted by the AI model is the same as the actual strongest reference signal identity, the L1-RSRP difference is 0.
  • the L1-RSRP average difference can be obtained based on a single prediction result of the AI model, or it can be obtained based on the average of multiple prediction results of the AI model.
  • L1-SINR average difference the difference between the actual L1-SINR corresponding to the strongest reference signal identifier predicted by the AI model and the actual L1-SINR corresponding to the actual strongest reference signal identifier. If the strongest reference signal identity predicted by the AI model is the same as the actual strongest reference signal identity, the L1-SINR difference is 0.
  • the L1-SINR average difference can be obtained based on a single prediction result of the AI model, or it can be obtained based on the average of multiple prediction results of the AI model.
  • the CDF curve of the L1-SINR difference corresponds to the target L1-SINR difference at the second percentile:
  • the CDF curve of the L1-SINR difference is calculated through the model in (3) above.
  • User equipment average throughput difference (average UE throughput difference): based on the actual L1-RSRP corresponding to the strongest reference signal identifier predicted by the AI model and the actual L1-RSRP corresponding to the actual strongest reference signal identifier, two are obtained Based on the SINR corresponding to the reference signal identifiers, calculate the Shannon capacity (Shannon capacity) corresponding to the two reference signal identifiers.
  • the difference in the Shannon capacity corresponding to the two reference signal identifiers is the performance index.
  • the performance index may be obtained based on a single prediction result of the AI model, or may be obtained based on multiple prediction results of the AI model.
  • the terminal when the terminal detects that the performance index of the AI model is less than the threshold value of the performance index, the terminal updates the AI model by itself. After the terminal completes the update of the AI model, the terminal reports the update result of the AI model to the access network device.
  • the update result of the AI model includes at least one of an updated model identifier, an updated model parameter configuration, an updated model parameter configuration identifier, and an updated version identifier.
  • embodiments of the present application monitor the performance indicators of the model so that the terminal can perform subsequent steps based on the performance of the model to improve the performance of beam prediction based on the AI model.
  • Figure 4 shows a flow chart of a model monitoring method provided by an embodiment of the present application. This method can be applied to the terminal in the communication system shown in Figure 1. The method includes the following steps:
  • step 401 the terminal determines the threshold value of the performance index of the model.
  • step 402 the terminal monitors the performance indicators of the model.
  • the threshold value of the performance index may be pre-configured by the access network device, or the threshold value of the performance index may be a pre-agreed default value.
  • the access network device sends indication information to the terminal in advance, and the indication information is used by the terminal to determine the threshold value of the performance index of the model.
  • the indication information includes at least one of downlink control information (Downlink Control Information, DCI), medium access control control element (Medium Access Control Control Element, MAC CE) and radio resource control (Radio Resource Control, RRC). .
  • DCI Downlink Control Information
  • MAC CE Medium Access Control Control Element
  • RRC Radio Resource Control
  • the terminal may determine the performance index based on at least one prediction result output by the model within the first preset time.
  • the first preset time may be indicated by the access network device to the terminal, or the first preset time may be determined based on a default value. For example, if the first preset time is 1 second, then within 1 second, if the AI model outputs three prediction results, the performance indicators of the AI model will be determined based on these three prediction results.
  • step 402 if the terminal measures the beam quality of the reference signal set B and inputs the measured beam quality into the AI model, predicts the beam quality of the reference signal set A, where the beam quality is L1-RSRP and/or L1-SINR.
  • the terminal does not need to monitor the performance of the AI model, that is, the AI model has been trained, and the access network device only needs to periodically send the reference signals in the reference signal set B (herein, it can be according to the first The reference signal in reference signal set B is periodically transmitted), and then the terminal measures the L1-RSRP and/or L1-SINR of the reference signal in reference signal set B and inputs it into the AI model to output the L1-RSRP of reference signal set A. and/or L1-SINR. Or output the X (X is a positive integer) reference signal identifiers with the strongest beam quality in the reference signal set A.
  • the access network equipment is required to periodically send the reference signal in the reference signal set A (here, it can send the reference signal in the reference signal set B according to the second period).
  • the second period can be larger or smaller than the first period, for example, the second period is a multiple of the first period or the first period is a multiple of the second period, there are no restrictions here), and then the terminal side only measures the reference signal set B The L1-RSRP and/or L1-SINR of the reference signal, and then input the L1-RSRP and/or L1-SINR of the reference signal in the reference signal set B into the AI model to obtain the predicted strongest reference signal identification (further also (including the predicted L1-RSRP and/or L1-SINR), and also measure the L1-RSRP and/or L1-SINR of all reference signals in the reference signal set A to determine the actual strongest reference signal identity, and compare the predicted strongest After obtaining the strong reference signal identifier and
  • the terminal receives the reference signal in the reference signal set B at the frequency of the first period, and the terminal receives the reference signal in the reference signal set A at the frequency of the second period, wherein the first period is less than In the second period, according to Figure 8, when the terminal receives reference signal set A and reference signal set B at the same time, the terminal can monitor the model performance. When the terminal only receives reference signal set B, the terminal does not need to monitor model performance.
  • the terminal inputs the L1-RSRP and/or L1-SINR of the reference signal in the first set at the first time into the AI model to obtain the reference signal in the second set at the second time.
  • Absolute values and/or relative relationships of L1-RSRP and/or L1-SINR over time the first set being a subset of the second set.
  • the first set and the second set may be the same set, or the first set is a proper subset of the second set.
  • the first time is the historical time
  • the second time is the time after the first time.
  • the second set includes 32 reference signals at the second time
  • the first set includes 8 reference signals at the first time.
  • the terminal predicts the beam quality of the 8 reference signals at the first time based on the AI model. The beam quality of the 32 reference signals at the second time.
  • the terminal inputs the L1-RSRP and/or L1-SINR of the reference signal in the third set at the first time into the AI model to obtain the reference signal in the fourth set at the second time.
  • the absolute value and/or relative relationship of L1-RSRP and/or L1-SINR over time, the beamwidth of the reference signal in the third set is greater than the beamwidth of the reference signal in the fourth set, the beamwidth of each reference signal in the third set
  • the direction covers the beam directions of multiple reference signals in the fourth set.
  • the fourth set includes 32 reference signals, each reference signal corresponds to a beam direction, and these 32 reference signals cover a direction of 120 degrees.
  • the third set includes N reference signals.
  • This reference signal also covers the direction of 120 degrees. It can also be considered that the relationship between the 32/N reference signals in the fourth set and the same reference signal in the third set is QCL Type D. .
  • the fourth set 902 provided by the access network device 901 includes 4 reference signals, and these 4 reference signals cover a beam direction of 120 degrees, and the fourth set 902 provided by the access network device 901
  • the three sets 903 include two reference signals, and the beam directions covered by these two reference signals are the same as the beam directions covered by the four reference signals covering 120 degrees above.
  • the first time and the second time are within the same period, and the foregoing period is used for the transmission period of the beam measurement reference signal or the reporting period of the beam measurement report.
  • the first time and the second time are not in the same period, for example, the first time is the historical time and the second time is the future time. That is, it can be understood as using the beam quality measured at historical time to predict the beam quality at future time.
  • the embodiment of the present application further includes: in step 403, the terminal reports the performance indication to the access network device.
  • step 403 when it is detected that the performance index of the model is lower than the threshold value of the performance index, report the performance indication to the access network device.
  • the method for reporting performance indicators includes at least one of the following methods:
  • CSI channel state information
  • PMI Precoding Matrix Indication
  • RI Rank Indication
  • LI Layer Indication
  • CRI Channel State Information Reference Signal Resource Indication
  • CRI Channel State Information Reference Signal Resource Indication
  • the performance indication includes at least one of the following:
  • a specific SR for use when the model performance deteriorates, that is, the SR indicates that the AI model performance deteriorates.
  • a specific MAC CE to be used when the model performance deteriorates.
  • the MAC CE indicates that the model performance deteriorates.
  • use bits to indicate the performance of the AI model For example, use “1" to indicate that the performance index of the AI model is higher than the threshold value of the performance index, which means that the performance of the AI model is good. Use "0" to indicate that the performance index of the AI model is lower than the threshold value of the performance index, indicating that the performance of the AI model is poor.
  • the performance index value refers to the numerical size of the performance index of the AI model.
  • the version identification is used to identify the model version from multiple versions of the AI model. For example, if the AI model includes four model versions, "00", “01”, “10” and “11” can be used to identify these four model versions.
  • the parameter configuration identification is used to identify parameter configurations from multiple sets of parameter configurations of the AI model.
  • the recommended model refers to the updated AI model recommended by the terminal.
  • the traditional mode is a non-AI mode or the model identifier of the non-AI mode is 0.
  • the model indication information includes downlink control information (Downlink Control Information, DCI), media access control control element (Medium Access Control Control Element, MAC CE) and radio resource control (Radio Resource Control, at least one of RRC).
  • DCI Downlink Control Information
  • MAC CE Media Access Control Control Element
  • RRC Radio Resource Control
  • the embodiment of the present application further includes: in step 404, the terminal receives the model indication information sent by the access network device.
  • the terminal updates the model according to the model indication information; or switches the model to a recommended model.
  • the model indication information is used to indicate at least one of a model parameter configuration identifier, a model parameter configuration, a model identifier, and a model version identifier.
  • the access network device provides the corresponding relationship between the model identifier and the model parameters to the terminal through RRC signaling in advance.
  • MAC CE or DCI is used to indicate the model identification so that the terminal can determine the model parameters based on the model indication information.
  • the access network device provides the corresponding relationship between the model version identifier and the model parameters to the terminal through RRC signaling in advance.
  • MAC CE or DCI is used to indicate the model version identification so that the terminal can determine the model parameters based on the model indication information.
  • the access network device provides the corresponding relationship between the model parameter configuration identifier and the model parameter to the terminal through RRC signaling in advance.
  • MAC CE or DCI is used to indicate the model parameter configuration identification so that the terminal can determine the model parameters based on the model indication information.
  • the access network device provides the corresponding relationship between the model identifier and the model parameters to the terminal through RRC signaling in advance.
  • MAC CE is used to activate partial model identifiers
  • DCI is used to activate one of the partial model identifiers so that the terminal can determine model parameters based on the model indication information.
  • the access network device provides the corresponding relationship between the model parameter configuration identifier and the model parameter to the terminal through RRC signaling in advance.
  • MAC CE is used to activate some model parameter configuration identifiers
  • DCI is used to activate one of the partial model parameter configuration identifiers so that the terminal can determine the model parameters based on the model indication information.
  • the terminal switches to the legacy mode according to the legacy mode indication, which is used to instruct the terminal to use the legacy mode.
  • the traditional mode refers to the non-AI mode or the model identifier of the non-AI mode is 0.
  • each step includes at least one embodiment.
  • Each step can be an independent embodiment, or each step can be divided into multiple embodiments, or multiple steps constitute one embodiment.
  • the above-mentioned step 403 can constitute one embodiment alone, or the step 403 can also be split into multiple embodiments among the above-mentioned multiple possible embodiments, or the steps 403 and 404 together constitute one embodiment.
  • the embodiments of the present application do not specifically limit this.
  • the embodiments of the present application can monitor the performance indicators of the model, and the terminal reports the identification and performance indicators of the reference signal predicted by the model to the access network equipment. If the access network equipment monitors the reference signal based on the identification and performance indicators of the reference signal, If the model performance is poor, the access network equipment can send model indication information to the terminal to improve the performance of beam quality prediction based on the AI model.
  • Figure 10 shows a flow chart of a model monitoring method provided by an embodiment of the present application. This method can be applied to the access network equipment in the communication system shown in Figure 1. The method includes the following steps:
  • step 1001 the access network device receives the performance indication reported by the terminal.
  • the performance indication is used to indicate that the terminal detects that the performance index of the model is lower than the threshold value of the performance index.
  • the performance indication is reported to the access network device when the terminal detects that the performance index of the model is lower than the threshold value of the performance index.
  • the access network device sends indication information to the terminal in advance, and the indication information is used by the terminal to determine the threshold value of the performance index of the model.
  • the threshold value of the performance indicator is a pre-agreed default value.
  • the performance indicators include at least one of the following:
  • the CDF curve of the L1-RSRP difference corresponds to the target L1-RSRP difference at the first percentile:
  • the CDF curve of the L1-RSRP difference is calculated through the model in (2) above.
  • the actual L1-RSRP difference is calculated through the model in (2) above.
  • the L1-RSRP difference refers to the difference between the predicted L1-RSRP corresponding to each reference signal identifier predicted by the model at least once and the actual L1-RSRP corresponding to each reference signal identifier, that is, AI
  • the model needs to output the L1-RSRP corresponding to each reference signal identification.
  • the first percentage point is any percentage point on the CDF curve of the L1-RSRP difference.
  • the first percentage point is pre-configured by the access network device, for example, the first percentage point is 5%, 50%, or 95%.
  • the CDF curve of the L1-SINR difference corresponds to the target L1-SINR difference at the second percentile:
  • the CDF curve of the L1-SINR difference is calculated through the model in (3) above.
  • the L1-SINR difference refers to the difference between the predicted L1-SINR corresponding to each reference signal identifier predicted by the model at least once and the actual L1-SINR corresponding to each reference signal identifier, that is, AI
  • the model needs to output the L1-SINR corresponding to each reference signal identifier.
  • the second percentile is any percentile on the CDF curve of the L1-SINR difference.
  • the second percentage point is preconfigured by the access network device, for example, the second percentage point is 5%, 50%, or 95%.
  • a specific SR for use when the model performance deteriorates can indicate that the model performance deteriorates.
  • a specific MAC CE to be used when the model performance deteriorates.
  • the MAC CE indicates that the model performance deteriorates.
  • use bits to indicate the performance of the AI model For example, use "1" to indicate that the performance index of the AI model is higher than the threshold value of the performance index, which means that the performance of the AI model is good. Use "0" to indicate that the performance index of the AI model is lower than the threshold value of the performance index, indicating that the performance of the AI model is poor.
  • the performance index value refers to the numerical size of the performance index of the AI model.
  • a model identifier is used to identify a model from multiple models.
  • the model identifiers include identifiers corresponding to models with different functions.
  • the AI model is used for CSI compression, or the AI model is used for beam prediction, or the AI model is used for positioning prediction.
  • the version identification is used to identify the model version from multiple versions of the AI model. For example, if the AI model includes four model versions, "00", “01”, “10” and “11” can be used to identify these four model versions.
  • the parameter configuration identification is used to identify parameter configurations from multiple sets of parameter configurations of the AI model.
  • the recommended model refers to the updated AI model recommended by the terminal.
  • the traditional mode is a non-AI mode or the model identifier of the non-AI mode is 0.
  • the access network device receives the performance indication reported by the terminal in the following manner:
  • the access network device receives the performance indication reported by the terminal through PUCCH or PUSCH.
  • the access network device receives the performance indication reported by the terminal through the information used to carry CSI.
  • CSI is a feedback method used to feedback at least one of PMI, RI, LI, CRI, L1-RSRP and L1-SINR.
  • the model indication information is used to indicate at least one of model parameter configuration identification, model parameter configuration, model identification and model version identification.
  • the model indication information is used to instruct the terminal to update the model.
  • the model indication information is transmitted based on at least one of DCI, MAC CE and RRC.
  • the access network device provides the corresponding relationship between the model version identifier and the model parameters to the terminal through RRC signaling in advance.
  • MAC CE or DCI is used to indicate the model version identification, so that the terminal can determine the model parameters based on the model indication information, so that the terminal can update the model parameters of the AI model.
  • the access network device provides the corresponding relationship between the model parameter configuration identifier and the model parameter to the terminal through RRC signaling in advance.
  • MAC CE or DCI is used to indicate the model parameter configuration identification, so that the terminal can determine the model parameters based on the model indication information, so that the terminal can update the model parameters of the AI model.
  • the access network device provides the corresponding relationship between the model identifier and the model parameters to the terminal through RRC signaling in advance.
  • MAC CE is used to activate some model identifiers
  • DCI is used to activate one of the partial model identifiers so that the terminal can determine the model parameters based on the model indication information, so that the terminal can update the model parameters of the AI model.
  • the access network device provides the corresponding relationship between the model parameter configuration identifier and the model parameter to the terminal through RRC signaling in advance.
  • MAC CE is used to activate some model parameter configuration identifiers
  • DCI is used to activate one of the partial model parameter configuration identifiers so that the terminal can determine the model parameters based on the model indication information, so that the terminal can update the model parameters of the AI model.
  • the legacy mode indication is used to instruct the terminal to use legacy mode.
  • the traditional mode is a non-AI mode or the model identifier of the non-AI mode is 0.
  • the access network device issues performance instructions to the terminal so that the terminal can perform subsequent steps to improve the performance of beam quality prediction based on the AI model.
  • the model can also be set on the access network device, and the access network device performs beam prediction based on the model.
  • Figure 13 shows a flow chart of a model monitoring method provided by an embodiment of the present application. This method can be applied to the communication system shown in Figure 1. The method includes the following steps:
  • step 1301 the performance indicators of the model are monitored.
  • the model used in the embodiment of this application is at least one of an AI model, a mathematical model, and a machine learning model, which is not specifically limited in this application.
  • the embodiment of this application is explained by taking the model as an AI model as an example.
  • AI models are used for beam prediction.
  • the performance indicators include at least one of the following:
  • Prediction accuracy the probability that the N strongest reference signal identifiers predicted by the AI model contain the actual strongest reference signal identifiers, where the reference signal identifier is at least one of an SSB identifier, a CSI-RS identifier, and an SRS identifier. .
  • the strongest reference signal refers to the reference signal with the largest L1-RSRP or L1-SINR. Among them, N is a positive integer.
  • the N strongest reference signal identifiers predicted by the AI model refer to the N reference signal identifiers ranked in the top N by beam quality predicted by the AI model.
  • the actual strongest reference signal identifier is the reference signal identifier with the highest beam quality after the terminal measures the beam quality of all reference signals.
  • L1-RSRP average difference the difference between the actual L1-RSRP corresponding to the strongest reference signal identifier predicted by the AI model and the actual L1-RSRP corresponding to the actual strongest reference signal identifier. If the strongest reference signal identity predicted by the AI model is the same as the actual strongest reference signal identity, the L1-RSRP difference is 0.
  • the L1-RSRP average difference can be obtained based on a single prediction result of the AI model, or it can be obtained based on the average of multiple prediction results of the AI model.
  • the CDF curve of the L1-RSRP difference corresponds to the target L1-RSRP difference at the first percentile:
  • the CDF curve of the L1-RSRP difference is calculated through the model in (2) above.
  • the actual L1-RSRP difference is calculated through the model in (2) above.
  • the CDF curve of the L1-SINR difference corresponds to the target L1-SINR difference at the second percentile:
  • the CDF curve of the L1-SINR difference is calculated through the model in (3) above.
  • the L1-SINR difference refers to the difference between the predicted L1-SINR corresponding to each reference signal identifier predicted by the model at least once and the actual L1-SINR corresponding to each reference signal identifier, that is, AI
  • the model needs to output the L1-SINR corresponding to each reference signal identifier.
  • the second percentile is any percentile on the CDF curve of the L1-SINR difference.
  • the second percentage point is preconfigured by the access network device, for example, the second percentage point is 5%, 50%, or 95%.
  • the access network device when the access network device detects that the performance index of the model is lower than the threshold value of the performance index, the access network device configures the identifier based on the model parameters, the model parameter configuration, the model identifier and the model version. Identifies at least one of the updated models. Or, when the access network equipment detects that the performance index of the model is lower than the threshold value of the performance index, the access network equipment returns to the traditional mode.
  • the traditional mode is a non-AI mode or the model identifier of the non-AI mode is 0.
  • the terminal measures the beam quality of reference signal set B, and reports the beam quality and reference signal identification of reference signal set B to the access network device, and the access network device receives the beam of reference signal set B.
  • the access network device receives the beam of reference signal set B.
  • the access network device inputs the L1-RSRP and/or L1-SINR of the reference signals in the fifth set at the third time into the model to obtain the L1-RSRP and/or L1-RSRP of the reference signals in the sixth set at the fourth time.
  • the third set is a subset of the fourth set.
  • the fourth set includes 16 reference signals at the fourth time
  • the third set includes 4 reference signals at the third time.
  • the terminal predicts the beam quality of the 4 reference signals at the third time based on the AI model. The beam quality of the 16 reference signals at the fourth time, where the third time is the historical time.
  • the access network device inputs the L1-RSRP and/or L1-SINR of the reference signals in the seventh set at the third time into the model to obtain the L1-RSRP and/or L1-RSRP of the reference signals in the eighth set at the fourth time.
  • the beam width of the reference signal in the seventh set is greater than the beam width of the reference signal in the eighth set
  • the beam direction of each reference signal in the seventh set covers the eighth set
  • the third time and the fourth time are within the same cycle.
  • the third time and the fourth time are not in the same cycle, for example, the third time is the historical time and the fourth time is the future time. That is, it can be understood as using the beam quality measured at historical time to predict the beam quality at future time.
  • embodiments of the present application monitor the performance indicators of the model so that the access network equipment can perform subsequent steps based on the performance of the model to improve the performance of beam quality prediction based on the AI model.
  • Figure 14 is a structural block diagram of a model monitoring device provided by an exemplary embodiment of the present application. As shown in Figure 6, the device 1400 includes:
  • Monitoring module 1401 is used to monitor the performance indicators of the model.
  • the performance indicators include at least one of the following: prediction accuracy; layer 1 reference signal received power L1-RSRP average difference; layer 1 signal-to-noise ratio L1-SINR average difference; L1 -The target L1-RSRP difference corresponding to the CDF curve of the cumulative distribution function of the RSRP difference at the first percentile; the target L1-SINR difference corresponding to the CDF curve of the L1-SINR difference at the second percentile; Average UE throughput difference.
  • the first sending module 1403 is configured to report a performance indication to the access network device, where the performance indication is used to indicate that the terminal detects that the performance index of the model is lower than the performance The threshold value of the indicator.
  • the first sending module 1403 is also configured to report the performance indication to the access network device through the physical uplink control channel PUCCH or the physical uplink shared channel PUSCH; or, through the The information of the channel state information CSI reports the performance indication to the access network device; or, the performance indication is reported to the access network device through the uplink media access control unit UL MAC CE and/or the scheduling request SR. .
  • the performance indication includes at least one of the following: an indication of poor performance of the model; a performance index value of the model; a model identification, a version identification, a parameter configuration identification and a parameter of the model At least one of the configuration; recommend at least one of the model identification, version identification, parameter configuration identification and parameter configuration of the model; recommend returning to the traditional mode.
  • the monitoring module 1401 is also used to determine the threshold value of the performance index of the model.
  • the monitoring module 1401 is also configured to receive the indication information sent by the access network device.
  • the indication information includes downlink control information DCI, media access control unit MAC CE and At least one item in Radio Resource Control RRC.
  • the first receiving module 1402 is also configured to receive model indication information sent by the access network device, where the model indication information is used to indicate model parameter configuration identification, model parameter configuration, model identification, and At least one of model version identifiers; updating the model according to the model indication information; or switching the model to a recommended model.
  • the monitoring module 1401 is also used to perform beam prediction based on the model.
  • embodiments of the present application monitor the performance indicators of the model so that the terminal can perform subsequent steps based on the performance of the model to improve the performance of beam quality prediction based on the AI model.
  • Figure 15 is a structural block diagram of a model monitoring device provided by an exemplary embodiment of the present application. As shown in Figure 15, the device 1500 includes:
  • the second receiving module 1501 is configured to receive a performance indication reported by a terminal, where the performance indication is used to indicate that the terminal detects that the performance index of the model is lower than the threshold value of the performance index.
  • the performance indicators include at least one of the following: prediction accuracy; L1-RSRP average difference; L1-SINR average difference; CDF curve of L1-RSRP difference at the first percentile The corresponding target L1-RSRP difference; the CDF curve of the L1-SINR difference corresponding to the target L1-SINR difference at the second percentile; average UE throughput difference.
  • the second sending module 1502 is configured to send indication information to the terminal, where the indication information is used by the terminal to determine the threshold value of the performance index of the model.
  • the second sending module 1502 is also configured to receive the performance indication reported by the terminal through PUCCH or PUSCH; or, receive all the performance indication reported by the terminal through information used to carry CSI. or, receiving the performance indication reported by the terminal through UL MAC CE and/or SR.
  • the performance indication includes at least one of the following: an indication of poor performance of the model; a performance index value of the model; a model identification, a version identification, a parameter configuration identification and a parameter of the model At least one of the configuration; recommend at least one of the model identification, version identification, parameter configuration identification and parameter configuration of the model; recommend returning to the traditional mode.
  • the second sending module 1502 is also configured to send model indication information to the terminal, where the model indication information is used to indicate model parameter configuration identification, model parameter configuration, model identification and model version. At least one of the identifiers.
  • FIG 16 shows a schematic structural diagram of a terminal 1600 provided by an embodiment of the present application.
  • the terminal 1600 may include: a processor 1601, a transceiver 1602, and a memory 1603.
  • the transceiver 1602 may include a receiver and a transmitter.
  • the receiver and the transmitter may be implemented as the same wireless communication component, and the wireless communication component may include a wireless communication chip and a radio frequency antenna.
  • Memory 1603 may be connected to processor 1601 and transceiver 1602.
  • the process performed by the transceiver 1602 may refer to the various steps performed by the terminal in the above method.
  • Transceiver 1702 may include a receiver and a transmitter.
  • the transceiver 1702 may include a wired communication component, which may include a wired communication chip and a wired interface (such as an optical fiber interface).
  • the transceiver 1702 may also include a wireless communication component, which may include a wireless communication chip and a radio frequency antenna.
  • Memory 1703 may be connected to processor 1701 and transceiver 1702.
  • This application also provides a chip, which is used to run in a computer device, so that the computer device performs various steps performed by the terminal or the access network device in the method shown above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种模型监测方法、装置、设备及介质，属于通信技术领域。所述方法由终端执行，所述方法包括：监测所述模型的性能指标。该方法基于性能指标监测模型的性能，以便终端根据模型的性能来进行后续的步骤。

Description

模型监测方法、装置、设备及介质 技术领域
本申请涉及通信技术领域，特别涉及一种模型监测方法、装置、设备及介质。
背景技术
接入网设备会配置用于波束测量的参考信号资源集合，终端对该参考信号资源集合中的参考信号资源进行测量，然后上报其中波束质量比较强的参考信号资源和对应的波束质量，波束质量包括L1-RSRP(Layer1-Reference Signal Received Power，层1参考信号接收功率)和/或L1-SINR(Layer1-Signal to Interference plus Noise Ratio，层1信噪比)给接入网设备。
相关技术为减少终端测量，可以基于人工智能(Artificial Intelligence，AI)模型进行波束预测。比如将测量获得的一部分波束的波束质量输入到AI模型中，利用AI模型预测其它波束的波束质量；或将测量获得的历史时间的波束质量输入到AI模型中，利用AI模型预测未来时间波束的波束质量。
但是AI模型存在适用条件，模型的性能不稳定。
发明内容
本申请实施例提供了一种模型监测方法、装置、设备及介质，能够实时监测模型的性能，以便终端进行后续的步骤。该技术方案如下：
根据本申请的一个方面，提供了一种模型监测方法，该方法由终端执行，该方法包括：
监测所述模型的性能指标。
根据本申请的一个方面，提供了一种模型监测装置，该装置包括：
监测模块，用于监测所述模型的性能指标。
根据本申请的一个方面，提供了一种模型监测方法，该方法由接入网设备执行，该方法包括：
接收终端上报的性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
根据本申请的一个方面，提供了一种模型监测装置，该装置包括：
第二接收模块，用于接收终端上报的性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
根据本申请实施例的另一方面，提供了一种终端，该终端包括：
处理器；
与处理器相连的收发器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为加载并执行可执行指令以使得终端实现上述任一所述的模型监测方法。
根据本申请实施例的另一方面，提供了一种接入网设备，该接入网设备包括：
处理器；
与处理器相连的收发器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为加载并执行可执行指令以使得接入网设备实现上述任一所述的模型监测方法。
根据本申请实施例的另一方面，提供了一种芯片，安装有所述芯片的通信设备用于实现上述任一所述的模型监测方法。
根据本申请的一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以使得通信设备实现如上述的模型监测方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
该方案可以监测模型的性能指标，以便终端根据模型的性能来进行后续的步骤，以提高基于AI模型的波束质量预测的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提供的一种通信系统的示意图；
图2是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图3是根据一示例性实施例提供的一种模型监测方法的示意图；
图4是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图5是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图6是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图7是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图8是根据一示例性实施例提供的一种模型监测方法的示意图；
图9是根据一示例性实施例提供的一种模型监测方法的示意图；
图10是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图11是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图12是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图13是根据一示例性实施例提供的一种模型监测方法的流程示意图；
图14是根据一示例性实施例示出的一种模型监测装置的框图；
图15是根据一示例性实施例示出的一种模型监测装置的框图；
图16是根据一示例性实施例示出的一种终端的结构示意图；
图17是根据一示例性实施例示出的一种接入网设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例描述的网络架构以及业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例 提供的技术方案对于类似的技术问题，同样适用。
请参考图1，其示出了本申请一个实施例提供的通信系统的示意图。该通信系统可以包括：终端10和接入网设备20。
终端10的数量通常为多个，每一个接入网设备20所管理的小区内可以分布一个或多个终端10。终端10可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备，以及各种形式的用户设备(User Equipment，UE)、移动台(Mobile Station，MS)等等。为方便描述，本申请实施例中，上面提到的设备统称为终端。
接入网设备20是一种部署在接入网中用以为终端10提供无线通信功能的装置。接入网设备20可以包括各种形式的宏基站，微基站，中继站，接入点。在采用不同的无线接入技术的系统中，具备接入网设备功能的设备的名称可能会有所不同，例如在5G NR系统中，称为gNodeB或者gNB。随着通信技术的演进，“接入网设备”这一名称可能会变化。为方便描述，本申请实施例中，上述为终端10提供无线通信功能的装置统称为接入网设备。接入网设备20与终端10之间可以通过空口建立连接，从而通过该连接进行通信，包括信令和数据的交互。接入网设备20的数量可以有多个，两个邻近的接入网设备20之间也可以通过有线或者无线的方式进行通信。终端10可以在不同的接入网设备20之间进行切换，也即与不同的接入网设备20建立连接。
本申请实施例中的“5G NR系统”也可以称为5G系统或者NR系统，但本领域技术人员可以理解其含义。本申请实施例描述的技术方案可以适用于5GNR系统，也可以适用于5G NR系统后续的演进系统。
在新的无线技术(New Radio，NR)中，特别是通信频段在频率范围2(frequency range 2)时，由于高频信道衰减较快，为了保证覆盖范围，需要使用基于波束的发送和接收。
图2示出了本申请一个实施例提供的模型监测方法的流程图。该方法可以应用于图1所示的通信系统中的终端。该方法包括如下步骤：
在步骤201中，监测模型的性能指标。
可选地，本申请实施例使用的模型是AI模型、数学模型、机器学习模型中 的至少一种，本申请对此不作具体限定。本申请实施例以模型是AI模型为例进行说明。示例性的，终端监测AI模型的性能指标。
其中，波束预测用于预测波束的波束质量。在一个具体的例子中，接入网设备会配置用于波束测量的参考信号集合，参考信号集合中的每个参考信号对应接入网设备侧的不同的发送波束，终端对该参考信号集合中的各个参考信号进行测量，然后上报其中波束质量比较强的X个参考信号标识和对应的波束质量，其中波束质量包括层1参考信号接收功率(Layer1-Reference Signal Received Power，L1-RSRP)和/或层1信噪比(Layer1-Signal to Interference plus Noise Ratio，L1-SINR)。
在AI模型的辅助下，若终端需要获得波束质量的波束对的数量为M*N个(其中，M为接入网设备发送波束的数量，N为终端接收波束的数量)，则终端可以只需要测量M*N个波束对中的P(P小于M*N)个波束对的波束质量，而后，将测得的P个波束对的波束质量输入到AI模型中，该AI模型即可输出M*N个波束对的波束质量。其中一个波束对包含一个接入网设备的发送波束和一个终端侧的接收波束。接入网设备的发送波束即对应一个参考信号ID。
示例性的，如图3所示，接入网设备301的波束包括波束1、波束2、波束3和波束4，终端302的接收波束包括波束a、波束b和波束c，在这种情况下，终端需要获得波束质量的波束对包括“波束1-波束a”、“波束1-波束b”、“波束1-波束c”、“波束2-波束a”、“波束2-波束b”、“波束2-波束c”、“波束3-波束a”、“波束3-波束b”、“波束3-波束c”、“波束4-波束a”、“波束4-波束b”和“波束4-波束c”共12种情况，则终端可以只需要测量其中“波束1-波束a”、“波束2-波束b”、“波束3-波束c”和“波束4-波束c”的波束质量，而后，将测得的波束质量输入到AI模型中，该AI模型即可输出全部12种情况下波束的波束质量。
在一个可能的实施例中，终端测量参考信号的L1-RSRP和/或L1-SINR，参考信号包括同步信号块(Synchronization Signal/PBCH Block，SSB)、信道状态信息参考信号(Channel State Information Reference Signal，CSI-RS)、探测参考信号(Sounding Reference Signal，SRS)中的至少一种。
在一个可能的实施例中，终端基于传输配置指示状态(Transmission Configuration Indication state，TCI state)确定接入网设备传输的信道和/或参考 信号的波束。TCI state包含至少一种准共址(Quasi Co-Location，QCL)类型，QCL类型包括Type A、Type B、Type C和Type D中的至少一种，其中，Type A、Type B和Type C包括多普勒频移、多普勒扩展、平均时延和时延扩展相关的参数的至少一项，Type D为接收参数信息，也可称为波束。
监测在一个可能的实施例中，性能指标包括以下至少一项：
(1)预测准确度(prediction accuracy)：AI模型预测的N个最强参考信号标识包含实际的最强参考信号标识的概率，其中，参考信号标识是SSB标识、CSI-RS标识和SRS标识中的至少一种。最强的参考信号指L1-RSRP或L1-SINR最大的参考信号。其中，N为正整数。AI模型预测的N个最强参考信号标识是指AI模型预测的波束质量排在前N的N个参考信号标识。可选地，实际的最强参考信号标识是终端测量所有参考信号的波束质量后，波束质量排在第一的参考信号标识。
(2)L1-RSRP平均差值：由AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-RSRP差值即为0。L1-RSRP平均差值可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果的平均值得到的。
(3)L1-SINR平均差值：由AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-SINR差值即为0。L1-SINR平均差值可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果的平均值得到的。
(4)L1-RSRP差值的累积分布函数(Cumulative Distribution Function，CDF)曲线在第一百分点处对应的目标L1-RSRP差值：在一种实现方式中，L1-RSRP差值的CDF曲线是通过上述(2)中AI模型的多次预测结果的L1-RSRP差值得到的CDF曲线，即L1-RSRP差值只包含了AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。在另一种实现方式中，L1-RSRP差值指AI模型至少一次预测出来的各个参考信号标识分别对应的预测L1-RSRP与实际各个参考信号标识分别对应的实际L1-RSRP的差值，即AI模型需要输出各个参考信号标识分别对应的L1-RSRP。 第一百分点是L1-RSRP差值的CDF曲线上的任意一处百分点。可选地，第一百分点由接入网设备预先配置，比如第一百分点为5％，50％，或95％。
(5)L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值：在一种实现方式中，L1-SINR差值的CDF曲线是通过上述(3)中模型的多次预测结果的L1-SINR差值得到的CDF曲线，即L1-SINR差值只包含了AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。在另一种实现方式中，L1-SINR差值指AI模型至少一次预测出来的各个参考信号标识分别对应的预测L1-SINR与实际各个参考信号标识分别对应的实际L1-SINR的差值，即AI模型需要输出各个参考信号标识分别对应的L1-SINR。第二百分点是L1-SINR差值的CDF曲线上的任意一处百分点。可选地，第二百分点由接入网设备预先配置，比如第二百分点为5％，50％，或95％。
(6)用户设备平均吞吐差值(average UE throughput difference)：基于AI模型预测的最强参考信号标识对应的实际L1-RSRP和实际的最强参考信号标识对应的实际L1-RSRP，获得两个参考信号标识分别对应的SINR，计算两个参考信号标识分别对应的香农容量(Shannon capacity)，两个参考信号标识分别对应的香农容量的差值即为该性能指标。其中，该性能指标可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果得到的。
在一个可能的实施例中，在终端监测到AI模型的性能指标小于性能指标的门限值的情况下，终端向接入网设备上报性能指示，性能指示用于告知接入网设备，该AI模型的性能变差了。进一步，性能指示还用于请求接入网设备下发更新AI模型的指示。
在一个可能的实施例中，在终端监测到AI模型的性能指标小于性能指标的门限值的情况下，终端自行更新AI模型。在终端完成AI模型的更新后，终端向接入网设备上报AI模型的更新结果。可选地，AI模型的更新结果包括更新后的模型标识、更新后的模型参数配置、更新后的模型参数配置标识、更新后的版本标识中的至少一种。
综上所述，本申请实施例监测模型的性能指标，以便终端根据模型的性能来进行后续的步骤，以提高基于AI模型进行波束预测的性能。
图4示出了本申请一个实施例提供的模型监测方法的流程图。该方法可以应用于图1所示的通信系统中的终端。该方法包括如下步骤：
在步骤401中，终端确定模型的性能指标的门限值。
在步骤402中，终端监测模型的性能指标。
在一个可能的实施例中，本申请实施例使用的模型是AI模型、数学模型、机器学习模型中的至少一种，本申请对此不作具体限定。本申请实施例以模型是AI模型为例进行说明。示例性的，终端监测AI模型的性能指标。
在一个可能的实施例中，针对步骤401，性能指标的门限值可以是接入网设备预先配置的，或者，性能指标的门限值是预先约定的默认值。示例性的，接入网设备预先向终端发送指示信息，指示信息用于终端确定模型的性能指标的门限值。可选地，指示信息包含下行控制信息(Downlink Control Information，DCI)、媒体接入控制控制单元(Medium Access Control Control Element，MAC CE)和无线资源控制(Radio Resource Control，RRC)中的至少一项。
在一个可能的实施例中，针对步骤402，终端可以基于第一预设时间内模型输出的至少一次预测结果确定性能指标。其中，第一预设时间可以是接入网设备指示给终端的，第一预设时间也可以是基于默认值确定的。比如，设第一预设时间是1秒，则在1秒内，若AI模型输出了3次预测结果，根据这3次预测结果确定AI模型的性能指标。
在一个可能的实施例中，针对步骤402，终端可以基于模型输出的N1次预测结果确定性能指标，N1为正整数。其中，N1可以是接入网设备指示给终端的，N1也可以是基于默认值确定的。比如，N1＝3，则获取AI模型连续输出的3个预测结果，通过这3个预测结果确定性能指标。又比如，N1＝3，若AI模型在一段时间内输出了10个预测结果，则可以从中随机选出3个预测结果来确定性能指标，也可以按照预设规律从中选出3个预测结果来确定性能指标。
在一个可能的实施例中，针对步骤402，若终端测量参考信号集合B的波束质量，并将测得的波束质量输入到AI模型中，预测参考信号集合A的波束质量，其中，波束质量是L1-RSRP和/或L1-SINR。
在一种情况下，终端不需要监测AI模型的性能，即AI模型已经训练完成，则接入网设备只需要周期性的发送参考信号集合B中的参考信号即可(这里可以是按照第一周期发送参考信号集合B中的参考信号)，然后终端测量参考信号 集合B中参考信号的L1-RSRP和/或L1-SINR，输入到AI模型中，即可输出参考信号集合A的L1-RSRP和/或L1-SINR。或者输出参考信号集合A中波束质量最强的X(X为正整数)个参考信号标识。
在另一种情况下，终端需要监测AI模型的性能，则要求接入网设备周期性的发送参考信号集合A中的参考信号(这里可以是按照第二周期发送参考信号集合B中的参考信号，第二周期可以大于或小于第一周期，比如，第二周期是第一周期的倍数或第一周期是第二周期的倍数，这里不进行限制)，然后终端一边只测量参考信号集合B中参考信号的L1-RSRP和/或L1-SINR，然后将参考信号集合B中参考信号的L1-RSRP和/或L1-SINR输入到AI模型中得出预测的最强参考信号标识(进一步也可以包含预测的L1-RSRP和/或L1-SINR)，同时也测量参考信号集合A中所有参考信号的L1-RSRP和/或L1-SINR，以确定实际的最强参考信号标识，比较预测的最强参考信号标识和实际的最强参考信号标识，或获得其它上述所述性能指标，并将性能指标与性能指标门限值进行比较之后，即能确定是否需要向接入网设备上报性能指示。可选地，参考信号集合A和最近的一次参考信号集合B的发送时间接近。
示例性的，如图8所示，终端以第一周期的频率接收参考信号集合B中的参考信号，终端以第二周期的频率接收参考信号集合A中的参考信号，其中，第一周期小于第二周期，则根据图8可得，终端在同时接收到参考信号集合A和参考信号集合B的情况下，终端可以监测模型性能。而终端在只接收到参考信号集合B的情况下，终端不需要监测模型性能。
在一个可能的实施例中，针对步骤402，终端将第一集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到AI模型中，得到第二集合内参考信号在第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，第一集合是第二集合的子集。其中，第一集合和第二集合可以是相同集合，或者，第一集合是第二集合的真子集。可选地，第一时间为历史时间，第二时间是第一时间之后的时间。示例性的，第二集合包括第二时间的32个参考信号，第一集合包括第一时间的8个参考信号，则终端基于AI模型通过第一时间的8个参考信号的波束质量预测出了第二时间的32个参考信号的波束质量。
在一个可能的实施例中，针对步骤402，终端将第三集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到AI模型中，得到第四集合内参考信号在 第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，第三集合内参考信号的波束宽度大于第四集合内参考信号的波束宽度，第三集合内每个参考信号的波束方向覆盖了第四集合内多个参考信号的波束方向。示例性的，第四集合包括32个参考信号，每个参考信号对应一个波束方向，这32个参考信号覆盖120度的方向。第三集合包括N个参考信号，这个参考信号同样覆盖了120度的方向，也可以认为第四集合中的32/N个参考信号与第三集合中的同一个参考信号为QCL Type D的关系。示例性的，如图9所示，接入网设备901提供的第四集合902包括4个参考信号，这4个参考信号覆盖了120度的波束方向，而且，接入网设备901提供的第三集合903包括2个参考信号，这2个参考信号覆盖的波束方向与上文中4个参考信号覆盖了120度的波束方向相同。可选地，第一时间和第二时间在同一周期内，前述的周期用于波束测量参考信号的发送周期，或波束测量报告的上报周期。
可选地，第一时间和第二时间不在同一周期内，比如第一时间为历史时间，第二时间为未来时间。即可以理解为利用历史时间测量的波束质量预测未来时间的波束质量。
在一个可能的实施例中，请参考图5，本申请实施例还包括：在步骤403中，终端向接入网设备上报性能指示。
在一个可能的实施例中，针对步骤403，在监测到模型的性能指标低于性能指标的门限值的情况下，向接入网设备上报性能指示。
其中，上报性能指示的方法包括以下方法中的至少一种：
(1)通过PUCCH或PUSCH向接入网设备上报性能指示。
(2)通过用于携带信道状态信息(Channel State Information，CSI)的信息向接入网设备上报性能指示。其中CSI即用于反馈预编码矩阵指示(Precoding Matrix Indication，PMI)，等级指示(Rank Indication，RI)，层指示(Layer Indication，LI)，信道状态信息参考信号资源指示(CSI-RS Resource Indication，CRI)，L1-RSRP和L1-SINR中的至少一项的反馈方法。
(3)终端通过上行媒体接入控制控制单元(UpLink Medium Access Control Control Element，UL MAC CE)和/或调度请求(Scheduling Request，SR)向接入网设备上报性能指示。
在一个可能的实施例中，针对步骤403，性能指示包括以下至少一项：
(1)模型的性能差的指示；
可选地，定义特定的SR用于在模型性能变差时使用，即该SR即指示该AI模型性能变差。或定义特定的MAC CE用于在模型性能变差时使用，该MAC CE即指示该模型性能变差。或使用比特位来表示AI模型的性能好坏，例如，使用“1”来表示AI模型的性能指标高于性能指标的门限值，代表AI模型的性能好。使用“0”来表示AI模型的性能指标低于性能指标的门限值，代表AI模型的性能差。
(2)模型的性能指标值；
可选地，性能指标值指AI模型的性能指标的数值大小。
(3)模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
可选地，模型标识用于从多个AI模型中标识出AI模型。示例性的，模型标识包括不同功能的模型对应的标识。例如，AI模型用于CSI压缩，或AI模型用于波束预测，或AI模型用于定位预测。
可选地，版本标识用于从AI模型的多个版本中标识出模型版本。示例性的，AI模型包括4种模型版本，则可以使用“00”、“01”、“10”和“11”来标识出这4种模型版本。
可选地，参数配置标识用于从AI模型的多套参数配置中标识出参数配置。
可选地，参数配置用于表示AI模型的网络参数。
(4)推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
可选地，推荐模型指终端推荐的更新后的AI模型。
(5)推荐回到传统模式；
可选地，传统模式是非AI模式或非AI模式的模型标识为0。
在一个可能的实施例中，针对步骤403，模型指示信息包含下行控制信息(Downlink Control Information，DCI)、媒体接入控制控制单元(Medium Access Control Control Element，MAC CE)和无线资源控制(Radio Resource Control，RRC)中的至少一项。
在一个可能的实施例中，请参考图6，本申请实施例还包括：在步骤404中，终端接收接入网设备发送的模型指示信息。
可选地，终端根据模型指示信息更新模型；或，将模型切换为推荐模型。
在一个可能的实施例中，针对步骤404，模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种。
示例性的，接入网设备预先通过RRC信令向终端提供了模型标识与模型参数的对应关系。MAC CE或DCI用于指示模型标识，以便终端根据模型指示信息确定模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型版本标识与模型参数的对应关系。MAC CE或DCI用于指示模型版本标识，以便终端根据模型指示信息确定模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型参数配置标识与模型参数的对应关系。MAC CE或DCI用于指示模型参数配置标识，以便终端根据模型指示信息确定模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型标识与模型参数的对应关系。MAC CE用于激活部分模型标识，DCI用于激活部分模型标识中的一个模型标识，以便终端根据模型指示信息确定模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型版本标识与模型参数的对应关系。MAC CE用于激活部分模型版本标识，DCI用于激活部分模型版本标识中的一个模型版本标识，以便终端根据模型指示信息确定模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型参数配置标识与模型参数的对应关系。MAC CE用于激活部分模型参数配置标识，DCI用于激活部分模型参数配置标识中的一个模型参数配置标识，以便终端根据模型指示信息确定模型参数。
在一个可能的实施例中，请参考图7，本申请实施例还包括：在步骤405中，终端接收接入网设备的传统模式指示。
可选地，终端根据传统模式指示切换为传统模式，传统模式指示用于指示终端使用传统模式。可选地，传统模式指非AI模式或非AI模式的模型标识为0。
需要说明的是，本申请实施例包括多个可选步骤，且每个步骤包括至少一个实施例。其中，每个步骤都可以独立为一个实施例，或者，每个步骤也可以拆分为多个实施例，或者，多个步骤构成一个实施例。比如，上述步骤403可以单独构成一个实施例，或者，步骤403也可以在上述多个可能的实施例中拆 分成多个实施例，或者，步骤403和步骤404共同构成一个实施例。本申请实施例对此不作具体限定。
综上所述，本申请实施例可以监测模型的性能指标，终端向接入网设备上报模型预测得到的参考信号的标识和性能指标，若接入网设备根据参考信号的标识和性能指标监测到模型性能较差，接入网设备可以向终端下发模型指示信息，以提高基于AI模型的波束质量预测的性能。
图10示出了本申请一个实施例提供的模型监测方法的流程图。该方法可以应用于图1所示的通信系统中的接入网设备。该方法包括如下步骤：
在步骤1001中，接入网设备接收终端上报的性能指示，性能指示用于表示终端监测到模型的性能指标低于性能指标的门限值。
在一个可能的实施例中，本申请实施例使用的模型是AI模型、数学模型、机器学习模型中的至少一种，本申请对此不作具体限定。本申请实施例以模型是AI模型为例进行说明。
可选地，性能指示是在终端监测到模型的性能指标低于性能指标的门限值的情况下向接入网设备上报的。可选地，接入网设备预先向终端发送指示信息，指示信息用于终端确定模型的性能指标的门限值。或者，性能指标的门限值是预先约定的默认值。
在一个可能的实施例中，性能指标包括以下至少一项：
(1)预测准确度：AI模型预测的N个最强参考信号标识包含实际的最强参考信号标识的概率，其中，参考信号标识是SSB标识、CSI-RS标识和SRS标识中的至少一种。最强的参考信号指L1-RSRP或L1-SINR最大的参考信号。其中，N为正整数。AI模型预测的N个最强参考信号标识是指AI模型预测的波束质量排在前N的N个参考信号标识。可选地，实际的最强参考信号标识是终端测量所有参考信号的波束质量后，波束质量排在第一的参考信号标识。
(2)L1-RSRP平均差值：由AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-RSRP差值即为0。L1-RSRP平均差值可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果的平均值得到的。
(3)L1-SINR平均差值：由AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-SINR差值即为0。L1-SINR平均差值可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果的平均值得到的。
(4)L1-RSRP差值的CDF曲线在第一百分点处对应的目标L1-RSRP差值：在一种实现方式中，L1-RSRP差值的CDF曲线是通过上述(2)中模型的多次预测结果的L1-RSRP差值得到的CDF曲线，即L1-RSRP差值只包含了AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。在另一种实现方式中，L1-RSRP差值指模型至少一次预测出来的各个参考信号标识分别对应的预测L1-RSRP与实际各个参考信号标识分别对应的实际L1-RSRP的差值，即AI模型需要输出各个参考信号标识分别对应的L1-RSRP。第一百分点是L1-RSRP差值的CDF曲线上的任意一处百分点。可选地，第一百分点由接入网设备预先配置，比如第一百分点为5％，50％，或95％。
(5)L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值：在一种实现方式中，L1-SINR差值的CDF曲线是通过上述(3)中模型的多次预测结果的L1-SINR差值得到的CDF曲线，即L1-SINR差值只包含了AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。在另一种实现方式中，L1-SINR差值指模型至少一次预测出来的各个参考信号标识分别对应的预测L1-SINR与实际各个参考信号标识分别对应的实际L1-SINR的差值，即AI模型需要输出各个参考信号标识分别对应的L1-SINR。第二百分点是L1-SINR差值的CDF曲线上的任意一处百分点。可选地，第二百分点由接入网设备预先配置，比如第二百分点为5％，50％，或95％。
(6)用户设备平均吞吐差值：基于模型预测的最强参考信号标识对应的实际L1-RSRP和实际的最强参考信号标识对应的实际L1-RSRP，获得两个参考信号标识分别对应的SINR，计算两个参考信号标识分别对应的香农容量，两个参考信号标识分别对应的香农容量的差值即为该性能指标。其中，该性能指标可以是基于模型的单次预测结果得到的，也可以是基于模型的多次预测结果得到 的。
在一个可能的实施例中，性能指示包括以下至少一项：
(1)模型的性能差的指示；
可选地，定义特定的SR用于在模型性能变差时使用，即该SR即可指示该模型性能变差。或定义特定的MAC CE用于在模型性能变差时使用，该MAC CE即指示该模型性能变差。或使用比特位来表示AI模型的性能好坏，例如，使用“1”来表示AI模型的性能指标高于性能指标的门限值，代表AI模型的性能好。使用“0”来表示AI模型的性能指标低于性能指标的门限值，代表AI模型的性能差。
(2)模型的性能指标值；
可选地，性能指标值指AI模型的性能指标的数值大小。
(3)模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
可选地，模型标识用于从多个模型中标识出模型。示例性的，模型标识包括不同功能的模型对应的标识。例如，AI模型用于CSI压缩，或AI模型用于波束预测，或AI模型用于定位预测。
可选地，版本标识用于从AI模型的多个版本中标识出模型版本。示例性的，AI模型包括4种模型版本，则可以使用“00”、“01”、“10”和“11”来标识出这4种模型版本。
可选地，参数配置标识用于从AI模型的多套参数配置中标识出参数配置。
可选地，参数配置用于表示AI模型的网络参数。
(4)推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
可选地，推荐模型指终端推荐的更新后的AI模型。
(5)推荐回到传统模式。
可选地，传统模式是非AI模式或非AI模式的模型标识为0。
在一个可能的实施例中，接入网设备通过以下方式接收终端上报的性能指示：
(1)接入网设备通过PUCCH或PUSCH接收终端上报的性能指示。
(2)接入网设备通过用于携带CSI的信息接收终端上报的性能指示。其中，CSI即用于反馈PMI、RI、LI、CRI、L1-RSRP和L1-SINR中的至少一项的反馈 方法。
(3)接入网设备通过UL MAC CE和/或SR接收终端上报的性能指示。
在一个可能的实施例中，请参考图11，本申请实施例还包括：在步骤1002中，接入网设备向终端发送模型指示信息。
可选地，模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种。模型指示信息用于指示终端更新模型。
可选地，模型指示信息是基于DCI、MAC CE和RRC中的至少一项进行传输的。
示例性的，接入网设备预先通过RRC信令向终端提供了模型标识与模型参数的对应关系。MAC CE或DCI用于指示模型标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型版本标识与模型参数的对应关系。MAC CE或DCI用于指示模型版本标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型参数配置标识与模型参数的对应关系。MAC CE或DCI用于指示模型参数配置标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型标识与模型参数的对应关系。MAC CE用于激活部分模型标识，DCI用于激活部分模型标识中的一个模型标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型版本标识与模型参数的对应关系。MAC CE用于激活部分模型版本标识，DCI用于激活部分模型版本标识中的一个模型版本标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
示例性的，接入网设备预先通过RRC信令向终端提供了模型参数配置标识与模型参数的对应关系。MAC CE用于激活部分模型参数配置标识，DCI用于激活部分模型参数配置标识中的一个模型参数配置标识，以便终端根据模型指示信息确定模型参数，使得终端可以更新AI模型的模型参数。
在一个可能的实施例中，请参考图12，本申请实施例还包括：在步骤1003 中，接入网设备向终端发送传统模式指示。
传统模式指示用于指示终端使用传统模式。可选地，传统模式是非AI模式或非AI模式的模型标识为0。
需要说明的是，本申请实施例包括多个可选步骤，且每个步骤包括至少一个实施例。其中，每个步骤都可以独立为一个实施例，或者，每个步骤也可以拆分为多个实施例，或者，多个步骤构成一个实施例。本申请实施例对此不作具体限定。
综上所述，本申请实施例监测模型的性能指标后，由接入网设备向终端下发性能指示，以便终端进行后续的步骤，以提高基于AI模型的波束质量预测的性能。
在接下来的实施例中，模型还可以设置在接入网设备上，由接入网设备基于模型进行波束预测。
图13示出了本申请一个实施例提供的模型监测方法的流程图。该方法可以应用于图1所示的通信系统。该方法包括如下步骤：
在步骤1301中，监测模型的性能指标。
在一个可能的实施例中，本申请实施例使用的模型是AI模型、数学模型、机器学习模型中的至少一种，本申请对此不作具体限定。本申请实施例以模型是AI模型为例进行说明。可选地，AI模型用于波束预测。
在一个可能的实施例中，性能指标包括以下至少一项：
(1)预测准确度：AI模型预测的N个最强参考信号标识包含实际的最强参考信号标识的概率，其中，参考信号标识是SSB标识、CSI-RS标识和SRS标识中的至少一种。最强的参考信号指L1-RSRP或L1-SINR最大的参考信号。其中，N为正整数。AI模型预测的N个最强参考信号标识是指AI模型预测的波束质量排在前N的N个参考信号标识。可选地，实际的最强参考信号标识是终端测量所有参考信号的波束质量后，波束质量排在第一的参考信号标识。
(2)L1-RSRP平均差值：由AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-RSRP差值即为0。L1-RSRP平均差值可以是基于AI模型的单次预测结果得到的，也可以是 基于AI模型的多次预测结果的平均值得到的。
(3)L1-SINR平均差值：由AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。若AI模型预测的最强参考信号标识与实际的最强参考信号标识一样时，L1-SINR差值即为0。L1-SINR平均差值可以是基于AI模型的单次预测结果得到的，也可以是基于AI模型的多次预测结果的平均值得到的。
(4)L1-RSRP差值的CDF曲线在第一百分点处对应的目标L1-RSRP差值：在一种实现方式中，L1-RSRP差值的CDF曲线是通过上述(2)中模型的多次预测结果的L1-RSRP差值得到的CDF曲线，即L1-RSRP差值只包含了AI模型预测的最强参考信号标识对应的实际L1-RSRP与实际的最强参考信号标识对应的实际L1-RSRP的差值。在另一种实现方式中，L1-RSRP差值指模型至少一次预测出来的各个参考信号标识分别对应的预测L1-RSRP与实际各个参考信号标识分别对应的实际L1-RSRP的差值，即AI模型需要输出各个参考信号标识分别对应的L1-RSRP。第一百分点是L1-RSRP差值的CDF曲线上的任意一处百分点。可选地，第一百分点由接入网设备预先配置，比如第一百分点为5％，50％，或95％。
(5)L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值：在一种实现方式中，L1-SINR差值的CDF曲线是通过上述(3)中模型的多次预测结果的L1-SINR差值得到的CDF曲线，即L1-SINR差值只包含了AI模型预测的最强参考信号标识对应的实际L1-SINR与实际的最强参考信号标识对应的实际L1-SINR的差值。在另一种实现方式中，L1-SINR差值指模型至少一次预测出来的各个参考信号标识分别对应的预测L1-SINR与实际各个参考信号标识分别对应的实际L1-SINR的差值，即AI模型需要输出各个参考信号标识分别对应的L1-SINR。第二百分点是L1-SINR差值的CDF曲线上的任意一处百分点。可选地，第二百分点由接入网设备预先配置，比如第二百分点为5％，50％，或95％。
(6)用户设备平均吞吐差值：基于模型预测的最强参考信号标识对应的实际L1-RSRP和实际的最强参考信号标识对应的实际L1-RSRP，获得两个参考信号标识分别对应的SINR，计算两个参考信号标识分别对应的香农容量，两个参考信号标识分别对应的香农容量的差值即为该性能指标。其中，该性能指标可 以是基于模型的单次预测结果得到的，也可以是基于模型的多次预测结果得到的。
在一个可能的实施例中，接入网设备基于在第二预设时间内，监测模型输出的至少一次预测结果确定性能指标。其中，第二预设时间可以是接入网设备基于默认值确定的。比如，设第一预设时间是1秒，则在1秒内，若AI模型输出了3次预测结果，根据这3次预测结果AI确定模型的性能指标。
在一个可能的实施例中，接入网设备基于模型输出的N2次预测结果确定性能指标，N2为正整数。其中，N2可以是基于默认值确定的。比如，N2＝4，则获取AI模型连续输出的4个预测结果，通过这4个预测结果确定性能指标。又比如，N2＝5，若AI模型在一段时间内输出了10个预测结果，则可以从中随机选出5个预测结果来确定性能指标，也可以按照预设规律从中选出5个预测结果来确定性能指标。
在一个可能的实施例中，在接入网设备监测到模型的性能指标低于性能指标的门限值的情况下，接入网设备基于模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种更新模型。或者，在接入网设备监测到模型的性能指标低于性能指标的门限值的情况下，接入网设备回到传统模式。可选地，传统模式是非AI模式或非AI模式的模型标识为0。
在一个可能的实施例中，终端测量参考信号集合B的波束质量，并将参考信号集合B的波束质量和参考信号标识上报给接入网设备，接入网设备接收到参考信号集合B的波束质量和参考信号标识后，将参考信号集合B的波束质量和参考信号标识输入到AI模型中，得到参考信号集合A的波束质量和参考信号标识，其中，波束质量是L1-RSRP和/或L1-SINR。
可选地，接入网设备将第五集合内参考信号在第三时间的L1-RSRP和/或L1-SINR输入到模型中，得到第六集合内参考信号在第四时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，第三集合是第四集合的子集。示例性的，第四集合包括第四时间的16个参考信号，第三集合包括第三时间的4个参考信号，则终端基于AI模型通过第三时间的4个参考信号的波束质量预测出了第四时间的16个参考信号的波束质量，其中，第三时间为历史时间。
可选地，接入网设备将第七集合内参考信号在第三时间的L1-RSRP和/或L1-SINR输入到模型中，得到第八集合内参考信号在第四时间的L1-RSRP和/ 或L1-SINR的绝对值和/或相对关系，第七集合内参考信号的波束宽度大于第八集合内参考信号的波束宽度，第七集合内每个参考信号的波束方向覆盖了第八集合内多个参考信号的波束方向。其中，第三时间和第四时间在同一周期内。
可选地，第三时间和第四时间在同一周期内，前述的周期用于波束测量参考信号的发送周期，或波束测量报告的上报周期。
可选地，第三时间和第四时间不在同一周期内，比如第三时间为历史时间，第四时间为未来时间。即可以理解为利用历史时间测量的波束质量预测未来时间的波束质量。
在一个可能的实施例中，终端上也设置有AI模型，终端上设置的AI模型与接入网设备上设置的AI模型协同工作。可选地，接入网设备向终端发送模型指示信息，使得终端根据模型指示信息更新终端上设置的AI模型。可选地，模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种。
综上所述，本申请实施例监测模型的性能指标，以便接入网设备根据模型的性能来进行后续的步骤，以提高基于AI模型的波束质量预测的性能。
图14是本申请一个示例性实施例提供的模型监测装置的结构框图，如图6所示，该装置1400包括：
监测模块1401，用于监测所述模型的性能指标。
在一个可选地设计中，所述性能指标包括以下至少一项：预测准确度prediction accuracy；层1参考信号接收功率L1-RSRP平均差值；层1信噪比L1-SINR平均差值；L1-RSRP差值的累积分布函数CDF曲线在第一百分点处对应的目标L1-RSRP差值；L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值；用户设备平均吞吐差值average UE throughput difference。
在一个可选地设计中，所述监测模块1401，还用于基于第一预设时间内所述模型输出的至少一次预测结果确定所述性能指标；或，基于所述模型输出的N1次预测结果确定所述性能指标，N1为正整数。
在一个可选地设计中，第一发送模块1403，用于向所述接入网设备上报性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
在一个可选地设计中，所述第一发送模块1403，还用于通过物理上行控制信道PUCCH或物理上行共享信道PUSCH向所述接入网设备上报所述性能指示；或，通过用于携带信道状态信息CSI的信息向所述接入网设备上报所述性能指示；或，通过上行媒体接入控制控制单元UL MAC CE和/或调度请求SR向所述接入网设备上报所述性能指示。
在一个可选地设计中，所述性能指示包括以下至少一项：所述模型的性能差的指示；所述模型的性能指标值；所述模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；推荐回到传统模式。
在一个可选地设计中，所述监测模块1401，还用于确定所述模型的所述性能指标的门限值。
在一个可选地设计中，所述监测模块1401，还用于基于接入网设备的指示信息确定所述模型的所述性能指标的门限值；或，基于默认值确定所述模型的所述性能指标的门限值。
在一个可选地设计中，所述监测模块1401，还用于接收所述接入网设备发送的所述指示信息，所述指示信息包含下行控制信息DCI、媒体接入控制控制单元MAC CE和无线资源控制RRC中的至少一项。
在一个可选地设计中，第一接收模块1402，还用于接收所述接入网设备发送的模型指示信息，所述模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种；根据所述模型指示信息更新所述模型；或，将所述模型切换为推荐模型。
在一个可选地设计中，第一接收模块1402，还用于接收所述接入网设备发送的传统模式指示，所述传统模式指示用于指示所述终端使用传统模式；根据所述传统模式指示切换为传统模式。
在一个可选地设计中，所述监测模块1401，还用于基于所述模型进行波束预测。
在一个可选地设计中，所述监测模块1401，还用于将第一集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到所述模型中，得到第二集合内参考信号在第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，所述第一集合是所述第二集合的子集。
在一个可选地设计中，所述监测模块1401，还用于将第三集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到所述模型中，得到第四集合内参考信号在第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，所述第三集合内参考信号的波束宽度大于所述第四集合内参考信号的波束宽度，所述第三集合内每个参考信号的波束方向覆盖了所述第四集合内多个参考信号的波束方向。
在一个可选地设计中，所述第一时间和第二时间在同一周期内，或所述第一时间为历史时间。
综上所述，本申请实施例监测模型的性能指标，以便终端根据模型的性能来进行后续的步骤，以提高基于AI模型的波束质量预测的性能。
图15是本申请一个示例性实施例提供的模型监测装置的结构框图，如图15所示，该装置1500包括：
第二接收模块1501，用于接收终端上报的性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
在一个可选地设计中，所述性能指标包括以下至少一项：prediction accuracy；L1-RSRP平均差值；L1-SINR平均差值；L1-RSRP差值的CDF曲线在第一百分点处对应的目标L1-RSRP差值；L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值；average UE throughput difference。
在一个可选地设计中，第二发送模块1502，用于向所述终端发送指示信息，所述指示信息用于所述终端确定所述模型的所述性能指标的门限值。
在一个可选地设计中，所述第二发送模块1502，还用于通过PUCCH或PUSCH接收所述终端上报的所述性能指示；或，通过用于携带CSI的信息接收所述终端上报的所述性能指示；或，通过UL MAC CE和/或SR接收所述终端上报的所述性能指示。
在一个可选地设计中，所述性能指示包括以下至少一项：所述模型的性能差的指示；所述模型的性能指标值；所述模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；推荐回到传统模式。
在一个可选地设计中，所述第二发送模块1502，还用于向所述终端发送模 型指示信息，所述模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种。
在一个可选地设计中，所述第二发送模块1502，还用于向所述终端发送传统模式指示，所述传统模式指示用于指示所述终端使用传统模式。
综上所述，本申请实施例监测模型的性能指标，以便接入网设备根据模型的性能来进行后续的步骤，以提高基于AI模型的波束质量预测的性能。
请参考图16，其示出了本申请一个实施例提供的终端1600的结构示意图。该终端1600可以包括：处理器1601、收发器1602以及存储器1603。
处理器1601包括一个或者一个以上处理核心，处理器1601通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。
收发器1602可以包括接收器和发射器，比如，该接收器和发射器可以实现为同一个无线通信组件，该无线通信组件可以包括一块无线通信芯片以及射频天线。
存储器1603可以与处理器1601以及收发器1602相连。
存储器1603可用于存储处理器执行的计算机程序，处理器1601用于执行该计算机程序，以实现上述方法实施例中的无线通信系统中的终端执行的各个步骤。
此外，存储器1603可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，电可擦除可编程只读存储器，可擦除可编程只读存储器，静态随时存取存储器，只读存储器，磁存储器，快闪存储器，可编程只读存储器。
其中，收发器1602执行的过程可以参考上述方法中，由终端执行的各个步骤。
请参考图17，其示出了本申请一个实施例提供的接入网设备1700的结构示意图。该网络设备1700可以包括：处理器1701、收发器1702以及存储器1703。
处理器1701包括一个或者一个以上处理核心，处理器1701通过运行软件程序以及模块，从而执行各种功能应用以及信息处理。
收发器1702可以包括接收器和发射器。比如，该收发器1702可以包括一 个有线通信组件，该有线通信组件可以包括一块有线通信芯片以及有线接口(比如光纤接口)。可选的，该收发器1702还可以包括一个无线通信组件，该无线通信组件可以包括一块无线通信芯片以及射频天线。
存储器1703可以与处理器1701以及收发器1702相连。
存储器1703可用于存储处理器执行的计算机程序，处理器1701用于执行该计算机程序，以实现上述方法实施例中的无线通信系统中接入网设备执行的各个步骤。
此外，存储器1703可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，易失性或非易失性存储设备包括但不限于：磁盘或光盘，电可擦除可编程只读存储器，可擦除可编程只读存储器，静态随时存取存储器，只读存储器，磁存储器，快闪存储器，可编程只读存储器。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以使得通信设备实现如上述的模型监测方法。
本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机程序产品执行上述所示的方法中，由终端或者接入网设备执行的各个步骤。
本申请还提供了一种芯片，该芯片用于在计算机设备中运行，以使得所述计算机设备执行上述所示的方法中，由终端或者接入网设备执行的各个步骤。
本申请还提供了一种计算机程序，该计算机程序由计算机设备的处理器执行，安装有计算机程序的网络设备实现如上述所示的方法中，由终端或者接入网设备执行的各个步骤。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的可用介质。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“响应于”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (27)

  1. 一种模型监测方法，其特征在于，所述方法由终端执行，所述方法包括：
    监测所述模型的性能指标。
  2. 根据权利要求1所述的方法，其特征在于，所述性能指标包括以下至少一项：
    预测准确度prediction accuracy；
    层1参考信号接收功率L1-RSRP平均差值；
    层1信噪比L1-SINR平均差值；
    L1-RSRP差值的累积分布函数CDF曲线在第一百分点处对应的目标L1-RSRP差值；
    L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值；
    用户设备平均吞吐差值average UE throughput difference。
  3. 根据权利要求1所述的方法，其特征在于，所述监测所述模型的性能指标，包括：
    基于第一预设时间内所述模型输出的至少一次预测结果确定所述性能指标；
    或，
    基于所述模型输出的N1次预测结果确定所述性能指标，N1为正整数。
  4. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    向所述接入网设备上报性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
  5. 根据权利要求4所述的方法，其特征在于，所述向接入网设备上报性能指示，包括：
    通过物理上行控制信道PUCCH或物理上行共享信道PUSCH向所述接入网设备上报所述性能指示；
    或，
    通过用于携带信道状态信息CSI的信息向所述接入网设备上报所述性能指示；
    或，
    通过上行媒体接入控制控制单元UL MAC CE和/或调度请求SR向所述接入网设备上报所述性能指示。
  6. 根据权利要求4所述的方法，其特征在于，所述性能指示包括以下至少一项：
    所述模型的性能差的指示；
    所述模型的性能指标值；
    所述模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
    推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
    推荐回到传统模式。
  7. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    确定所述模型的所述性能指标的门限值。
  8. 根据权利要求7所述的方法，其特征在于，所述确定所述模型的所述性能指标的门限值，包括：
    基于接入网设备的指示信息确定所述模型的所述性能指标的门限值；
    或，
    基于默认值确定所述模型的所述性能指标的门限值。
  9. 根据权利要求8所述的方法，其特征在于，所述方法还包括：
    接收所述接入网设备发送的所述指示信息，所述指示信息包含下行控制信息DCI、媒体接入控制控制单元MAC CE和无线资源控制RRC中的至少一项。
  10. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    接收所述接入网设备发送的模型指示信息，所述模型指示信息用于指示模 型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种；
    根据所述模型指示信息更新所述模型；或，将所述模型切换为推荐模型。
  11. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    接收所述接入网设备发送的传统模式指示，所述传统模式指示用于指示所述终端使用传统模式；
    根据所述传统模式指示切换为传统模式。
  12. 根据权利要求1至11任一项所述的方法，其特征在于，所述方法还包括：
    基于所述模型进行波束预测。
  13. 根据权利要求12所述的方法，其特征在于，所述基于所述模型进行波束预测，包括：
    将第一集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到所述模型中，得到第二集合内参考信号在第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，所述第一集合是所述第二集合的子集。
  14. 根据权利要求12所述的方法，其特征在于，所述基于所述模型进行波束预测，包括：
    将第三集合内参考信号在第一时间的L1-RSRP和/或L1-SINR输入到所述模型中，得到第四集合内参考信号在第二时间的L1-RSRP和/或L1-SINR的绝对值和/或相对关系，所述第三集合内参考信号的波束宽度大于所述第四集合内参考信号的波束宽度，所述第三集合内每个参考信号的波束方向覆盖了所述第四集合内多个参考信号的波束方向。
  15. 根据权利要求13或14所述的方法，其特征在于，所述第一时间和第二时间在同一周期内，或所述第一时间为历史时间。
  16. 一种模型监测方法，其特征在于，所述方法由接入网设备执行，所述方法包括：
    接收终端上报的性能指示，所述性能指示用于表示所述终端监测到所述模型的性能指标低于所述性能指标的门限值。
  17. 根据权利要求16所述的方法，其特征在于，所述性能指标包括以下至少一项：
    prediction accuracy；
    L1-RSRP平均差值；
    L1-SINR平均差值；
    L1-RSRP差值的CDF曲线在第一百分点处对应的目标L1-RSRP差值；
    L1-SINR差值的CDF曲线在第二百分点处对应的目标L1-SINR差值；
    average UE throughput difference。
  18. 根据权利要求16所述的方法，其特征在于，所述方法还包括：
    向所述终端发送指示信息，所述指示信息用于所述终端确定所述模型的所述性能指标的门限值。
  19. 根据权利要求16至18任一项所述的方法，其特征在于，所述接收所述终端上报的性能指示，包括：
    通过PUCCH或PUSCH接收所述终端上报的所述性能指示；
    或，
    通过用于携带CSI的信息接收所述终端上报的所述性能指示；
    或，
    通过UL MAC CE和/或SR接收所述终端上报的所述性能指示。
  20. 根据权利要求16至18任一项所述的方法，其特征在于，所述性能指示包括以下至少一项：
    所述模型的性能差的指示；
    所述模型的性能指标值；
    所述模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
    推荐模型的模型标识、版本标识、参数配置标识和参数配置中的至少一项；
    推荐回到传统模式。
  21. 根据权利要求16至18任一项所述的方法，其特征在于，所述方法还包括：
    向所述终端发送模型指示信息，所述模型指示信息用于指示模型参数配置标识、模型参数配置、模型标识和模型版本标识中的至少一种。
  22. 根据权利要求16至18任一项所述的方法，其特征在于，所述方法还包括：
    向所述终端发送传统模式指示，所述传统模式指示用于指示所述终端使用传统模式。
  23. 一种模型监测装置，其特征在于，所述装置包括：
    监测模块，用于监测模型的性能指标。
  24. 一种模型监测装置，其特征在于，所述装置包括：
    第二接收模块，用于接收终端上报的性能指示。
  25. 一种终端，其特征在于，所述终端包括：处理器；与所述处理器相连的收发器；其中，所述处理器被配置为加载并执行可执行指令以实现如权利要求1至15任一所述的模型监测方法。
  26. 一种接入网设备，其特征在于，所述接入网设备包括：处理器；与所述处理器相连的收发器；其中，所述处理器被配置为加载并执行可执行指令以实现如权利要求16至22任一所述的模型监测方法。
  27. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至15任一所述的模型监测方法，或，实现如权利要求16至22任一所述 的模型监测方法。
PCT/CN2022/099197 2022-06-16 2022-06-16 模型监测方法、装置、设备及介质 WO2023240546A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/099197 WO2023240546A1 (zh) 2022-06-16 2022-06-16 模型监测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/099197 WO2023240546A1 (zh) 2022-06-16 2022-06-16 模型监测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
WO2023240546A1 true WO2023240546A1 (zh) 2023-12-21

Family

ID=89192762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/099197 WO2023240546A1 (zh) 2022-06-16 2022-06-16 模型监测方法、装置、设备及介质

Country Status (1)

Country Link
WO (1) WO2023240546A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010629A1 (zh) * 2018-07-13 2020-01-16 西门子股份公司 过程控制预测模型调整方法、装置和过程控制器
CN112508044A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 人工智能ai模型的评估方法、系统及设备
CN114143799A (zh) * 2020-09-03 2022-03-04 华为技术有限公司 通信方法及装置
CN114356737A (zh) * 2021-12-31 2022-04-15 阿里巴巴新加坡控股有限公司 模型监测方法、设备、存储介质及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010629A1 (zh) * 2018-07-13 2020-01-16 西门子股份公司 过程控制预测模型调整方法、装置和过程控制器
CN112508044A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 人工智能ai模型的评估方法、系统及设备
CN114143799A (zh) * 2020-09-03 2022-03-04 华为技术有限公司 通信方法及装置
CN114356737A (zh) * 2021-12-31 2022-04-15 阿里巴巴新加坡控股有限公司 模型监测方法、设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
US11737082B2 (en) Signal transmission method and communications apparatus
JP6828146B2 (ja) Ｃｓｉ測定方法および装置
CN108810967B (zh) 一种测量上报的方法和装置
WO2018126887A1 (zh) 信道状态信息测量上报的配置方法及相关设备
US11637722B2 (en) Method for determining transmission parameters of uplink signal, terminal and network device
KR20220086646A (ko) 채널 정보 결정 방법, 네트워크 장비 및 단말 장비
CN110769456B (zh) 通信方法及装置
WO2020143657A1 (zh) 信道和干扰测量方法和设备
WO2023240546A1 (zh) 模型监测方法、装置、设备及介质
US11425729B2 (en) Reference signal transmission method and communications device
CN117397180A (zh) 用于csi预测控制的装置
WO2024031664A1 (zh) 性能指示发送、接收方法、装置、设备及存储介质
WO2018056877A1 (en) Method and apparatus for providing channel state information status by a transceiver
US20230027215A1 (en) Resumed beamformed communication with a terminal device
WO2023044761A1 (zh) 信息上报方法、装置、设备及存储介质
WO2024032429A1 (zh) 波束测量方法、用户装置、基站、存储介质及程序产品
WO2024082276A1 (en) Antenna location configurations for predictive beam management
US20230412224A1 (en) CSI Reporting on Protocol Layer 2
WO2024035325A1 (en) Methods for wireless device sided spatial beam predictions
KR20240070589A (ko) 정보 보고 방법, 장치, 기기 및 저장 매체
CN117528608A (zh) 一种速率匹配的方法及装置
CN116711256A (zh) 非服务小区状态
CN117997738A (zh) Ai模型更新方法及通信装置
CN117956495A (zh) 通信方法、通信装置及存储介质
WO2021006780A1 (en) Interference handling at radio access network nodes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946236

Country of ref document: EP

Kind code of ref document: A1