WO2020135157A1 - 无线系统的性能评估方法和装置 - Google Patents

无线系统的性能评估方法和装置 Download PDF

Info

Publication number
WO2020135157A1
WO2020135157A1 PCT/CN2019/126004 CN2019126004W WO2020135157A1 WO 2020135157 A1 WO2020135157 A1 WO 2020135157A1 CN 2019126004 W CN2019126004 W CN 2019126004W WO 2020135157 A1 WO2020135157 A1 WO 2020135157A1
Authority
WO
WIPO (PCT)
Prior art keywords
wireless system
performance
candidate
values
gain
Prior art date
Application number
PCT/CN2019/126004
Other languages
English (en)
French (fr)
Inventor
杨盛波
黄小军
刘越
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2020135157A1 publication Critical patent/WO2020135157A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Definitions

  • the present application relates to the field of communication technology, and more specifically, to a method and device for performance evaluation of a wireless system.
  • the wireless system In order to improve the communication service quality provided by the wireless system, it is often necessary to upgrade or remodel the wireless system to obtain the modified wireless system. After completing the upgrade or reconstruction of the wireless system, the performance of the changed wireless system needs to be evaluated, and the changed wireless system can only be officially put into use when the performance of the changed wireless system meets the requirements for use.
  • the traditional solution is generally to first obtain the corresponding performance index of the changed wireless system under the current system input, and then obtain the reference system input close to the current system input from the historical data recorded by the wireless system before the change, and determine the before the change The corresponding performance index of the wireless system under the input of the reference system. Next, the performance of the modified wireless system is evaluated by comparing the performance indexes of the changed wireless system under the current system input and the corresponding performance indexes of the wireless system before the change under the reference system input.
  • the historical data recorded by the wireless system before the change may be limited.
  • This application provides a wireless system performance evaluation method and device to better evaluate the performance of the wireless system.
  • a method for evaluating the performance of a wireless system includes: obtaining performance indicators of a second wireless system; determining performance indicators of the first wireless system according to the first model; and according to performance indicators of the second wireless system and The performance index of the first wireless system, the performance evaluation of the second wireless system
  • the second wireless system is a wireless system obtained after upgrading or remodeling the first wireless system.
  • the above-mentioned first wireless system may be a wireless system before upgrading or modification
  • the above-mentioned second wireless system is a wireless system obtained after upgrading or modifying the first wireless system.
  • the aforementioned first wireless system may be referred to as a wireless system before modification
  • the aforementioned second wireless system may be referred to as a wireless system after modification.
  • the performance indicators of the second wireless system and the performance indicators of the first wireless system described above are similar performance indicators of the second wireless system and the first wireless system when the same system is input.
  • the first model is used to determine the performance index of the first wireless system at different system inputs.
  • the performance indicators of the first wireless system and the performance indicators of the second wireless system are the same type of performance indicators.
  • the performance indicators of the first wireless system and the performance indicators of the second wireless system may both be retransmission KPIs. .
  • the performance index of the first wireless system and the performance index of the second wireless system are indexes reflecting the same performance.
  • the performance index of the first wireless system is the handover success rate of the first wireless system
  • the performance index of the second wireless system is The performance index is the handover success rate of the second wireless system.
  • the above-mentioned first model may be a model built by a neural network, and the first model may be obtained by training with a large amount of training data.
  • the aforementioned neural network may be convolutional neural networks (CNN), recurrent neural networks (RNN), deep neural networks (DNN), etc.
  • CNN convolutional neural networks
  • RNN recurrent neural networks
  • DNN deep neural networks
  • the training data includes different input characterization parameters and corresponding performance index data of the first wireless system under different input characterization parameters. These training data may be extracted from historical performance indicator data recorded by the first wireless system (the historical data includes historical input characterization parameters and performance indicators when the system input of the first wireless system is the historical input characterization parameter).
  • the first model can more accurately obtain the corresponding performance index of the wireless system before the change (the first wireless system) under the same system input, and then can be based on the changed wireless system (the second wireless system) and the change
  • the corresponding performance indexes of the previous wireless system under the same system input enable a more accurate evaluation of the system performance, which can improve the evaluation effect.
  • the acquiring the performance index of the second wireless system includes: acquiring first configuration parameters of the second wireless system when the M candidate values are respectively M target performance indicators, where the first configuration parameter is the M candidate values and the system inputs of the second wireless system are M input characterization parameters; Performance indicators of a wireless system, including: M benchmark performance indicators when the system inputs of the first wireless system are determined to be M input characterization parameters according to the first model; according to the performance indicators of the second wireless system Performing performance evaluation on the second wireless system with the performance index of the first wireless system, including: determining gain values of the M target performance indexes relative to the M reference performance indexes, respectively, to obtain M gains Value; evaluate the performance of the second wireless system when the first configuration parameters are respectively M candidate values according to the M gain values.
  • the performance when the configuration parameters of the second wireless system are different candidate values can be evaluated.
  • the method further includes: determining, according to the M gain values, a final take of the first configuration parameter from the M candidate values value.
  • the determining the final value of the first configuration parameter from the M candidate values according to the M gain values includes: A first gain value is determined from the M gain values, the first gain value is a maximum gain value among the M gain values, where M is an integer greater than 1; the first gain value is The corresponding candidate value is determined as the final value of the first configuration parameter.
  • the gain value of the target performance index relative to the benchmark performance index is different.
  • the determining the final value of the first configuration parameter from the M candidate values according to the M gain values includes: Determining N gain values from the M gain values, where the N gain values correspond to N candidate values, and the first configuration parameter is the N candidate values, respectively, the The key performance indicators KPI and KPI of the first wireless system meet the preset usage requirements, 1 ⁇ N ⁇ M, and N is an integer; the second gain value is determined from the N gain values, so The second gain value is the maximum gain value among the N gain values; the candidate value corresponding to the second gain value is determined as the final value of the first configuration parameter.
  • the maximum gain value is selected from the gain values that meet the requirements of the access KPI and the handover KPI, and the first configuration parameter corresponding to the maximum gain value is selected
  • the value is determined as the final value of the first configuration parameter, which can exclude the value of the access type KPI and the handover type KPI that do not meet the conditions, which is convenient for determining the value for the first configuration parameter that can bring the greatest gain to the wireless system .
  • the method further includes: determining a set of candidate configuration parameters that match the application scenario of the second wireless system, the set of candidate configuration parameters including multiple candidates Configuration parameters, the first configuration parameter is any one of the plurality of candidate configuration parameters.
  • adjusting different configuration parameters can bring different gains. Therefore, in this application, by first determining the configuration parameters that match the current scenario of the wireless system, then from the multiple configuration parameters Selecting some configuration parameters can better evaluate the performance of the wireless system.
  • the performance indicators of the second wireless system and the performance indicators of the first wireless system are a retransmission KPI, a resource utilization KPI, an edge user KPI, and Any one of capacity and experience KPI.
  • the method further includes: acquiring historical performance indicator data of the first wireless system, and the historical performance indicator data includes historical input of the first wireless system
  • the characterization parameters and the system input of the first wireless system are the performance indicators when the historical input characterization parameters are used; respectively, the historical performance indicator data are cleaned using multiple data cleaning methods to obtain multiple sets of training data; Group training data is used for model training to obtain multiple candidate models; the model with the highest spectral efficiency among the multiple candidate models is determined as the first model.
  • Data cleaning is an operation to clean or delete the incomplete data, erroneous data or duplicate data existing in the sample.
  • Data cleaning can reduce invalid data, and facilitate subsequent model training based on the cleaned data to obtain a more accurate model.
  • the model with the highest spectrum efficiency can be selected as the first model, which is convenient for subsequent accurate determination of the first wireless system in the same system according to the first model Enter the performance indicators below.
  • a performance evaluation device for a wireless system includes a module for performing the method in the first aspect and any one of the implementation manners of the first aspect.
  • the performance evaluation device provided wirelessly may be a network device or a module located inside the network device for evaluating the performance of the wireless system.
  • the network device may be a base station, an access network device, or the like.
  • a performance evaluation device for a wireless system including a memory and a processor, the memory is used to store a program, and the processor is used to execute the program stored in the memory, when the program stored in the memory is When executed by a processor, the processor is used to execute the method in the first aspect and any implementation manner of the first aspect.
  • the above memory is a non-volatile memory.
  • the aforementioned memory and processor are coupled to each other.
  • a computer-readable storage medium is provided.
  • the computer-readable storage medium is used to store program code.
  • the program code is executed by a computer, the computer is used to perform the first aspect and the first Any one of the methods in one aspect.
  • the above computer-readable storage medium may be located inside the network device, and the program code stored in the computer-readable storage medium may be executed by the network device.
  • the above network device may be an access network device, a base station, and so on.
  • a chip is provided.
  • the chip includes a processor, and the processor is configured to execute the method in the first aspect and any implementation manner of the first aspect.
  • the above chip is installed inside the network device.
  • a computer program for causing a computer or a terminal device to execute the method in the first aspect and any implementation manner of the first aspect.
  • the above computer program may be stored in a computer device, and the computer program may be executed by the computer device.
  • the computer device executes the computer program
  • the computer device can execute the method in the implementation manner of any one of the above first aspects.
  • FIG. 1 is a schematic flowchart of a wireless system performance evaluation method according to an embodiment of the present application
  • Figure 3 is a schematic diagram of the process of parameter tuning
  • FIG. 4 is a schematic flowchart of a performance evaluation method of a wireless system according to an embodiment of the present application
  • FIG. 5 is a schematic block diagram of a wireless system performance evaluation device according to an embodiment of the present application.
  • FIG. 6 is a schematic block diagram of a performance evaluation device of a wireless system according to an embodiment of the present application.
  • GSM global mobile communication
  • CDMA code division multiple access
  • WCDMA broadband code division multiple access
  • general packet radio service general packet radio service, GPRS
  • LTE long term evolution
  • LTE frequency division duplex FDD
  • TDD time division duplex
  • UMTS universal mobile communication system
  • WiMAX worldwide interoperability for microwave access
  • FIG. 1 is a schematic flowchart of a wireless system performance evaluation method according to an embodiment of the present application.
  • the method shown in FIG. 1 can be performed by a performance evaluation device (device) of a wireless system.
  • the performance evaluation device of the wireless system may be deployed inside the network equipment.
  • the network equipment here can be deployed inside a baseband processing unit (base unit) (BBU) or an operation support system (operations support systems, OSS).
  • BBU baseband processing unit
  • OSS operations support systems
  • the method shown in FIG. 1 includes steps 101 to 103, and these steps are described in detail below.
  • the above-mentioned second wireless system may be a wireless system obtained after upgrading or modifying the first wireless system.
  • the aforementioned first wireless system may also be referred to as a wireless system before modification
  • the aforementioned second wireless system may also be referred to as a wireless system after modification.
  • the above-mentioned first wireless system may be an 8-input 8-output system in a long term evolution (LTE) system
  • the second wireless system may be a large-scale multi-input multi-output obtained after upgrading the 8-input 8-output system. (multi input, multi output, MIMO) system.
  • the modification of the first wireless system may be to change the values of the configuration parameters of the first wireless system itself (the configuration parameters in this application may also be called tuning parameters), or to add new configuration parameters to the first wireless system To get a second wireless system.
  • the upgrading of the first wireless system may be upgrading the version of the software running on the first wireless system, so as to obtain the second wireless system.
  • the performance index of the second wireless system and the performance index of the first wireless system are respectively similar performance indexes of the second wireless system and the first wireless system when the same system is input.
  • the performance indicators of the first wireless system and the performance indicators of the second wireless system are the same type of performance indicators.
  • the performance indicators of the first wireless system and the performance indicators of the second wireless system may both be retransmission KPIs. .
  • the performance index of the first wireless system and the performance index of the second wireless system are indexes reflecting the same performance.
  • the performance index of the first wireless system is the handover success rate of the first wireless system
  • the performance index of the second wireless system is The performance index is the handover success rate of the second wireless system.
  • the above-mentioned first model is a model for determining the performance index of the first wireless system when different system inputs.
  • the above first model can be built through a neural network.
  • the above neural network may be CNN, RNN, DNN and so on.
  • the first model can be obtained by training a large amount of training data.
  • the above training data may be extracted from historical performance index data recorded by the first wireless system.
  • the training data includes historical input characterization parameters and performance indicators when the system input of the first wireless system is the historical input characterization parameters.
  • the performance index of the first wireless system under the same system input can be obtained through the first model, which is convenient for comparison with the performance index of the second wireless system, so as to better analyze the second wireless system relative to the first The degree of improvement of the performance of a wireless system.
  • the method shown in FIG. 1 further includes: acquiring historical performance index data of the first wireless system, and the historical performance index data includes historical input characterization parameters of the first wireless system and all The system input of the first wireless system is the performance index when the historical input characterizes the parameters; the historical performance index data is cleaned by multiple data cleaning methods to obtain multiple sets of training data; and the multiple sets of training data are used to perform Model training to obtain multiple candidate models; determine the model with the highest spectral efficiency among the multiple candidate models as the first model.
  • Data cleaning is an operation to clean or delete the incomplete data, erroneous data or duplicate data existing in the sample. Data cleaning can reduce invalid data, and facilitate subsequent model training based on the cleaned data to obtain a more accurate model.
  • the model with the highest spectrum efficiency can be selected as the first model, which is convenient for subsequent accurate determination of the first wireless system in the same system according to the first model Enter the performance indicators below.
  • the foregoing multiple data cleaning methods may include a method of cleaning data according to functional parameters and a method of cleaning data according to a bit error rate.
  • Cleaning data according to functional parameters may refer to cleaning data that does not meet the basic functional requirements of the wireless system, while retaining data that can meet the basic functional requirements of the wireless system.
  • the manner of the above cleaning data may include cleaning conditions and corresponding cleaning actions.
  • the foregoing multiple data cleaning methods may include the data cleaning methods shown in Table 1.
  • the foregoing multiple data cleaning methods may also include multiple data cleaning methods shown in Table 2.
  • cleaning condition 1 to cleaning condition 4 can be used to clean the historical performance index data of the first wireless system to obtain 4 sets of training data.
  • these 4 sets of training data can be trained separately
  • this model can be selected as the first model.
  • MSE mean squared error
  • FIG. 2 is a schematic flowchart of acquiring the first model.
  • the process of obtaining the first model shown in FIG. 2 includes steps 201 to 206, and these steps will be described below.
  • the above training samples may be obtained from the historical performance index data of the first wireless system. Before acquiring the training samples, any kind of cleaning conditions may be used to clean the data, and the data obtained after the cleaning will be used in step 201. Training samples.
  • GBDT gradient boosting decision tree
  • PCA principal component analysis
  • Parameter dimensionality reduction can map high-dimensional data to low-dimensional, reducing the complexity of system operations and model complexity.
  • the GBDT algorithm can select the top 15 parameters in parameter importance, and the parameters selected by the PCA algorithm can retain more than 90% of the original information.
  • step 203 polynomial regression, GBDT regression, and neural network are three methods for training models
  • step 203 After the above step 203, a total of 6 models can be obtained.
  • step 204 the MSE of these 6 models needs to be determined.
  • a more accurate model can be selected as the first model, which is convenient for later to more accurately determine that the first wireless system is the same according to the first model Performance indicators at system input.
  • the system input of the wireless system (which may refer to the first wireless system or the second wireless system) may refer to information such as the number of users served by the wireless system during operation.
  • the first input may include the following information (1) to At least one of (11):
  • the above information (1) to (11) may be only part of the information that may be included in the system input.
  • the system input in this application is not limited to the above information (1) to (11), as long as it can reflect the system
  • the input characteristic index or information can be the system input in this application.
  • the performance indicators of the first wireless system and the performance indicators of the second wireless system are key performance indicators (KPI) for retransmission, resource utilization KPIs, edge user KPIs, and capacity and experience KPIs. Any kind.
  • KPI key performance indicators
  • the system indicators of the first wireless system and the performance indicators of the second wireless system are both retransmission KPIs or resource utilization KPI or edge user KPI or capacity and experience KPI.
  • each of the above-mentioned KPIs has a specific number of KPIs.
  • the specific indicators included in the above resource utilization class KPI, edge user KPI, and capacity and experience KPI may be as shown in Table 3.
  • the resource utilization KPI contains the main indicators to measure resource utilization.
  • the resource utilization KPI includes the parameters of the utilization rate of physical resource blocks (PRB) and the control channel unit (control channel element).
  • the parameter of utilization rate wherein the parameter of PRB utilization rate includes average utilization rate of uplink PRB, average utilization rate of downlink PRB, CCE utilization rate and CCE allocation failure rate.
  • the edge user KPI is mainly an indicator to measure relevant information of the edge user.
  • the edge user KPI includes the number of users parameter, data throughput rate parameter, signal quality parameter, and user experience rate parameter.
  • the number of users parameter includes the average number of cell-edge users and the maximum number of users at the cell edge;
  • the data throughput rate parameter includes the total uplink throughput of cell-edge users and the total downlink throughput of cell-edge users;
  • the signal quality parameter includes the average CQI of cell-edge users and the edge User uplink initial block error rate (BLER) and edge user downlink initial BLER;
  • user experience rate parameters include the average uplink user experience rate of edge users and the average downlink user experience rate of edge users.
  • the capacity & experience KPI mainly includes capacity parameters and experience parameters, where the capacity parameters include: average throughput per PRB in the uplink, average throughput per PRB in the downlink, average rate in the cell uplink and average rate in the cell downlink, experience parameters Including the average experience rate of upstream users and the average experience rate of downstream users.
  • the performance index of the first wireless system and the performance index of the second wireless system are the same KPI in the same type of KPI.
  • the performance index of the first wireless system and the performance index of the second wireless system may be the average number of cell edge users in the edge user KPI.
  • the performance index of the first wireless system and the performance index of the second wireless system may be the average rate of cell uplink or the average rate of cell downlink in the capacity & experience KPI.
  • the performance index of the first wireless system and the performance index of the second wireless system are handover type KPI or retransmission type KPI.
  • Both the handover type KPI and the retransmission type KPI may include multiple indicators.
  • the specific indicators included in the handover type KPI and the retransmission type KPI may be as shown in Table 4.
  • the gain value of the performance index of the second wireless system relative to the performance index of the first wireless system may be determined, and then in step 103, the gain value of the performance index of the second wireless system may be determined relative to the first wireless system.
  • the gain value of the system performance index is used to evaluate the performance of the second wireless system.
  • the gain value of the performance index of the second wireless system relative to the performance index of the first wireless system is greater than or equal to the preset gain value, it is determined that the performance of the second wireless system meets the usage requirements; and when the performance index of the second wireless system is relatively When the gain value of the performance index of the first wireless system is less than the preset gain value, it is determined that the performance of the second wireless system cannot meet the usage requirements (in this case, the performance index of the second wireless system may need to be further adjusted) .
  • the gain value of the performance index of the second wireless system relative to the performance index of the first wireless system may be calculated according to formula (1).
  • A is the value of the performance index of the second wireless system
  • B is the value of the performance index of the first wireless system
  • S is the performance index of the second wireless system relative to the performance index of the first wireless system Gain value.
  • the first model can more accurately obtain the corresponding performance index of the wireless system before the change (the first wireless system) under the same system input, and then can be based on the changed wireless system (the second wireless system) and the change
  • the corresponding performance indexes of the previous wireless system under the same system input enable a more accurate evaluation of the system performance, which can improve the evaluation effect.
  • this application can directly obtain the performance index of the first wireless system under the same system input through the first model, it is similar to the traditional solution from the historical performance index data recorded by the first wireless system to find a system that is similar to Compared with the way of inputting the corresponding performance index, this application can obtain the performance index of the first wireless system input in the same system faster and more conveniently, and thus can realize the rapid evaluation of the performance of the wireless system.
  • data cleaning of the obtained performance indicator data may be performed first, and then the data may be summarized Normalization processing and parameter dimensionality reduction, and then comparing the gain of the performance index of the second wireless system with respect to the performance index of the first wireless system.
  • Data cleaning is an operation to clean or delete the incomplete data, erroneous data or duplicate data existing in the sample. Data cleaning can reduce invalid data, and facilitate subsequent model training based on the cleaned data to obtain a more accurate model.
  • acquiring the performance index of the second wireless system specifically includes acquiring M target performance indexes when the first configuration parameters of the second wireless system are M candidate values, respectively, where the first configuration parameters are M When the candidate value is taken, the system inputs of the second wireless system are M input characterization parameters, respectively;
  • Determining the performance indicators of the first wireless system according to the first model includes: determining M reference performance indicators when the system inputs of the first wireless system are M input characterizing parameters respectively according to the first model;
  • the performance evaluation of the second wireless system includes: determining the gain values of the M target performance indicators relative to the M reference performance indicators, respectively, to obtain M gains Value; evaluate the performance of the second wireless system when the first configuration parameters are respectively M candidate values according to the M gain values.
  • the values of the first configuration parameters of the second wireless system are M candidate values, respectively.
  • the performance when the configuration parameters of the second wireless system are different candidate values can be evaluated.
  • the method shown in FIG. 1 further includes: determining the final value of the first configuration parameter from the M candidate values according to the M gain values.
  • the first gain value is determined from the M gain values, and the first gain value is the maximum gain value among the M gain values;
  • the candidate value corresponding to the first gain value among the M candidate values is determined as the final value of the first configuration parameter, where M is an integer greater than 1.
  • five candidate values are configured for the parameters of the first configuration of the second wireless system, and the five candidate values correspond to five gain values, respectively. It is assumed that the correspondence between the candidate values of the first configuration parameters and the gain values is shown in Table 5 (A, B, C, D, and E represent different candidate values, respectively). Then, it can be determined according to Table 5 that the maximum gain value is 0.30, and the value of the corresponding first configuration parameter when the gain value is 0.30 is D. Therefore, the final value of the first configuration parameter is D.
  • N gain values from M gain values, where the N gain values correspond to N candidate values, and when the first configuration parameter is N candidate values, the access class KPI and handover of the first wireless system Class KPI meets the preset use requirements;
  • a second gain value is determined from the N gain values, and the second gain value is the gain value with the largest value among the N gain values;
  • the candidate value corresponding to the second gain value among the N candidate values is determined as the final value of the first configuration parameter, where 1 ⁇ N ⁇ M, and N is an integer.
  • the process of determining the final value of the above configuration parameters can be regarded as a process of parameter tuning.
  • the final value of each configuration parameter can be determined to complete the upgrade or change of the system.
  • FIG. 3 is a flowchart of parameter tuning. The process shown in FIG. 3 includes steps 301 to 306, and these steps will be described in detail below.
  • the value of the configuration parameter takes effect.
  • the effective value of the configuration parameter may refer to setting a corresponding value for the configuration parameter and starting the wireless system.
  • setting a value for a configuration parameter you can set the value within the value range of the configuration parameter.
  • the value range of a power threshold parameter is [10, 20, 30, 40], then you can configure the value for the power threshold parameter within the value range of these parameters.
  • the performance index after the value of the collection configuration parameter takes effect essentially refers to the performance index of the wireless system during operation after the value of the configuration parameter of the wireless system is set.
  • the benchmark performance index refers to the input to the equivalent system before the configuration parameters of the wireless system are changed (when the equivalent system is input, it means that the system input of the wireless system in step 303 is the same as the system input of the wireless system in step 302) Performance index at the time.
  • the gain value of the performance index relative to the reference performance index after the configuration parameter value takes effect can be calculated with reference to the above formula (1).
  • the corresponding gain values of the configuration parameters may be different under different values. Therefore, when determining the final values of the configuration parameters, you can first try to set different values for the configuration parameters, and then select from these values The final value of the configuration parameter.
  • step 305 it may be determined whether the number of gain values is greater than or equal to N, and the value of N may be 5 (the value of N may also be other values, which is not limited herein).
  • the value of the configuration parameter corresponding to the largest gain value among the five gain values may be determined as the final value of the configuration parameter.
  • the first configuration parameter when determining the gain value corresponding to each value of the first configuration parameter, can also be set to one value, and then multiple gain values are recorded, and then , And then determine the average value of multiple gain values (the maximum gain value and the minimum gain value can also be removed and average the remaining gain values) to determine the corresponding gain when the first configuration parameter takes this value Value (the gain value here refers to the gain value of the first performance index relative to the second performance index).
  • the first performance indicator and the second performance indicator may be counted 10 times within a period of time. According to the statistical results of these 10 times, 10 gain values can be obtained. Next, the maximum value and the minimum value of the 10 gain values can be removed, and then the average gain value is obtained for the remaining 8 gain values, and the The average gain value as the first configuration parameter is the corresponding gain value when the value is A.
  • the method shown in FIG. 1 before changing the value of the first configuration parameter of the second wireless system, the method shown in FIG. 1 further includes: determining candidate configuration parameters that match the application scenario of the second wireless system A set, the set of candidate configuration parameters includes a plurality of candidate configuration parameters, and the first configuration parameter is any one of the plurality of candidate configuration parameters.
  • the configuration parameters that need to be configured are different.
  • the application scenario of the wireless system can select candidate configuration parameters that match the application scenario, making the process of configuring the parameters more targeted.
  • the different scenarios described above may include wireless broadband to user (wireless to the x, WTTx) scenarios, mobility scenarios, and large event scenarios.
  • the corresponding configuration parameters in these scenarios may be as shown in Table 6.
  • MM massive MIMO
  • SRS mobile user sounding reference signal
  • switches in the above different scenarios may correspond to whether an algorithm or optimization feature is executed during adjustment.
  • the WTTx SRS interference avoidance switch there are two states, one is to turn on the WTTx SRS switch, and the other is to turn off the WTTx SRS switch.
  • the above-mentioned first configuration parameter may be a configuration parameter that needs to be changed during system adjustment or upgrade.
  • the adjustment of these configuration parameters may have a greater impact on the performance of the wireless system.
  • the first configuration parameter may be at least one of a radio frequency parameter, a basic parameter of the system, and a characteristic parameter of the system.
  • the above radio frequency parameters may include electronic downtilt, azimuth, weight, and so on.
  • the basic parameters of the above system may include CQI adjustment step size, physical downlink control channel (physical downlink control channel, PDCCH) block error rate target value, SRS power control, signal to noise interference ratio (signal to interference plus noise ratio, SINR) target value And related parameters such as reference signals (RS) and so on.
  • the characteristic parameters of the above system may include multi-user beam-forming (MU-BF) pairing threshold, mode switching threshold, physical uplink control channel interference suppression combination (physical uplink control control channel interference rejection, PUCCH IRC) algorithm switches and so on.
  • MU-BF multi-user beam-forming
  • the values of the configuration parameters may be adjusted in a certain order (for example, in the order of the importance of the configuration parameters).
  • the values of the three configuration parameters can be adjusted in the order shown in Table 7 to obtain the final values of the three configuration parameters.
  • Commissioning sequence Configuration parameter Configuration parameter value range 1 Electronic downtilt 10°, 20°, 30° 2 MU-BF matching threshold 0.3,0.4,0.5,0.6 3 RS power control SINR target value 8%, 10%, 12%, 15%
  • a period of time for example, half an hour or one hour
  • the gain at an electronic downtilt angle of 10 degrees is -10
  • the gain at an electronic downtilt angle of 20 degrees is 1
  • the gain at an electronic downtilt angle of 30 degrees is 10, where the electronic downtilt angle is 30
  • the gain value is the largest at degrees, then the final value of the electronic downtilt is 30 degrees.
  • the angle with the highest gain ranking score is finally selected as the final value of the electronic downtilt.
  • determine the final value of the electronic downtilt angle determine the final value as the value of the electronic downtilt angle, and then adjust the MU-BF pairing threshold.
  • set Threshold After the MU-BF pairing threshold is adjusted, set Threshold. And then adjust the target value of the RS power control SINR.
  • FIG. 4 is a schematic flowchart of a wireless system performance evaluation method according to an embodiment of the present application. The method shown in FIG. 4 includes steps 401 to 407, and these steps are described below.
  • the scenario where the second wireless system is located may also refer to the application scenario where the second wireless system is located, and the scenario here may include a WTTx scenario, a mobility scenario, a big event scenario, etc.
  • the scenario where the second wireless system is located is a mobility scenario
  • the parameter serves as a configuration parameter of the second wireless system.
  • step 403 one of the multiple configuration parameters in step 402 may be selected and adjusted.
  • the paired user threshold may be selected, and the value of the paired user threshold may be adjusted within the value range of the paired user threshold.
  • step 404 the performance index of the second wireless system is collected every time a value is configured for the configuration parameter in step 403, so that the performance of the second wireless system corresponding to each value of the configuration parameter can be obtained index.
  • the performance index when a certain configuration parameter takes a certain value is obtained in step 404
  • the performance index of the first wireless system needs to be obtained in step 405 when it is under the same system input as the second wireless system, which is convenient for subsequent comparison Second, the performance gain of the wireless system when a certain configuration parameter takes a certain value.
  • steps 404 and 405 can be repeatedly executed multiple times to obtain the performance index when the same configuration parameter is configured to different values, and then obtain the same configuration parameter of the second wireless system under different values Performance gains.
  • step 404 and step 405 the performance gain of the second wireless system can be obtained when the same configuration parameter of the second wireless system takes different values.
  • step 406 the configuration can be selected from the gain value The final value of the parameter.
  • step 406 After the final value of a certain configuration parameter is obtained through step 406, next, 402 may be continued to determine the final value of other configuration parameters.
  • the performance evaluation method of the wireless system in the embodiment of the present application is described in detail above with reference to FIGS. 1 to 4, and the device for evaluating the performance of the wireless system in the embodiment of the present application is described below in conjunction with FIGS. 5 and 6.
  • the devices in FIGS. 5 and 6 can perform various steps of the performance evaluation method of the wireless system according to the embodiments of the present application, and the repeated description will be appropriately omitted when introducing the devices shown in FIGS. 5 and 6 below.
  • FIG. 5 is a schematic block diagram of a wireless system performance evaluation device according to an embodiment of the present application.
  • the device 1000 shown in FIG. 5 includes:
  • An obtaining module 1001 configured to obtain a performance index of a second wireless system, wherein the second wireless system is a wireless system obtained after upgrading or modifying the first wireless system;
  • the processing module 1002 is configured to determine the performance index of the first wireless system according to the first model, wherein the performance index of the second wireless system and the performance index of the first wireless system are respectively the second wireless system Similar performance indicators when the first wireless system is input to the same system, and the first model is used to determine performance indicators of the first wireless system when input to different systems;
  • the processing module 1002 is further configured to perform performance evaluation on the second wireless system according to the performance index of the second wireless system and the performance index of the first wireless system.
  • the obtaining module 1001 is used to:
  • the processing module 1002 is used to:
  • the performance of the second wireless system is evaluated according to the M gain values when the first configuration parameters are respectively M candidate values.
  • the processing module 1002 is configured to determine the final value of the first configuration parameter from the M candidate values according to the M gain values.
  • the processing module 1002 is configured to: determine a first gain value from the M gain values, where the first gain value is the maximum gain value among the M gain values , Where M is an integer greater than 1, and the candidate value corresponding to the first gain value is determined as the final value of the first configuration parameter.
  • processing module 1002 is used to:
  • N gain values from the M gain values, where the N gain values correspond to N candidate values, and the first configuration parameter is the N candidate values, respectively, the The key performance indicators KPI and KPIs of the access type of the first wireless system meet the preset usage requirements, 1 ⁇ N ⁇ M, and N is an integer;
  • the candidate value corresponding to the second gain value is determined as the final value of the first configuration parameter.
  • processing module 1002 is further configured to:
  • the set of candidate configuration parameters includes a plurality of candidate configuration parameters, and the first configuration parameter is any one of the plurality of candidate configuration parameters Configuration parameters.
  • the performance index of the second wireless system and the performance index of the first wireless system are any of retransmission KPIs, resource utilization KPIs, edge user KPIs, and capacity and experience KPIs One kind.
  • the apparatus further includes a training module 1003, and the training module 1003 is configured to:
  • the historical performance indicator data including historical input characterization parameters of the first wireless system and performance when the system input of the first wireless system is the historical input characterization parameters index;
  • a model with the highest spectral efficiency among the multiple candidate models is determined as the first model.
  • FIG. 6 is a schematic block diagram of a performance evaluation device of a wireless system according to an embodiment of the present application.
  • the device 2000 shown in FIG. 6 includes:
  • Memory 2001 used to store programs
  • the processor 2002 is used to execute the program stored in the memory 2001.
  • the processor 2002 is used for each step in the performance evaluation method of the wireless system according to the embodiment of the present application.
  • the disclosed system, device, and method may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical, or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the function is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of the present application essentially or part of the contribution to the existing technology or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium, including Several instructions are used to enable a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in the embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请提供了无线系统的性能评估方法和装置。该方法包括：获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。本申请能够提高无线系统的性能评估效果。

Description

无线系统的性能评估方法和装置
本申请要求于2018年12月26日提交中国专利局、申请号为201811605225.4、申请名称为“无线系统的性能评估方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信技术领域，并且更具体地，涉及一种无线系统的性能评估方法和装置。
背景技术
为了提高无线系统提供的通信服务质量，经常需要对无线系统进行升级或者改造，得到更改后的无线系统。在完成无线系统的升级或者改造后，需要对更改后的无线系统的性能进行评估，在更改后的无线系统的性能满足使用要求的情况下才能将更改后的无线系统正式投入使用。
传统方案一般是先获取更改后的无线系统在当前系统输入下对应的性能指标，然后再从更改前的无线系统记录的历史数据中获取与当前系统输入接近的参考系统输入，并确定更改前的无线系统在该参考系统输入下对应的性能指标。接下来，再通过比较更改后的无线系统在当前系统输入下对应的性能指标，以及更改前的无线系统在参考系统输入下对应的性能指标，来评估更改后的无线系统的性能。
但是，更改前的无线系统记录的历史数据可能比较有限，在某些情况下，很难获取到与当前系统输入相同或者特别接近的参考系统输入。因此，根据上述方法得到的更改前的无线系统的性能指标并不是特别的准确，从而导致后续根据更改前的无线系统的性能指标无法较为准确的对无线系统的性能进行评估。
发明内容
本申请提供一种无线系统的性能评估方法和装置，以更好地对无线系统的性能进行评估。
第一方面，提供了一种无线系统的性能评估方法，该方法包括：获取第二无线系统的性能指标；根据第一模型确定第一无线系统的性能指标；根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估
其中，第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统。
上述第一无线系统可以是升级或者改造之前的无线系统，上述第二无线系统是对第一无线系统进行升级或者改造之后得到的无线系统。上述第一无线系统可以称为更改前的无线系统，上述第二无线系统可以称为更改后的无线系统。
另外，上述第二无线系统的性能指标和第一无线系统的性能指标分别是第二无线系统和第一无线系统在相同系统输入时的同类性能指标。第一模型用于确定第一无线系统在不 同的系统输入时的性能指标。
应理解，上述第一无线系统的性能指标和第二无线系统的性能指标为相同类型的性能指标，例如，第一无线系统的性能指标和第二无线系统的性能指标可以都是重传类KPI。
进一步的，上述第一无线系统的性能指标和第二无线系统的性能指标为反映同一性能的指标，例如，第一无线系统的性能指标为第一无线系统的切换成功率，第二无线系统的性能指标为第二无线系统的切换成功率。
可选地，上述第一模型可以是通过神经网络搭建的模型，该第一模型可以通过大量的训练数据训练得到。
上述神经网络可以是卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neural network，RNN)和深度神经网络(deep neural networks，DNN)等等。
上述训练数据包括不同的输入表征参数，以及第一无线系统在不同的输入表征参数下对应的性能指标数据。这些训练数据可以从第一无线系统记录的历史性能指标数据(该历史数据包括历史输入表征参数以及第一无线系统的系统输入为所述历史输入表征参数时的性能指标)中提取。
本申请中，通过第一模型能够较为准确地获取更改前的无线系统(第一无线系统)在相同系统输入下对应的性能指标，进而能够根据更改后的无线系统(第二无线系统)和更改前的无线系统在相同系统输入下对应的性能指标实现对系统性能更准确的评估，能够提高评估效果。
结合第一方面，在第一方面的某些实现方式中，所述获取第二无线系统的性能指标，包括：获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数；所述根据第一模型确定所述第一无线系统的性能指标，包括：根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估，包括：确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。
通过获取第二无线系统的配置参数为不同的候选取值时的性能指标，能够对第二无线系统的配置参数为不同候选取值时的性能进行评估。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。
结合第一方面，在第一方面的某些实现方式中，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值，其中，M为大于1的整数；将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。
当第一配置参数为不同的取值时，目标性能指标相对于基准性能指标的增益值有所不同，通过选择出增益值时最大时对应的取值作为第一配置参数的取值，能够为第二无线系统带来最大的增益值，从而提高第二无线系统的性能。
结合第一方面，在第一方面的某些实现方式中，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。
在确定第一配置参数的取值时，通过从接入类KPI和切换类KPI的指标满足要求的增益值中选择出最大的增益值，并将该最大增益值对应的第一配置参数的取值确定为该第一配置参数的最终取值，能够排除掉接入类KPI和切换类KPI不满足条件的取值，便于为第一配置参数确定出能够为无线系统带来增益最大的取值。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。
不同的场景下，对不同的配置参数进行调整，能够带来的增益不同，因此，本申请中通过先确定与该无线系统当前所处的场景匹配的配置参数，然后再从该多个配置参数中选择出部分配置参数能够更好地对无线系统进行性能的评估。
结合第一方面，在第一方面的某些实现方式中，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；分别采用多组训练数据进行模型训练，得到多种候选模型；将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。
数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操作。
通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。
本申请中，在建模过程中通过选择不同的数据清洗方式对数据进行清洗，能够从中选择频谱效率最高的模型作为第一模型，便于后续根据第一模型准确的确定第一无线系统在相同系统输入下的性能指标。
第二方面，提供了一种无线系统的性能评估装置，该装置包括用于执行上述第一方面及第一方面中的任意一种实现方式中的方法的模块。
上述无线提供的性能评估装置可以是网络设备或者位于网络设备内部的用于评估无线系统性能的模块。该网络设备可以是基站、接入网设备等等。
第三方面，提供了一种无线系统的性能评估装置，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行所述存储器存储的程序，当所述存储器存储的程序被 处理器执行时，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
可选地，上述存储器为非易失性存储器。
可选地，上述存储器与处理器互相耦合在一起。
第四方面，提供了一种计算机可读存储介质，所述计算机可读介质存储介质用于存储程序代码，当所述程序代码被计算机执行时，所述计算机用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
可选地，上述计算机可读存储介质可以位于网络设备内部，该计算机可读存储介质存储的程序代码可以被网络设备执行。
上述网络设备可以是接入网设备、基站等等。
第五方面，提供了一种芯片，所述芯片包括处理器，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
可选地，上述芯片安装在网络设备内部。
第六方面，提供了一种用于使得计算机或者终端设备执行上述第一方面及第一方面中的任意一种实现方式中的方法的计算机程序(或称计算机程序产品)。
可选地，上述计算机程序可以存储在计算机设备内，该计算机程序可以被计算机设备执行。
当计算机设备执行该计算机程序时，计算机设备能够执行上述第一方面中的任意一种方面的实现方式中的方法。
附图说明
图1是本申请实施例的无线系统的性能评估方法的示意性流程图；
图2是获取第一模型的示意性流程图；
图3是参数调优的过程的示意图；
图4是本申请实施例的无线系统的性能评估方法的示意性流程图；
图5是本申请实施例的无线系统的性能评估装置的示意性框图；
图6是本申请实施例的无线系统的性能评估装置的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例的技术方案可以应用于各种通信系统，例如：全球移动通信(global system for mobile communications，GSM)系统、码分多址(code division multiple access，CDMA)系统、宽带码分多址(wideband code division multiple access，WCDMA)系统、通用分组无线业务(general packet radio service，GPRS)、长期演进(long term evolution，LTE)系统、LTE频分双工(frequency division duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动通信系统(universal mobile telecommunication system，UMTS)、全球互联微波接入(worldwide interoperability for microwave access，WiMAX)通信系统、未来的第五代(5th generation，5G)系统或新无线(new radio，NR)等。
图1是本申请实施例的无线系统的性能评估方法的示意性流程图。图1所示的方法可 以由无线系统的性能评估装置(设备)来执行。其中，无线系统的性能评估装置可以部署在网络设备内部。
具体地，这里的网络设备可以部署在基带处理单元(base band unit，BBU)或者运营支撑系统(operations support systems，OSS)内部。
图1所示的方法包括步骤101至步骤103，下面分别对这些步骤进行详细的介绍。
101、获取第二无线系统的性能指标。
上述第二无线系统可以是对第一无线系统进行升级或者改造之后得到的无线系统。另外，上述第一无线系统还可以称为更改前的无线系统，上述第二无线系统还可以称为更改后的无线系统。
例如，上述第一无线系统可以是长期演进(long term evolution，LTE)系统中的8输入8输出系统，第二无线系统可以是对该8输入8输出系统升级后得到的大规模多输入多输出(multi input multi output，MIMO)系统。
对第一无线系统进行改造可以是对第一无线系统本身的配置参数(本申请中的配置参数还可以称为调优参数)的取值进行更改，或者为第一无线系统增加新的配置参数，从而得到第二无线系统。而对第一无线系统进行升级可以是对第一无线系统运行的软件的版本进行升级，从而得到第二无线系统。
102、根据第一模型确定第一无线系统的性能指标。
其中，上述第二无线系统的性能指标和第一无线系统的性能指标分别是第二无线系统和第一无线系统在相同系统输入时的同类性能指标。
应理解，上述第一无线系统的性能指标和第二无线系统的性能指标为相同类型的性能指标，例如，第一无线系统的性能指标和第二无线系统的性能指标可以都是重传类KPI。
进一步的，上述第一无线系统的性能指标和第二无线系统的性能指标为反映同一性能的指标，例如，第一无线系统的性能指标为第一无线系统的切换成功率，第二无线系统的性能指标为第二无线系统的切换成功率。
另外，上述第一模型是用于确定第一无线系统在不同的系统输入时的性能指标的模型。
上述第一模型可以通过神经网络搭建得到。
上述神经网络可以是CNN、RNN和DNN等等。
应理解，可以通过对大量的训练数据进行训练，以得到上述第一模型。
上述训练数据可以是从第一无线系统记录的历史性能指标数据中提取的。该训练数据包括历史输入表征参数以及第一无线系统的系统输入为所述历史输入表征参数时的性能指标。
在上述步骤102中，通过第一模型能够获取第一无线系统在相同的系统输入下的性能指标，便于与第二无线系统的性能指标进行对比，从而更好地分析第二无线系统相对于第一无线系统的性能的提升程度。
可选地，作为一个实施例，图1所示的方法还包括：获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；分别采用多组训练数据进行模 型训练，得到多种候选模型；将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。
数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操作。通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。
本申请中，在建模过程中通过选择不同的数据清洗方式对数据进行清洗，能够从中选择频谱效率最高的模型作为第一模型，便于后续根据第一模型准确的确定第一无线系统在相同系统输入下的性能指标。
上述多种数据清洗方式可以包括按照功能类参数对数据进行清洗和按照误码率对数据进行清洗的方式。
按照功能类参数对数据进行清洗可以是指将不满足无线系统基本功能需求的数据清洗掉，而保留能够满足无线系统基本功能要求的数据。
上述清洗数据的方式可以包括清洗条件以及相应的清洗动作。
例如，上述多种数据清洗方式可以包括表1所示的数据清洗方式。
表1
Figure PCTCN2019126004-appb-000001
再如，上述多种数据清洗方式还可以包括表2所示的多种数据清洗方式。
表2
  清洗条件1 清洗条件2 清洗条件3 清洗条件4
误码率 [12％，15％] [9％，11％] [8％,12％] [5％,8％]
如表2所示，在清洗条件1下，仅保留误码率在[12％，15％]之间的数据，而在清洗条件2下，仅保留误码率在[9％，11％]之间的数据。
例如，如表2所示，可以采用清洗条件1至清洗条件4分别对第一无线系统的历史性能指标数据进行清洗，得到4组训练数据，接下来，可以分别对这4组训练数据进行训练，得到4个模型，假设这4个模型中的根据清洗条件1清洗得到的一组训练数据训练得到的模型的频谱效率最高，那么，就可以选择该模型作为第一模型。
在建立第一模型的过程中，可以采用不同的机器学习算法对训练数据进行训练，然后从中选择出均方误差(mean squared error，MSE)最小的模型作为第一模型，下面结合图2对第一模型的获得过程进行描述。
图2是获取第一模型的示意性流程图。
图2所示的获取第一模型的流程包括步骤201至206，下面对这些步骤进行介绍。
201、获取训练样本。
上述训练样本可以是从第一无线系统的历史性能指标数据中获取到的，在获取该训练样本之前还可以采用任意一种清洗条件对数据进行清洗，将清洗后得到的数据作为步骤201中的训练样本。
202、分别采用梯度提升决策树(gradient boosting decision tree，GBDT)和主成分分析(principal component analysis，PCA)这两种机器学习算法对训练样本进行参数降维，得到降维后的训练样本。
通过参数降维能够将高维度的数据映射到低维度，降低系统运算的复杂度以及模型复杂度。
在参数降维过程中，GBDT算法能够选择出参数重要性排名前15的参数，PCA算法选出的参数能够保留90％以上的原始信息。
203、分别采用多项式回归、GBDT回归以及神经网络等方式对降维后的训练样本进行训练，得到各自的训练模型。
在步骤203中，多项式回归、GBDT回归以及神经网络是三种训练模型的方法，
通过这3种方式分别对GBDT方式和PCA方式得到的降维后的训练样本进行训练，能够得到6种模型。
204、确定每种训练模型对应的MSE。
经过上述步骤203一共能够得到6种模型，在步骤204中需要确定这6种模型的MSE。
205、选择出MSE最小的模型作为第一模型。
通过采用多种方式对训练样本进行训练，并且最终选择MSE最小的模型作为第一模型，能够选择更准确的模型作为第一模型，便于后续根据第一模型较为准确地确定第一无线系统在相同系统输入时的性能指标。
上述无线系统(可以指第一无线系统或者第二无线系统)的系统输入可以是指无线系统在运行过程中服务的用户数量等信息，具体地，上述第一输入可以包括下列信息(1)至(11)中的至少一种：
(1)用户分散度(波束域表征)；
(2)下行平均信道质量指示(channel quality indicator，CQI)；
(3)小区用户随机接入时间提前量(time advance，TA)分布区间平均值；
(4)小区平均用户数；
(5)小区最大用户数；
(6)小区有业务数据待发送的平均用户数；
(7)小区有业务数据待发送的最大用户数；
(8)小区平均非连续接收(discontinuous reception，DRX)用户数；
(9)空口上行业务字节数(MB)；
(10)空口下行业务字节数(MB)；
(11)每演进的无线接入承载(evolved radio access bearer，ERAB)平均吞吐量(MB)。
应理解，上述信息(1)至(11)可以仅仅是系统输入的可能包含的部分信息，实际上，本申请中的系统输入并不限于上述信息(1)至(11)，只要能够反映系统输入特性的指标或者信息都可以是本申请中的系统输入。
可选地，上述第一无线系统的性能指标和第二无线系统的性能指标为重传类关键性能指标(key performance indicator，KPI)、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。
由于第一无线系统的性能指标和第二无线系统的性能指标的种类相同，因此，这里是 指第一无线系统的系统指标和第二无线系统的性能指标同时为重传类KPI或者资源利用类KPI或者边缘用户KPI或者容量和体验KPI。
应理解，上述每一类KPI均有具体的多个KPI组成。
可选地，上述资源利用类KPI、边缘用户KPI以及容量和体验KPI包含的具体指标可以如表3所示。
表3
资源利用类KPI 边缘用户KPI 容量&体验KPI
上行PRB平均利用率 小区边缘平均用户数 上行每PRB平均吞吐量
下行PRB平均利用率 小区边缘最大用户数 下行每PRB平均吞吐量
CCE利用率 小区边缘用户上行总吞吐量 小区上行平均速率
CCE分配失败率 小区边缘用户下行总吞吐量 小区下行平均速率
  小区边缘用户平均CQI 上行用户平均体验速率
  边缘用户上行初始BLER 下行用户平均体验速率
  边缘用户下行初始BLER  
  边缘用户上行平均体验速率  
  边缘用户下行平均体验速率  
如表3所示，资源利用类KPI包含的主要衡量资源利用情况的指标，资源利用类KPI包括物理资源块(physical resource block，PRB)的利用率的参数以及控制信道单元(control channel element，CCE)利用率的参数，其中，PRB的利用率的参数包括上行PRB平均利用率、下行PRB平均利用率、CCE利用率和CCE分配失败率。
如表3所示，边缘用户KPI主要是衡量边缘用户相关信息的指标，边缘用户KPI包括用户数参数、数据吞吐率参数、信号质量参数以及用户体验速率参数。
其中，用户数参数包括小区边缘平均用户数和小区边缘最大用户数；数据吞吐率参数包括小区边缘用户上行总吞吐量和小区边缘用户下行总吞吐量；信号质量参数包括小区边缘用户平均CQI、边缘用户上行初始误块率(block error rate，BLER)和边缘用户下行初始BLER；用户体验速率参数包括边缘用户上行平均体验速率和边缘用户下行平均体验速率。
如表3所示，容量&体验KPI主要包括容量参数和体验参数，其中，容量参数包括：上行每PRB平均吞吐量、下行每PRB平均吞吐量、小区上行平均速率和小区下行平均速率，体验参数包括上行用户平均体验速率和下行用户平均体验速率。
应理解，第一无线系统的性能指标和第二无线系统的性能指标为同一类KPI中的相同KPI。
例如，第一无线系统的性能指标和第二无线系统的性能指标可以是边缘用户KPI中的小区边缘平均用户数。
再如，第一无线系统的性能指标和第二无线系统的性能指标可以是容量&体验KPI中的小区上行平均速率或者小区下行平均速率。
可选地，上述第一无线系统的性能指标和第二无线系统的性能指标为切换类KPI或者重传类KPI。
上述切换类KPI和重传类KPI中均可以包含多个指标。
可选地，切换类KPI和重传类KPI包含的具体指标可以如表4所示。
表4
切换类KPI 重传类KPI
切换成功率 上行丢包率
基站内切换成功率 下行丢包率
基站间切换成功率 上行初始BLER
同频切换成功率 下行初始BLER
异频切换成功率 上行重传率
S1切换成功率 下行重传率
X2切换成功率  
切换类KPI  
切换成功率  
103、根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估。
应理解，在步骤103之前，可以先确定第二无线系统的性能指标相对于第一无线系统的性能指标的增益值，然后在步骤103中再根据第二无线系统的性能指标相对于第一无线系统的性能指标的增益值来对第二无线系统进行性能评估。
当第二无线系统的性能指标相对于第一无线系统的性能指标的增益值大于或者等于预设增益值时，确定第二无线系统的性能满足使用要求；而当第二无线系统的性能指标相对于第一无线系统的性能指标的增益值小于预设增益值时，确定第二无线系统的性能不能满足使用要求(在这种情况下可能需要对第二无线系统的性能指标进行进一步的调整)。
具体地，可以根据公式(1)计算第二无线系统的性能指标相对于第一无线系统的性能指标的增益值。
S＝(A-B)/B           (1)
在上述公式(1)中，A为第二无线系统的性能指标的数值，B为第一无线系统的性能指标的数值，S为第二无线系统的性能指标相对于第一无线系统的性能指标的增益值。
本申请中，通过第一模型能够较为准确地获取更改前的无线系统(第一无线系统)在相同系统输入下对应的性能指标，进而能够根据更改后的无线系统(第二无线系统)和更改前的无线系统在相同系统输入下对应的性能指标实现对系统性能更准确的评估，能够提高评估效果。
具体地，由于本申请通过第一模型就可以直接获取第一无线系统在相同系统输入的情况下的性能指标，与传统方案中从第一无线系统记录的历史性能指标数据中寻找在近似的系统输入下对应的性能指标的方式相比，本申请能够更快、更方便的获取第一无线系统在相同系统输入的性能指标，进而能够实现对无线系统性能的快速评估。
应理解，在根据第二无线系统的性能指标和第一无线系统的性能指标对第二无线系统进行性能评估时，还可以先对获得的性能指标数据进行数据清洗，然后再对数据进行数据归一化处理和参数降维，然后再比较第二无线系统的性能指标相对于第一无线系统的性能指标的增益。
数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操 作。通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。
由于不同的变量往往量纲不同，通过数据归一化可以消除量纲对最终结果的影响，使不同变量具有可比性。
可选地，获取第二无线系统的性能指标具体包括：获取第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，该第一配置参数为M个候选取值时第二无线系统的系统输入分别为M个输入表征参数；
根据第一模型确定第一无线系统的性能指标，包括：根据第一模型确定第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；
根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估，包括：确定M个目标性能指标分别相对于M个基准性能指标的增益值，得到M个增益值；根据M个增益值对第一配置参数分别为M个候选取值时第二无线系统的性能进行评估。
也就是说，当第二无线系统的系统输入分别为上述M个输入表征参数时，第二无线系统的第一配置参数的取值分别为M个候选取值。
通过获取第二无线系统的配置参数为不同的候选取值时的性能指标，能够对第二无线系统的配置参数为不同候选取值时的性能进行评估。
应理解，在获得了第二无线系统的配置参数为不同的候选取值时的性能指标之后，还能够根据配置参数为不同的候选取值的增益情况为配置参数选择合适的取值。
可选地，作为一个实施例，图1所示的方法还包括：根据M个增益值，从M个候选取值中确定出第一配置参数的最终取值。
可选地，上述根据M个增益值，从M个取值中确定出第一配置参数的最终取值可以有多种实现方式，下面对其中的两种方式进行详细介绍。
方式一：
从M个增益值中确定出第一增益值，该第一增益值是M个增益值中的最大增益值；
将第一增益值在M个候选取值中对应的候选取值确定为所述第一配置参数的最终取值，其中，M为大于1的整数。
例如，对第二无线系统的第一配置的参数配置了5个候选取值，该5个候选取值分别对应5个增益值。假设第一配置参数的候选取值与增益值的对应关系如表5所示(A、B、C、D和E分别表示不同的候选取值)。那么，可以根据表5确定出最大的增益值为0.30，增益值为0.30时对应的第一配置参数的取值为D，因此，第一配置参数的最终取值为D。
表5
第一配置参数的候选取值 增益值
A 0.10
B 0.15
C 0.30
D 0.20
E 0.25
方式二：
从M个增益值中确定出N个增益值，该N个增益值分别对应N个候选取值，第一配置参数分别为N个候选取值时，第一无线系统的接入类KPI和切换类KPI满足预设使用要求；
从N个增益值中确定出第二增益值，该第二增益值为N个增益值中数值最大的增益值；
将第二增益值在N个候选取值中对应的候选取值确定为第一配置参数的最终取值，其中，1≤N≤M，且N为整数。
在上述方式二中，相当于是先将接入类KPI和切换类KPI不满足要求的取值筛选掉，然后再根据增益值的大小从剩下的取值中确定出第一配置参数的最终取值。
应理解，上述只是示出了第一配置参数的取值的确定方式，实际上，其他的配置参数的取值也可以采用与第一配置参数的取值相同的方式来确定。
在确定上述配置参数的最终取值的过程可以看成是一个参数调优的过程，通过参数调优能够确定出每个配置参数的最终取值，从而完成系统的升级或者更改。
下面结合图3对参数调优的过程进行详细的描述。
图3是参数调优的流程图。图3所示的过程包括步骤301至306，下面对这些步骤进行详细的介绍。
301、配置参数的取值生效。
在步骤301中，配置参数的取值生效可以指为该配置参数设置相应的取值，并且启动无线系统。在为配置参数设置取值时，可以在该配置参数的取值范围内进行取值的设置。
例如，某功率门限参数的取值范围为[10，20，30，40]，那么，可以在这些参数的取值范围内为该功率门限参数配置取值。
302、采集配置参数取值生效后的性能指标。
采集配置参数取值生效后的性能指标实质上是指在为无线系统的配置参数设置取值后，该无线系统运行时的性能指标。
303、计算相同的系统输入时的基准性能指标。
在步骤303中，基准性能指标是指对无线系统的配置参数进行更改之前在同等系统输入(同等系统输入时指步骤303中的无线系统的系统输入与步骤302中的无线系统的系统输入相同)时的性能指标。
304、计算配置参数取值生效后的性能指标相对于基准性能指标的增益值。
具体地，可以参照上述公式(1)来计算配置参数取值生效后的性能指标相对于基准性能指标的增益值。
305、确定增益值的数量是否满足要求。
由于配置参数在不同的取值下对应的增益值可能有所不同，因此，在确定配置参数的最终取值时可以先尝试为配置参数设置不同的取值，然后再从这些取值中选择出配置参数的最终取值。
具体地，在步骤305中，可以确定增益值的数量是否大于或者等于N，N的取值可以是5(N的取值也可以是其他的数值，这里不做限定)。
306、根据增益值确定配置参数的最终取值。
例如，得到了5个增益值，那么，可以将该5个增益值中的最大的增益值对应的配置 参数的取值确定为配置参数的最终取值。
通过上述步骤301至305确定了一个配置参数之后，还可以通过类似的方式确定其他配置参数的取值。
另外，为了进一步提高性能评估的准确性，在确定第一配置参数的每个取值对应的增益值时，还可以将第一配置参数设置为一个取值，然后记录多个增益值，接下来，再将多个该增益值的平均值(也可以将最大的增益值和最小的增益值去掉之后对剩下的增益值求平均)确定为第一配置参数取该取值的时候对应的增益值(这的增益值指的是第一性能指标相对于第二性能指标的增益值)。
例如，当第一配置参数的取值为A时，可以在一段时间内统计10次第一性能指标和第二性能指标。根据这10次的统计结果，可以得到10个增益值，接下来可以将该10个增益值中的最大值和最小值去掉，然后对剩下的8个增益值求平均增益值，并将该平均增益值作为第一配置参数的取值为A时对应的增益值。
可选地，作为一个实施例，在对第二无线系统的第一配置参数的取值进行更改之前，图1所示的方法还包括：确定与第二无线系统的应用场景匹配的候选配置参数集合，该候选配置参数集合包括多个候选配置参数，该第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。
在不同的场景下，需要进行配置的配置参数不同，本申请中，通过无线系统的应用场景能够选择出与该应用场景匹配的候选配置参数，使得配置参数的过程更有针对性。
可选地，可以通过“天线挖掘”的方式来获取不同场景下的多个配置参数。
具体地，在每个天线系统完成参数调优之后，评估该天线系统中哪个参数能够带来较大的增益，将为该天线系统带来较大增益(例如，增益超过5％)的参数确定为该场景下对应的配置参数。
上述不同的场景可以包括无线宽带到用户(wireless to the x，WTTx)场景、移动性场景和大事件场景，这些场景下对应的配置参数可以如表6所示。
表6
Figure PCTCN2019126004-appb-000002
如表6所示，如果天线系统处于移动性场景下，那么，在对无线系统进行更改的过程中就可以调整劈裂大规模多发多收(massive MIMO，MM)波束域空分开关、MM移动用户、优化开关、移动用户探测参考信号(sounding reference signal，SRS)增强开关和配对用户门限等参数的取值。
应理解，上述不同场景下的开关在调整时可以对应一个算法或者优化特性是否执行。例如，WTTx SRS干扰规避开关来说，存在两种状态，一种状态是开启WTTx SRS开关，另一种状态是关闭WTTx SRS开关。
上述第一配置参数可以是系统调整或者升级过程中需要更改的配置参数，这些配置参 数的调整可能会对无线系统的性能有较大的影响。
具体地，上述第一配置参数可以是射频参数、系统的基础参数以及系统的特性参数中的至少一种。
上述射频参数可以包括电子下倾角、方位角以及权值等等。上述系统的基础参数可以包括CQI调整步长、物理下行控制信道(physical downlink control channel，PDCCH)误块率目标值、SRS功控，信号噪声干扰比(signal to interference plus noise ratio，SINR)目标值以及参考信号(reference signal，RS)等相关参数等等。上述系统的特性参数可以包括多用户波束赋型(multi-user beam-forming，MU-BF)配对门限，模式切换门限，物理上行链路控制信道干扰抑制组合(physical uplink control channel interference rejection combining，PUCCH IRC)算法开关等等。
在调整配置参数的取值时，可以按照一定的顺序(例如，按照配置参数的重要性的顺序)来分别调整配置参数的取值。
例如，可以按照表7所示的顺序对3个配置参数的取值进行调整，以得到这3个配置参数的最终取值。
表7
调试顺序 配置参数 配置参数的取值范围
1 电子下倾角 10°,20°,30°
2 MU-BF配对门限 0.3,0.4,0.5,0.6
3 RS功控SINR目标值 8％,10％,12％,15％
如表7所示，可以先调整电子下倾角，调整电子下倾角为10度，等待系统运行一段时间(例如，半个小时或者1个小时)，采集到性能指标，判断基础性能指标是否在可接受的范围内(例如，判断掉话率是否小于1％)，如果基础性能指标超出可接受的范围，则不计算该性能指标相对于电子下倾角调整之前的性能指标的增益值，并将10度视为该电子下倾角的禁用值；如果基础性能指标在可接受的范围内，则计算该性能指标相对于电子下倾角调整之前的性能指标的增益值；采用同样的方法计算电子下倾角为20度和30度时的增益值大小，最后再从这几个增益值中确定出最大的增益值，然后将该最大的增益值确定为电子下倾角的最终取值，并将该电子下倾角调整到该角度。
例如，经过计算发现，电子下倾角为10度时的增益为-10，电子下倾角为20度时的增益为1，电子下倾角为30度时的增益为10，其中，电子下倾角为30度时的增益值最大，那么，电子下倾角的最终取值为30度。
为了提高系统的鲁棒性，可以个多次测量多次比较的方式，最终选取增益排名得分最高的角度作为电子下倾角的最终取值。在确定了电子下倾角的最终取值之后，将该最终取值确定为电子下倾角的取值，然后调整MU-BF配对门限，采用同样的方法，MU-BF配对门限完成调优后，设置门限。并进行接下来的RS功控SINR目标值调优。
上文结合图1至图3对本申请实施例的无线系统的性能评估方法进行了描述，下面结合图4对本申请实施例的无线系统的性能评估方法进行介绍。
图4是本申请实施例的无线系统的性能评估方法的示意性流程图。图4所示的方法包括步骤401至407，下面对这些步骤进行介绍。
401、识别第二无线系统所处的场景。
上述第二无线系统所处的场景也可以是指第二无线系统所处的应用场景，这里的场景可以包括WTTx场景、移动性场景以及大事件场景等等。
402、选定第二无线系统的配置参数。
例如，如表6所示，当第二无线系统所处的场景为移动性场景时，可以选择劈裂MM波束域空分开关、MM移动用户优化开关、移动用户SRS增强开关以及配对用户门限等参数作为第二无线系统的配置参数。
403、在配置参数值域范围内对配置参数进行调整。
在步骤403中，可以选择步骤402中的多个配置参数中的一个配置参数，并对该配置参数进行调整。
例如，当第二无线系统所处的场景为移动性场景时，可以选择配对用户门限，并在配对用户门限的取值范围内对配对用户门限的取值进行调整。
404、采集第二无线系统的性能指标。
在步骤404中，每当步骤403中为配置参数配置一个取值时都要采集一次第二无线系统的性能指标，这样就能获取配置参数取每个取值时对应的第二无线系统的性能指标。
405、采集第一无线系统在相同系统输入下的性能指标。
每当步骤404中获取某个配置参数取某个取值时的性能指标时，需要在步骤405中获取与第二无线系统处于相同系统输入下时第一无线系统的性能指标，便于后续比较第二无线系统在某个配置参数取某个取值时的性能增益情况。
应理解，上述步骤404和步骤405可以反复执行多次以获取同一个配置参数被配置为不同的取值时的性能指标，进而获取第二无线系统的同一个配置参数在不同的取值下的性能的增益情况。
406、进行增益评估，对参数的取值进行修正，得到配置参数的最终取值。
经过步骤404和步骤405之后，可以得到第二无线系统的同一配置参数在不同取值时第二无线系统的性能增益情况，接下来，在步骤406中，可以根据增益值的大小从中选择出配置参数的最终取值。
当通过步骤406得到了某个配置参数的最终取值之后，接下来，可以继续执行402，以确定其他配置参数的最终取值。
上文结合图1至图4对本申请实施例的无线系统的性能评估方法进行了详细的介绍，下面结合图5和图6对本申请实施例的无线系统的性能评估装置进行介绍，应理解，图5和图6中的装置能够执行本申请实施例的无线系统的性能评估方法的各个步骤，下面在介绍图5和图6所示的装置时适当省略重复的描述。
图5是本申请实施例的无线系统的性能评估装置的示意性框图。图5所示的装置1000包括：
获取模块1001，用于获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；
处理模块1002，用于根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；
所述处理模块1002还用于根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。
可选地，作为一个实施例，所述获取模块1001用于：
获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数；
所述处理模块1002用于：
根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；
确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；
根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。
可选地，作为一个实施例，所述处理模块1002用于：根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。
可选地，作为一个实施例，所述处理模块1002用于：从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值，其中，M为大于1的整数；将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。
可选地，作为一个实施例，所述处理模块1002用于：
从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；
从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；
将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。
可选地，作为一个实施例，所述处理模块1002还用于：
确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。
可选地，作为一个实施例，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。
可选地，作为一个实施例，所述装置还包括训练模块1003，所述训练模块1003用于：
获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；
分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；
分别采用多组训练数据进行模型训练，得到多种候选模型；
将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。
图6是本申请实施例的无线系统的性能评估装置的示意性框图。图6所示的装置2000 包括：
存储器2001，用于存储程序；
处理器2002，用于执行存储器2001存储的程序，当存储器2001中的程序被处理器2002执行时，处理器2002用于本申请实施例的无线系统的性能评估方法中的各个步骤。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

  1. 一种无线系统的性能评估方法，其特征在于，包括：
    获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；
    根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；
    根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。
  2. 如权利要求1所述的方法，其特征在于，所述获取第二无线系统的性能指标，包括：
    获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数，M为大于1的整数；
    所述根据第一模型确定所述第一无线系统的性能指标，包括：
    根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；
    所述根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估，包括：
    确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；
    根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。
  3. 如权利要求2所述的方法，其特征在于，所述方法还包括：
    根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。
  4. 如权利要求3所述的方法，其特征在于，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：
    从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值；
    将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。
  5. 如权利要求3所述的方法，其特征在于，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：
    从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；
    从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最 大增益值；
    将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。
  6. 根据权利要求2-5中任一项所述的方法，其特征在于，所述方法还包括：
    确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。
  7. 如权利要求1-6中任一项所述的方法，其特征在于，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。
  8. 如权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：
    获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；
    分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；
    分别采用多组训练数据进行模型训练，得到多种候选模型；
    将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。
  9. 一种无线系统的性能评估装置，其特征在于，包括：
    获取模块，用于获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；
    处理模块，用于根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；
    所述处理模块还用于根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。
  10. 如权利要求9所述的装置，其特征在于，所述获取模块用于：
    获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数，M为大于1的整数；
    所述处理模块用于：
    根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；
    确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；
    根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。
  11. 如权利要求10所述的装置，其特征在于，所述处理模块用于：
    根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。
  12. 如权利要求11所述的装置，其特征在于，所述处理模块用于：
    从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值；
    将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。
  13. 如权利要求11所述的装置，其特征在于，所述处理模块用于：
    从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；
    从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；
    将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。
  14. 根据权利要求10-13中任一项所述的装置，其特征在于，所述处理模块还用于：
    确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。
  15. 如权利要求9-14中任一项所述的装置，其特征在于，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。
  16. 如权利要求9-15中任一项所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：
    获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；
    分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；
    分别采用多组训练数据进行模型训练，得到多种候选模型；
    将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。
PCT/CN2019/126004 2018-12-26 2019-12-17 无线系统的性能评估方法和装置 WO2020135157A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811605225.4 2018-12-26
CN201811605225.4A CN111372259B (zh) 2018-12-26 2018-12-26 无线系统的性能评估方法和装置

Publications (1)

Publication Number Publication Date
WO2020135157A1 true WO2020135157A1 (zh) 2020-07-02

Family

ID=71128387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/126004 WO2020135157A1 (zh) 2018-12-26 2019-12-17 无线系统的性能评估方法和装置

Country Status (2)

Country Link
CN (1) CN111372259B (zh)
WO (1) WO2020135157A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394039A (zh) * 2014-12-09 2015-03-04 南京华苏科技股份有限公司 一种基于Sigmoid指数模型网络性能成熟度评价系统及其评价方法
CN106712996A (zh) * 2015-11-16 2017-05-24 上海大唐移动通信设备有限公司 一种网络升级评估方法和装置
US20180270126A1 (en) * 2017-03-14 2018-09-20 Tupl, Inc Communication network quality of experience extrapolation and diagnosis

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051472B (zh) * 2012-12-17 2016-09-07 中兴通讯股份有限公司 网络关键性能指标的分析方法及装置
US9439081B1 (en) * 2013-02-04 2016-09-06 Further LLC Systems and methods for network performance forecasting
US9826412B2 (en) * 2013-10-24 2017-11-21 At&T Intellectual Property I, L.P. Facilitating adaptive key performance indicators in self-organizing networks
EP2887728A1 (en) * 2013-12-19 2015-06-24 Telefonaktiebolaget L M Ericsson (publ) Technique for performance management in a mobile communications network
US9204319B2 (en) * 2014-04-08 2015-12-01 Cellco Partnership Estimating long term evolution network capacity and performance
CN104113452B (zh) * 2014-07-29 2018-02-23 中国联合网络通信集团有限公司 网络质量预测方法和装置
CN105636056B (zh) * 2014-11-14 2021-04-02 中兴通讯股份有限公司 一种频谱资源自优化的节能方法、装置和系统
CN105634787B (zh) * 2014-11-26 2018-12-07 华为技术有限公司 网络关键指标的评估方法、预测方法及装置和系统
CN106559813A (zh) * 2015-09-28 2017-04-05 中兴通讯股份有限公司 一种网络评估方法及装置
CN108900333A (zh) * 2018-06-27 2018-11-27 新华三大数据技术有限公司 一种无线网络质量的评估方法及评估装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394039A (zh) * 2014-12-09 2015-03-04 南京华苏科技股份有限公司 一种基于Sigmoid指数模型网络性能成熟度评价系统及其评价方法
CN106712996A (zh) * 2015-11-16 2017-05-24 上海大唐移动通信设备有限公司 一种网络升级评估方法和装置
US20180270126A1 (en) * 2017-03-14 2018-09-20 Tupl, Inc Communication network quality of experience extrapolation and diagnosis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANG MIN, HE CHUAN, TIAN LI, ZENG LING-KANG, YU HUA-DONG, ZUO GAO, FU YONG-CHANG: "Evaluation method for wireless communication performance of distribution network based on fuzzy neural network", JOURNAL OF ELECTRIC POWER SCIENCE AND TECHNOLOGY, CHANGSHA UNIVERSITY OF SCIENCE AND TECHNOLOGY, CN, vol. 31, no. 2, 28 June 2016 (2016-06-28), CN, pages 64 - 71, XP055716178, ISSN: 1673-9140 *

Also Published As

Publication number Publication date
CN111372259B (zh) 2022-04-22
CN111372259A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US9848341B2 (en) Network optimization method, and network optimization device
US10374882B2 (en) Systems and methods for identifying causes of quality degradation in wireless networks
US9961571B2 (en) System and method for a multi view learning approach to anomaly detection and root cause analysis
US20190068443A1 (en) Automatically optimize parameters via machine learning
US11451971B2 (en) Networking method, networking apparatus, network access method, and user equipment for coordinated multiple points transmission/reception
US20130262656A1 (en) System and method for root cause analysis of mobile network performance problems
Ma et al. A dynamic affinity propagation clustering algorithm for cell outage detection in self-healing networks
CN110063066B (zh) 过调小区检测
JP6299046B2 (ja) ユーザ装置のための動作しているリモート無線装置を選択するための方法及び基地局
CN105163344A (zh) 一种td-lte系统内干扰的定位方法
EP3451731A1 (en) Cell clustering method, spectrum overlapping multiplexing method based on method, and device thereof
WO2016077949A1 (zh) 一种接入控制方法、装置和网络设备
CN111328084A (zh) 一种小区容量的评估方法及装置
Salem et al. Survey on Ultra-Dense Networks (UDNs) and applied stochastic geometry
Tiwana et al. Statistical learning in automated troubleshooting: Application to LTE interference mitigation
WO2020135157A1 (zh) 无线系统的性能评估方法和装置
Khan et al. Surrogate based centralized son: Application to interference mitigation in lte-a hetnets
EP3154290B1 (en) Resource optimization method and apparatus
WO2021164633A1 (zh) 权值的发送方法、装置、存储介质及电子装置
CN111225391B (zh) 网络参数处理方法和设备
WO2020098679A1 (zh) 网络场景识别的方法及接入网设备
CN103686748A (zh) 一种下行链路中边缘用户划分的方法
Nie et al. Coverage and association bias analysis for backhaul constrained HetNets with eICIC and CRE
CN106301727B (zh) 一种指示小区无线资源状态的方法
CN114390605B (zh) 切换方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901615

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901615

Country of ref document: EP

Kind code of ref document: A1