WO2024087928A1 - 数据收集性能评估方法、装置和系统、存储介质 - Google Patents

数据收集性能评估方法、装置和系统、存储介质 Download PDF

Info

Publication number
WO2024087928A1
WO2024087928A1 PCT/CN2023/118862 CN2023118862W WO2024087928A1 WO 2024087928 A1 WO2024087928 A1 WO 2024087928A1 CN 2023118862 W CN2023118862 W CN 2023118862W WO 2024087928 A1 WO2024087928 A1 WO 2024087928A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
network element
functional network
target
analysis
Prior art date
Application number
PCT/CN2023/118862
Other languages
English (en)
French (fr)
Inventor
牛煜霞
赵嵩
Original Assignee
中国电信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国电信股份有限公司 filed Critical 中国电信股份有限公司
Publication of WO2024087928A1 publication Critical patent/WO2024087928A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Definitions

  • the present disclosure relates to the field of wireless communications, and in particular to a data collection performance evaluation method, device and system, and storage medium.
  • NWDAF Network Data Analytics Function
  • 5GC 5G core network
  • NFs Network Function
  • AFs Application Function
  • OAM Operations, Administration, Maintenance
  • a data collection performance evaluation method comprising:
  • the data collection performance of the functional network element is evaluated based on the measurement data.
  • evaluating the data collection performance of the functional network element according to the measurement data includes:
  • the data collection performance of the functional network element is evaluated according to the quality value of the collected data.
  • the data collection performance of the functional network element is evaluated according to the quality value of the collected data.
  • the measurement data of the interaction when the functional network element performs data collection for measuring the network data analysis function includes:
  • the target service type includes at least one of an analysis service, a model training service, and a data management service.
  • determining the quality value of the collected data according to the measurement data includes:
  • a missing condition of the data collected by the functional network element from the target data source for executing the target type service is obtained, wherein the missing condition is used to quantify the quality of the data collected by the functional network element.
  • the measurement data includes the number of requests issued by the functional network element and the number of responses received by the functional network element, wherein the request method includes at least one of request and subscription, and the response method includes at least one of response and notification.
  • the measurement data of the interaction when the functional network element performs data collection for measuring the network data analysis function includes:
  • measuring the number of data collection requests sent by the functional network element to the target data source includes:
  • the first cumulative counter includes a first sub-cumulative counter, wherein the first sub-cumulative counter is a sub-cumulative counter related to the analysis identifier, and the first sub-cumulative counter is used to measure the number of data collection requests triggered when the functional network element performs the analysis indicated by the target analysis identifier.
  • measuring the number of data collection requests sent by the functional network element to the target data source includes:
  • the first cumulative counter includes a second sub-cumulative counter
  • the second sub-cumulative counter is a sub-cumulative counter related to the model identifier or the analysis identifier
  • the second sub-cumulative counter is used to measure the number of data collection requests triggered by the functional network element when training the model indicated by the target model identifier.
  • measuring the number of data collection requests sent by the functional network element to the target data source includes:
  • the first cumulative counter includes a fifth sub-cumulative counter
  • the fifth sub-cumulative counter is a sub-cumulative counter related to the data management identifier.
  • the fifth sub-cumulative counter is used to measure the number of data collection requests triggered when the functional network element performs the data management task indicated by the target data management identifier.
  • measuring the number of data collection requests sent by the functional network element to the target data source includes:
  • At least one of the first request number, the second request number and the third request number is measured, wherein the first request number is the number of data collection requests for each target data source or each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier, the second request number is the number of data collection requests for each target data source or each target data source triggered when the functional network element trains the model indicated by the target model identifier, and the third request number is the number of data collection requests for each target data source or each target data source triggered when performing the data management task indicated by the target data management identifier.
  • measuring the number of data collection responses received by the functional network element from the target data source includes:
  • the second cumulative counter includes a third sub-cumulative counter, wherein the third sub-cumulative counter is a sub-cumulative counter related to the analysis identifier, and the third sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when performing the analysis indicated by the target analysis identifier.
  • measuring the number of data collection responses received by the functional network element from the target data source includes:
  • the second cumulative counter includes a fourth sub-cumulative counter
  • the fourth sub-cumulative counter is a sub-cumulative counter related to the model identifier or the analysis identifier.
  • the fourth sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when training the model indicated by the target model identifier.
  • measuring the number of data collection responses received by the functional network element from the target data source includes:
  • the second cumulative counter includes a sixth sub-cumulative counter, wherein the sixth sub-cumulative counter is a sub-cumulative counter related to the data management identifier, and the sixth sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when performing the data management task indicated by the target data management identifier.
  • measuring the number of data collection responses received by the functional network element from the target data source includes:
  • the first response number is the number of data collection responses received from each target data source or each target data source when the functional network element performs the analysis indicated by the target analysis identifier
  • the second response number is the number of data collection responses received from each target data source or each target data source when the functional network element trains the model indicated by the target model identifier
  • the third response number is the number of data collection responses received from each target data source or each target data source when the functional network element performs the data management task indicated by the target data management identifier.
  • determining the quality value of the collected data based on the measurement data includes: determining a first quality value of the measurement data based on the number of times recorded by the first sub-cumulative counter and the number of times recorded by the third sub-cumulative counter, wherein the first quality value is used to indicate the missing state of data collected by the functional network element for performing the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element to perform the analysis.
  • determining the first quality value of the measurement data according to the number of data collection requests triggered by the functional network element and the number of data collection responses received by the functional network element includes:
  • the first difference is a difference between the number of times recorded by the first sub-accumulative counter and the number of times recorded by the third sub-accumulative counter;
  • the ratio of the first difference value to the number of times recorded by the first sub-accumulative counter is used as the first quality value of the measurement data.
  • determining the quality value of the collected data based on the measurement data includes: determining a second quality value of the measurement data based on the first number of requests and the first number of responses, wherein the second quality value is used to indicate the missing state of data collected by the functional network element from each target data source or each target data source in order to perform the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element to perform the analysis.
  • determining the quality value of the collected data according to the measurement data includes: determining a third quality value of the measurement data according to the number of times recorded by the second sub-accumulative counter and the number of times recorded by the fourth sub-accumulative counter, wherein the third quality value is used to indicate that the functional network element is a training target model identifier or an analysis identifier.
  • the missing state of the data collected by the model indicated by the analysis identifier is used to evaluate the performance of the data collection service triggered by the functional network element for training the model.
  • determining the quality value of the collected data based on the measurement data includes: determining a fourth quality value of the measurement data based on the second number of requests and the second number of responses, wherein the fourth quality value is used to indicate the absence of data collected by the functional network element from each target data source or each target data source for training the model indicated by the target model identifier or the analysis identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element for training the model.
  • determining the quality value of the collected data based on the measurement data includes: determining a fifth quality value of the measurement data based on the number of times recorded by the fifth sub-cumulative counter and the number of times recorded by the sixth sub-cumulative counter, wherein the fifth quality value is used to indicate the missing state of the data collected by the functional network element to perform the data management task indicated by the data management identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element to perform the data management task.
  • determining the quality value of the collected data based on the measurement data includes: determining a sixth quality value of the measurement data based on the third number of requests and the third number of responses, wherein the sixth quality value is used to indicate the missing state of data collected by the functional network element from each target data source or each target data source in order to perform the data management task indicated by the data management identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element to perform the data management task.
  • the method further includes:
  • the subscription or request message includes a performance evaluation instruction, and the performance evaluation instruction includes filtering information and a subscription or request behavior;
  • the data collection performance of the functional network element is evaluated according to the method described in any of the above embodiments;
  • the notification or response message includes filtering information and a response to a subscription or request operation.
  • the filtering information includes at least one of an analysis identifier list, a model identifier list, and a data management identifier list, wherein the analysis identifier list is used to support the measurement of the quality of the data collected by the functional network element for performing the analysis indicated by the target analysis identifier, and the model identifier list is used to support the measurement of the quality of the data collected by the functional network element for training the target
  • the data management identifier list is used to support the measurement of the quality of data collected by the functional network element for executing the data management task indicated by the target data management identifier.
  • the act of subscribing or requesting includes at least one of the following operations: measuring the quality of data collected by the functional network element to perform analysis; measuring the quality of data collected by the functional network element to train models; measuring the quality of data collected by the functional network element from the target data source to perform analysis; measuring the quality of data collected by the functional network element from the target data source to train models; measuring the quality of data collected by the functional network element from the target data source to perform data management tasks.
  • a response to a subscription or request operation includes at least one of the following response operations: providing the quality of data collected by the functional network element to perform analysis; providing the quality of data collected by the functional network element to train a model; providing the quality of data collected by the functional network element to perform data management tasks; providing the quality of data collected by the functional network element from a target data source to perform analysis; providing the quality of data collected by the functional network element from a target data source to train a model; providing the quality of data collected by the functional network element from a target data source to perform data management tasks.
  • a data collection performance evaluation device comprising:
  • a data measurement module configured to measure measurement data of interaction when a functional network element performs data collection, wherein the functional network element is a network element for implementing a network data analysis function;
  • a performance evaluation module is configured with the measurement data to evaluate the data collection performance of the functional network element.
  • the data collection performance evaluation device is configured to perform operations to implement the method described in any of the above embodiments.
  • a data collection performance evaluation device comprising:
  • a memory configured to store instructions
  • the processor is configured to execute the instructions so that the data collection performance evaluation device performs operations to implement the method described in any of the above embodiments.
  • a data collection performance evaluation system comprising the data collection performance evaluation device as described in any of the above embodiments.
  • a computer-readable storage medium stores computer instructions, and when the instructions are executed by a processor, the method described in any of the above embodiments is implemented.
  • a computer program comprising: instructions, which, when executed by a processor, enable the processor to perform the method as described in any one of the above embodiments.
  • FIG. 1 is a schematic diagram of some embodiments of the data collection performance evaluation method disclosed herein.
  • Figure 2 is a schematic diagram of a network element used to implement a network data analysis function in some embodiments of the present disclosure to collect data from any 5GC NF.
  • FIG3 is a schematic diagram of a network element "subscription-notification" service for implementing a network data analysis function in some embodiments of the present disclosure.
  • FIG4 is a schematic diagram of a network element "request-response" service for implementing a network data analysis function in some embodiments of the present disclosure.
  • FIG. 5 is a schematic diagram of other embodiments of the data collection performance evaluation method disclosed herein.
  • FIG. 6 is a schematic diagram of some embodiments of the data collection performance evaluation system of the present disclosure.
  • FIG. 7 is a schematic diagram of some embodiments of the data collection performance evaluation device disclosed herein.
  • FIG8 is a schematic diagram of the structure of other embodiments of the data collection performance evaluation device disclosed in the present invention.
  • the inventors have found through research that: from the perspective of the operator, as a network function that provides network data analysis functions, the performance of data collection of the NWDAF network element directly affects its analysis performance. Therefore, how to monitor the performance of the NWDAF network element in data collection is a key issue.
  • the NWDAF network element requests data from other NFs, AFs, and OAMs, some data may be missing (lost or not transmitted). The more data is missing, the greater the impact on the analysis performance of the NWDAF network element.
  • the NWDAF network element needs to pre-process the data (data cleaning or data enhancement).
  • the missing data collected by the present disclosure is an important indicator for evaluating the quality of data collected by the NWDAF network element. Based on this performance indicator, the performance of NWDAF network element data collection can be understood, providing necessary reference for the optimization of NWDAF services.
  • the present disclosure provides a method, device and system for measuring the service performance of a network element for implementing a network data analysis function, which can measure and evaluate the data collection performance of a network element for implementing a network data analysis function, and can quantify and evaluate the quality of data collected by a network element for implementing a network data analysis function.
  • the present disclosure is described below through specific embodiments.
  • FIG1 is a schematic diagram of some embodiments of the data collection performance evaluation method of the present disclosure.
  • the present embodiment can be performed by the data collection performance evaluation system of the present disclosure or the data collection performance evaluation device of the present disclosure.
  • the method includes at least one of step 100 and step 500, wherein:
  • Step 100 measuring measurement data of interaction when a functional network element performs data collection, wherein the functional network element is a network element for implementing a network data analysis function.
  • the functional network element may be a NWDAF network element.
  • step 100 may include: according to the target service type, the target data source type and the target data source, measuring the measurement data of the interaction corresponding to when the functional network element collects data from the target data source to perform the target type service, wherein the target service type includes at least one of an analysis service, a model training service and a data management service.
  • the target data source types include NF (network function network element), AFs (application function network element) and OAM (operation maintenance management network element), wherein NF can be NWDAF network element.
  • NF network function network element
  • AFs application function network element
  • OAM operation maintenance management network element
  • the measurement data includes the number of requests issued by the functional network element and the number of responses received by the functional network element, wherein the request method includes at least one of request and subscription, and the response method includes response. and at least one of the notifications.
  • FIG2 is a schematic diagram of a network element for implementing a network data analysis function in some embodiments of the present disclosure collecting data from any 5GC NF.
  • the network element for implementing a network data analysis function may collect data from any 5GC NF in the form of a "subscribe-notify” service or a "request-response” service, as illustrated below by FIG3 and FIG4 .
  • the network element for implementing a network data analysis function may be a NWDAF network element.
  • FIG3 is a schematic diagram of a network element "subscription-notification" service for implementing a network data analysis function in some embodiments of the present disclosure.
  • NF_A is a service consumer Consumer
  • NF_A is a network element for implementing a network data analysis function (for example, it may be a NWDAF network element)
  • NF_A collects data from NF_B (service producer Producer).
  • step 100 may include: measuring the number of subscriptions (Subscribe) issued by the network element for implementing the network data analysis function and the number of notifications (Notify) received by the network element for implementing the network data analysis function.
  • FIG4 is a schematic diagram of a network element "request-response" service for implementing a network data analysis function in some embodiments of the present disclosure.
  • NF_A is a service consumer
  • NF_A is a network element for implementing a network data analysis function
  • NF_A collects data from NF_B (a service producer).
  • step 100 may include: measuring the number of requests (Request) issued by the network element for implementing the network data analysis function and the number of responses (Response) received by the network element for implementing the network data analysis function.
  • step 100 may include at least one of step 110 and step 120, wherein:
  • Step 110 measuring the number of data collection requests sent by the functional network element to the target data source, and in the case where the functional network element triggers a request or subscription related to data collection, incrementing a first cumulative counter (CC) by 1, wherein the first cumulative counter is a cumulative counter related to the number of data collection requests or subscriptions triggered by the functional network element.
  • the value of the first cumulative counter is the measured value of the number of data collection requests/subscriptions triggered by the functional network element.
  • step 110 may include at least one of steps 111 to 114, wherein:
  • Step 111 in the case where the functional network element triggers a request or subscription related to data collection for performing an analysis task, based on different analysis identification IDs, the first cumulative counter includes a first sub-cumulative counter, wherein the first sub-cumulative counter is a sub-cumulative counter related to the analysis identification, and the first sub-cumulative counter is used to measure the number of data collection requests triggered when the functional network element performs the analysis indicated by the target analysis identification, that is, the number of requests for analytics (per Analytics ID).
  • Step 112 the functional network element triggers a request or subscription related to data collection for executing the model training task.
  • the first cumulative counter includes a second sub-cumulative counter
  • the second sub-cumulative counter is a sub-cumulative counter related to the model identifier or the analysis identifier
  • the second sub-cumulative counter is used to measure the number of data collection requests triggered when the functional network element is training the model indicated by the target model identifier, that is, the number of requests for model training (per Analytics/Model ID).
  • Step 113 when the functional network element triggers a request or subscription related to data collection to perform a data management task, based on different data management identifiers, the first cumulative counter includes a fifth sub-cumulative counter, and the fifth sub-cumulative counter is a sub-cumulative counter related to the data management identifier.
  • the fifth sub-cumulative counter is used to measure the number of data collection requests triggered when the functional network element performs the data management task indicated by the target data management identifier.
  • Step 114 based on different data sources, measure at least one of the first request number, the second request number and the third request number, wherein the first request number is the number of data collection requests for each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier, that is, the number of requests to other dataSource_i for analytics (per Analytics ID), or the first request number is the number of data collection requests for each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier; the second request number is the number of data collection requests for each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier; The number of data collection requests for each target data source triggered when the network element trains the model indicated by the target model identifier, that is, the number of requests to other dataSource_i for model training (per Analytics/Model ID); the second number of requests is the number of data collection requests for each target data source triggered when the functional network element trains the model indicated by the target model identifier; the third number of requests
  • Step 120 measure the number of data collection responses received by the functional network element from the target data source, and when the functional network element receives a response or notification related to data collection, increment the second cumulative counter by 1, wherein the second cumulative counter is a cumulative counter related to the number of data collection responses or notifications received by the functional network element, and the value of the second cumulative counter is the measured value of the number of data collection responses/notifications received by the functional network element.
  • the second cumulative counter is a cumulative counter related to the number of data collection responses or notifications received by the functional network element
  • the value of the second cumulative counter is the measured value of the number of data collection responses/notifications received by the functional network element.
  • step 120 may include at least one of steps 121 to 124, wherein:
  • Step 121 in the case where the functional network element collects data from the target data source for analysis, based on different analysis identifiers, the second cumulative counter includes a third sub-cumulative counter, wherein the third sub-cumulative counter is a sub-cumulative counter related to the analysis identifier, and the third sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when performing the analysis indicated by the target analysis identifier (the number of responses for Analytics per Analytics ID).
  • Step 122 when the functional network element collects data from the target data source for model training, based on different model identifiers or analysis identifiers, the second cumulative counter includes a fourth sub-cumulative counter, and the fourth sub-cumulative counter is a sub-cumulative counter related to the model identifier or the analysis identifier.
  • the fourth sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when training the model indicated by the target model identifier, that is, the number of responses for model training (per Analytics/Model ID).
  • Step 123 when the functional network element collects data from the target data source for data management, based on different data management identifiers, the second cumulative counter includes a sixth sub-cumulative counter, wherein the sixth sub-cumulative counter is a sub-cumulative counter related to the data management identifier, and the sixth sub-cumulative counter is used to measure the number of data collection responses received by the functional network element when performing the data management task indicated by the target data management identifier.
  • Step 124 based on different data sources, measure at least one of the first response number, the second response number and the third response number, wherein the first response number is the number of data collection responses received from each target data source when the functional network element performs the analysis indicated by the target analysis identifier, that is, the number of responses from dataSource_i for analytics (per Analytics ID), or the first response number is the number of data collection responses received from each target data source when the functional network element performs the analysis indicated by the target analysis identifier; the second response number is the number of responses received when the functional network element trains the target model The first response number is the number of data collection responses received from each target data source when the functional network element trains the model indicated by the target model identifier, that is, the number of responses from other dataSource_i for model training (per Analytics/Model ID), or the second response number is the number of data collection responses received from each target data source when the functional network element trains the model indicated by the target model identifier; the third response number is the number of data collection responses received from each target data source or each target data
  • Step 500 Evaluate the data collection performance of the functional network element based on the measurement data.
  • FIG5 is a schematic diagram of other embodiments of the data collection performance evaluation method of the present disclosure.
  • the present embodiment can be performed by the data collection performance evaluation system of the present disclosure or the data collection performance evaluation device of the present disclosure.
  • Step 100 of the embodiment of FIG5 is the same as or similar to step 100 of the embodiment of FIG1.
  • step 500 of the embodiment of FIG1 may include at least one of step 200 and step 400 of the embodiment of FIG5, wherein:
  • Step 200 Determine the quality value of the collected data based on the measurement data.
  • step 200 may include: based on the measurement data, obtaining the missing status of the data collected by the functional network element from the target data source to perform the target type service, wherein the missing status is used to quantify the quality of the data collected by the functional network element.
  • step 200 may include at least one of steps 210 to 260. in:
  • Step 210 when the functional network element triggers a request or subscription related to data collection to perform an analysis task, determine the first quality value A of the measurement data according to the number of times recorded by the first sub-cumulative counter (the number of data collection requests triggered by the functional network element) and the number of times recorded by the third sub-cumulative counter (the number of data collection responses received by the functional network element), wherein the first quality value A is used to indicate the missing state (data quality) of the data collected by the functional network element for the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element to perform the analysis.
  • the first quality value A is used to indicate the missing state (data quality) of the data collected by the functional network element for the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element to perform the analysis.
  • step 210 may include: when the functional network element triggers the data collection service to perform the analysis indicated by the target analysis ID, obtaining the ratio of "the number of data collection requests triggered by the functional network element - the number of data collection responses received by the functional network element" to "the number of data collection requests triggered by the functional network element" as the first quality value A.
  • step 210 may include at least one of steps 211 to 212, wherein:
  • Step 211 determining a first difference temp, wherein the first difference is the difference between the number of times recorded by the first sub-accumulating counter and the number of times recorded by the third sub-accumulating counter.
  • step 211 may include: determining a first difference value temp according to formula (1).
  • temp the number of requests for analytics(per Analytics ID)- the number of responses for Analytics (per Analytics ID) (1)
  • Step 212 taking the ratio of the first difference value temp to the number of times recorded by the first sub-accumulative counter as the first quality value A of the measurement data.
  • step 212 may include: determining the first quality value A according to formula (2).
  • Step 220 when measuring the first number of requests and the first number of responses based on different data sources, determine a second quality value Ai of the measured data according to the first number of requests (the number of data collection requests for each target data source or each target data source triggered by the functional network element) and the first number of responses (the number of data collection responses received by the functional network element from each target data source or each target data source), wherein the second quality value Ai is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source in order to perform the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element to perform the analysis.
  • the second quality value Ai is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source in order to perform the analysis indicated by the target analysis identifier, and is used to evaluate the performance of the data collection service for each target data source
  • step 220 may include: based on different data sources, if the functional network element In order to perform the analysis indicated by the target analysis ID, data is collected from other multiple data sources, and the ratios of "the number of data collection requests triggered by the functional network element for each target data source or each type of target data source - the number of data collection responses received by the functional network element from each target data source or each type of target data source” and "the number of data collection requests triggered by the functional network element for each target data source or each type of target data source” are obtained respectively (represented by A1, A2, A3... respectively).
  • step 220 may include at least one of steps 221 to 222, wherein:
  • Step 221 determine a second difference value temp i , wherein the second difference value is a difference between a first request number (the number of data collection requests for each target data source or each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier) and a first response number (the number of data collection responses received from each target data source or each target data source when the functional network element performs the analysis indicated by the target analysis identifier).
  • a first request number the number of data collection requests for each target data source or each target data source triggered when the functional network element performs the analysis indicated by the target analysis identifier
  • a first response number the number of data collection responses received from each target data source or each target data source when the functional network element performs the analysis indicated by the target analysis identifier
  • step 221 may include: determining the second difference value temp i according to formula (3).
  • temp i the number of requests to other dataSource i for analytics (per Analytics ID)-the number of responses from other dataSource i for Analytics (per Analytics ID) (3)
  • step 222 may include: determining the second quality value A i according to formula (4).
  • Step 230 when the functional network element triggers a data collection service for the model indicated by the training target model identifier or the analysis identifier, determine a third quality value C of the measurement data based on the number of times recorded by the second sub-cumulative counter and the number of times recorded by the fourth sub-cumulative counter, wherein the third quality value is used to indicate the missing state (data quality) of the data collected by the functional network element for the model indicated by the training target model identifier or the analysis identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element for training the model.
  • step 230 may include: when the functional network element triggers the data collection service for the model indicated by the training target model ID (or analysis ID), obtaining the ratio of "the number of data collection requests triggered by the functional network element - the number of data collection responses received by the functional network element" to "the number of data collection requests triggered by the functional network element" (expressed by C).
  • step 230 may include at least one of steps 231 to 232. in:
  • Step 231 determining a third difference value Temp, wherein the third difference value is a difference between the number of times recorded by the second sub-accumulating counter and the number of times recorded by the fourth sub-accumulating counter.
  • step 231 may include: determining a third difference value Temp according to formula (5).
  • Temp the number of requests for model training (per Model ID) - the number of responses for model training (per Model ID) (5)
  • Step 232 The ratio of the third difference value Temp to the number of times recorded by the second sub-accumulative counter is used as the third quality value C of the measurement data.
  • step 232 may include: determining the third quality value C according to formula (6).
  • Step 240 when measuring the second number of requests and the second number of responses based on different data sources, determine a fourth quality value of the measured data according to the second number of requests and the second number of responses, wherein the fourth quality value is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source for training the model indicated by the target model identifier or the analysis identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element for training the model.
  • the fourth quality value is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source for training the model indicated by the target model identifier or the analysis identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element for training the model.
  • step 240 may include: based on different data sources, when the functional network element triggers data collection from multiple other data sources to train the model indicated by the target model ID (or analysis ID), respectively obtaining the ratio of "the number of data collection requests triggered by the functional network element for each target data source or each target data source - the number of data collection responses received by the functional network element from each target data source or each target data source” to "the number of data collection requests triggered by the functional network element for each target data source or each target data source” (represented by T1, T2, T3... respectively).
  • step 240 may include at least one of steps 241 to 242, wherein:
  • Step 241 determine a fourth difference value Temp i , wherein the fourth difference value is the difference between the second request number (the number of data collection requests for each target data source or each target data source triggered when the functional network element trains the model indicated by the target model identifier) and the second response number (the number of data collection responses received from each target data source or each target data source when the functional network element trains the model indicated by the target model identifier).
  • step 241 may include: determining a fourth difference value Temp i according to formula (7).
  • Temp i the number of requests to other dataSource i for model training (per Model ID) - the number of responses from other dataSource i for model training (per Model ID) (7)
  • step 242 may include: determining the fourth quality value Ti according to formula (8).
  • Step 250 when the functional network element triggers a request or subscription related to data collection to perform a data management task, determine the fifth quality value of the measured data according to the number of times recorded by the fifth sub-cumulative counter (the number of data collection requests triggered by the functional network element) and the number of times recorded by the sixth sub-cumulative counter (the number of data collection responses received by the functional network element), wherein the fifth quality value is used to indicate the missing state of data collected by the functional network element to perform the data management task indicated by the data management identifier, and is used to evaluate the performance of the data collection service triggered by the functional network element to perform the data management task.
  • the fifth sub-cumulative counter the number of data collection requests triggered by the functional network element
  • the sixth sub-cumulative counter the number of data collection responses received by the functional network element
  • step 250 may include at least one of steps 251 to 252, wherein:
  • Step 251 determining a fifth difference, wherein the fifth difference is a difference between the number of times recorded by the fifth sub-accumulating counter and the number of times recorded by the sixth sub-accumulating counter.
  • Step 252 taking the ratio of the fifth difference value to the number of times recorded by the fifth sub-accumulating counter as the fifth quality value of the measurement data.
  • Step 260 when measuring the third number of requests and the third number of responses based on different data sources, determine the sixth quality value of the measured data according to the third number of requests (the number of data collection requests for each target data source or each target data source triggered by the functional network element) and the third number of responses (the number of data collection responses received by the functional network element from each target data source or each target data source), wherein the sixth quality value is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source to perform the data management task indicated by the data management identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source triggered by the functional network element to perform the data management task.
  • the sixth quality value is used to indicate the missing state (data quality) of the data collected by the functional network element from each target data source or each target data source to perform the data management task indicated by the data management identifier, and is used to evaluate the performance of the data collection service for each target data source or each target data source
  • step 260 may include at least one of steps 261 to 262, wherein:
  • Step 261 determining a sixth difference, wherein the sixth difference is the third request number (the number of data collection requests for each target data source or each target data source triggered when the functional network element executes the data management task indicated by the target data management identifier) and the third response number (the number of data collection requests for each target data source or each target data source triggered when the functional network element executes the data management task indicated by the target data management identifier).
  • the sixth difference is the third request number (the number of data collection requests for each target data source or each target data source triggered when the functional network element executes the data management task indicated by the target data management identifier) and the third response number (the number of data collection requests for each target data source or each target data source triggered when the functional network element executes the data management task indicated by the target data management identifier).
  • Step 222 Use the ratio of the sixth difference value to the third request number as the sixth quality value of the measurement data.
  • Step 400 Evaluate the data collection performance of the functional network element according to the quality value of the collected data.
  • the above-mentioned embodiments of the present disclosure propose a method for quantifying and evaluating the quality of data collected by network elements used to implement network data analysis functions, which can be used to understand the data collection performance of network elements used to implement network data analysis functions and provide necessary reference for service optimization of network elements used to implement network data analysis functions.
  • FIG5 is a schematic diagram of other embodiments of the data collection performance evaluation method of the present disclosure.
  • the present embodiment can be performed by the data collection performance evaluation system of the present disclosure or the data collection performance evaluation device of the present disclosure.
  • Step 100 of the embodiment of FIG5 is the same as or similar to step 100 of the embodiment of FIG1.
  • step 500 of the embodiment of FIG1 may include at least one of steps 200 to 400 of the embodiment of FIG5, wherein:
  • Step 100 measuring measurement data of interaction when a functional network element performs data collection, wherein the functional network element is a network element for implementing a network data analysis function.
  • the functional network element may be a NWDAF network element.
  • Step 200 quantify the performance indicators of the functional network metadata collection.
  • the performance indicator may be a quality value of the measurement data described in the embodiment of FIG. 1 .
  • Step 300 Enhance the performance evaluation service-oriented architecture to support the quantification and evaluation of the functional network metadata collection performance.
  • the data collection performance evaluation device can provide management functions or services, and can quantify the quality of data collection of the network element used to realize the network data analysis function according to the method provided in the present disclosure, and evaluate the data collection performance of the network element used to realize the network data analysis function.
  • the present disclosure does not limit the deployment locations of the data collection performance evaluation device and the performance evaluation service consumer device.
  • the data collection performance evaluation device may be implemented as a performance evaluation service producer device.
  • the data collection performance evaluation device and the performance evaluation service consumer device may be arranged in the same network element or in different network elements.
  • step 300 may include at least one of step 310 and step 320, wherein:
  • Step 310 Service-oriented interface enhancement.
  • step 310 may include at least one of step 311 and step 312, wherein:
  • Step 311 The data collection performance evaluation device receives a subscription or request message, wherein the subscription or request message includes a performance evaluation instruction, and the performance evaluation instruction includes filtering information and subscription or request behavior.
  • step 311 may include: a data collection performance evaluation device receives a subscription or request message sent by a performance evaluation service consumer device, wherein the subscription or request message includes a performance evaluation instruction, and the performance evaluation instruction includes filtering information, and subscription or request behavior.
  • step 311 may include: subscribe/request: when the event (performance evaluation service) consumer device requests the event producer device to evaluate the metadata collection performance of the functional network, the performance evaluation service consumer device may also specify an instruction to instruct the data collection performance evaluation device on the required behavior when the data collection performance evaluation device evaluates the metadata collection performance of the functional network.
  • filter information includes at least one of an analysis identification list (Analytics ID list) and a model identification list (ML Model ID list), wherein the analysis identification list is used to support the data collection performance evaluation device to measure the quality of data collected by the functional network element to perform the analysis indicated by the target analysis identification, and the model identification list is used to support the data collection performance evaluation device to measure the quality of data collected by the functional network element to train the model indicated by the target model identification.
  • analysis identification list is used to support the data collection performance evaluation device to measure the quality of data collected by the functional network element to perform the analysis indicated by the target analysis identification
  • the model identification list is used to support the data collection performance evaluation device to measure the quality of data collected by the functional network element to train the model indicated by the target model identification.
  • the action of subscribing or requesting includes at least one of the following operations: measuring the quality of data collected by the functional network element for performing analysis; measuring the quality of data collected by the functional network element for training models; measuring the quality of data collected by the functional network element from the target data source for performing analysis; measuring the quality of data collected by the functional network element from the target data source for training models.
  • Step 312 the data collection performance evaluation device sends a notification or response message, wherein the notification or response message includes filtering information and a response to a subscription or request operation.
  • step 312 may include: the data collection performance evaluation device sends a notification or response message to the performance evaluation service consumer device, wherein the notification or response message includes filter information (Filter information), and a response to a subscription or request operation, wherein the filter information includes Analytics ID list and ML Model ID list for indicating measurement targets of data collection quality.
  • filter information includes Analytics ID list and ML Model ID list for indicating measurement targets of data collection quality.
  • step 312 may include: notify/response: the event producer evaluates the subscription or request from the event consumer and responds to the event consumer.
  • the event producer may accept or reject the subscription/request based on the content supported by the event producer.
  • the response to a subscription or request operation includes at least one of the following response operations: Item: Provide the quality of data collected by the functional network element for performing analysis; provide the quality of data collected by the functional network element for training models; provide the quality of data collected by the functional network element from the target data source for performing analysis; provide the quality of data collected by the functional network element from the target data source for training models.
  • FIG3 also shows a schematic diagram of the performance evaluation service in some embodiments of the present disclosure.
  • the performance evaluation service consumer device is NF_A
  • the data collection performance evaluation device is NF_B.
  • step 310 may include: the performance evaluation service consumer device sends a subscription message to the performance evaluation producer device, requesting the performance evaluation producer device to evaluate the functional network data collection performance; the data collection performance evaluation device evaluates the subscription from the performance evaluation service consumer, and returns a notification message to the performance evaluation service consumer.
  • FIG4 also shows a schematic diagram of the performance evaluation service in some other embodiments of the present disclosure.
  • the performance evaluation service consumer device is NF_A
  • the data collection performance evaluation device is NF_B.
  • step 310 may include: the performance evaluation service consumer device sends a request message to the performance evaluation producer device, requesting the performance evaluation producer device to evaluate the functional network data collection performance; the data collection performance evaluation device evaluates the request from the performance evaluation service consumer, and returns a response message to the performance evaluation service consumer.
  • Step 320 Service-oriented interface enhancement.
  • step 320 may include: evaluating the data collection performance of the network element used to implement the network data analysis function according to the performance evaluation instruction and the method described in any of the above embodiments.
  • step 320 may include: an action for data collection quality analysis: when the event producer receives a subscription/request instruction from the event consumer, the event producer determines a target for data collection quality analysis based on information contained in the instruction, and correspondingly performs at least one of the following actions, wherein:
  • the missing state (data quality) of the data collected by the network element for implementing the network data analysis function to perform the analysis indicated by the target analysis ID is measured.
  • the missing state (data quality) of the data collected from other target data sources by the network element for implementing the network data analysis function to perform the analysis indicated by the target analysis ID is measured.
  • the missing state (data quality) of the data collected by the network element for implementing the network data analysis function for the model indicated by the training target model ID (or analysis ID) is measured.
  • Step 400 based on the above performance indicators and service-oriented architecture, the performance related to network element data collection for realizing the network data analysis function is evaluated.
  • the above-mentioned embodiments of the present disclosure can obtain measurement data on the interaction of network elements used to implement the network data analysis function based on the service type and data source type, quantify the missing conditions (quality) of the data collected by the network elements used to implement the network data analysis function, and use it to evaluate the data collection performance of the network elements used to implement the network data analysis function.
  • the above-mentioned embodiment of the present disclosure proposes a method for quantifying and evaluating the quality of data collected by the network element for implementing the network data analysis function, which can quantify the quality of the data collected by the network element for implementing the network data analysis function, understand the data collection performance of the network element for implementing the network data analysis function, and provide necessary reference for service optimization of the network element for implementing the network data analysis function:
  • the above-mentioned embodiments of the present disclosure can obtain the interaction data of the network element used to implement the network data analysis function: according to the service type and the data source type, the corresponding interaction measurement data when the functional network element collects data from the target data source to execute the target type service is measured, including the number of requests/subscriptions, the number of responses/notifications, etc.
  • the above-mentioned embodiments of the present disclosure can quantify the quality of the data collected by the network element used to implement the network data analysis function: based on the above-mentioned measurement data, the missing status of the data collected by the functional network element from the target data source to perform the target type service is obtained, which is used to quantify the quality of the data collected by the functional network element and evaluate the performance of the functional network element data collection.
  • the above-mentioned embodiments of the present disclosure can enhance the service-oriented architecture: enhance the interface and content of the performance evaluation service to support the evaluation of the data collection performance of the network element used to implement the network data analysis function using the above-mentioned method.
  • the Aggregator NWDAF network element collects data (multiple data sources of the same type) from other NWDAF network elements to perform the analysis indicated by the target analysis ID.
  • the ratio of “the number of data collection requests triggered by the Aggregator NWDAF network element to each other NWDAF network element – the number of data collection responses received by the Aggregator NWDAF network element from each other NWDAF network element” to “the number of data collection requests triggered by the Aggregator NWDAF network element to each other NWDAF network element” is obtained respectively (represented by A1, A2, A3...respectively).
  • temp i the number of requests to other NWDAF i for analytics (per Analytics ID) - the number of responses from other NWDAF i for Analytics (per Analytics ID);
  • the present disclosure uses A1, A3, A3... to respectively represent the missing status (data quality) of the data collected by the Aggregator NWDAF network element from each other NWDAF network element in order to perform the analysis indicated by the target analysis ID, and evaluates the performance of the data collection service for each target NWDAF network element triggered by the NWDAF network element to perform the analysis; based on A1, A2, A3..., the quality of the data collected by the Aggregator from each data source can be judged, which can provide a reference for improving the service performance of the NWDAF network element, such as selecting a suitable data source to obtain data.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • the NWDAF network element collects data (multiple different types of data sources) from other NFs, NWDAF network elements, OAM, etc. to perform the analysis indicated by the target analysis ID.
  • the present disclosure can measure and evaluate the data collection performance of network elements used to implement network data analysis functions, and can quantify and evaluate the quality of data collected by network elements used to implement network data analysis functions.
  • FIG7 is a schematic diagram of some embodiments of the data collection performance evaluation device of the present disclosure.
  • the data collection performance evaluation device of the present disclosure may include a data measurement module 71 and a performance evaluation module 73, wherein:
  • the data measurement module 71 is configured to measure the measurement data of the interaction when the functional network element performs data collection, wherein the functional network element is a network element used to implement the network data analysis function.
  • the performance evaluation module 73 is configured to evaluate the data collection performance of the functional network element based on the measurement data.
  • the performance evaluation module 73 may be configured to determine a quality value of the collected data based on the measurement data; and evaluate the data collection performance of the functional network element based on the quality value of the collected data.
  • the data collection performance evaluation device is configured to execute operations to implement the method described in any of the above embodiments (eg, any of the embodiments of FIG. 1 to FIG. 5 ).
  • the above-mentioned embodiments of the present disclosure can measure the interactive data when the network element used to implement the network data analysis function collects data, quantify the quality of the data collected by the network element used to implement the network data analysis function from the target data source to perform the target type service, evaluate the data collection performance of the network element used to implement the network data analysis function, and provide a reference for the service optimization of the network element used to implement the network data analysis function.
  • FIG8 is a schematic diagram of the structure of some other embodiments of the data collection performance evaluation device of the present disclosure. As shown in FIG8 , the data collection performance evaluation device includes a memory 81 and a processor 82 .
  • the memory 81 is used to store instructions
  • the processor 82 is coupled to the memory 81
  • the processor 82 is configured to execute the data collection performance evaluation method described in the above embodiment (such as any embodiment of Figures 1 to 5) based on the instructions stored in the memory.
  • the data collection performance evaluation device further includes a communication interface 83 for information exchange with other devices.
  • the data collection performance evaluation device further includes a bus 84, through which the processor 82, the communication interface 83, and the memory 81 communicate with each other.
  • the memory 81 may include a high-speed RAM memory, and may also include a non-volatile memory, such as at least one disk memory.
  • the memory 81 may also be a memory array.
  • the memory 81 may also be divided into blocks, and the blocks may be combined into virtual volumes according to certain rules.
  • processor 82 may be a central processing unit (CPU), or may be an application specific integrated circuit (ASIC), or may be configured to implement one or more integrated circuits of the embodiments of the present disclosure.
  • CPU central processing unit
  • ASIC application specific integrated circuit
  • the above-mentioned embodiments of the present disclosure can measure the measurement data of the corresponding interaction when the network element for implementing the network data analysis function collects data from the target data source in order to execute the target type service according to the service type and the data source type.
  • the above-mentioned embodiments of the present disclosure can obtain the missing status of the data collected by the network element for implementing the network data analysis function from the target data source to perform the target type service based on the above-mentioned measurement numbers, so as to quantify the quality of the data collected by the network element for implementing the network data analysis function and evaluate the data collection performance of the network element for implementing the network data analysis function.
  • FIG6 is a schematic diagram of some embodiments of the data collection performance evaluation system of the present disclosure.
  • the data collection performance evaluation system of the present disclosure may include a data collection performance evaluation device 61 and a performance evaluation service consumer device 62, wherein:
  • the performance evaluation service consumer device 62 is configured to send a subscription or request message to the data collection performance evaluation device, wherein the subscription or request message includes a performance evaluation instruction, and the performance evaluation instruction includes filtering information and a subscription or request behavior;
  • the data collection performance evaluation device 61 is configured to evaluate the data collection performance of multiple network elements 60 for implementing the network data analysis function according to the performance evaluation instruction and the method described in any of the above embodiments (for example, any of the embodiments in Figures 1 to 5); and send a notification or response message to a performance evaluation service consumer device, wherein the notification or response message includes filtering information and a response to a subscription or request operation.
  • the present disclosure does not limit the deployment locations of the data collection performance evaluation device and the performance evaluation service consumer device.
  • the data collection performance evaluation device 61 may be implemented as a performance evaluation service producer device.
  • the data collection performance evaluation device 61 and the performance evaluation service consumer device 62 may be arranged in the same network element or in different network elements.
  • the data collection performance evaluation device 61 may be a data collection performance evaluation device as described in any of the above embodiments (eg, the embodiment of FIG. 7 or FIG. 8 ).
  • the disclosed embodiments enhance the performance evaluation service architecture to support the implementation of the above method and the evaluation of the data collection performance of the network element for implementing the network data analysis function.
  • a computer-readable storage medium stores computer instructions, and when the instructions are executed by a processor, the data collection performance evaluation method as described in any of the above embodiments (for example, any of the embodiments of Figures 1 to 5) is implemented.
  • the computer-readable storage medium may be a non-transitory computer-readable storage medium.
  • the disclosed embodiments provide a method for evaluating the performance of a network element for realizing a network data analysis function in data collection, including quantification, service-oriented architecture enhancement, service content enhancement, etc.
  • the disclosed embodiments can quantify the quality of data collected by the network element for realizing the network data analysis function according to the service type and data source, understand the data collection performance of the network element for realizing the network data analysis function, and optimize the network element for realizing the network data analysis function for managers.
  • the network data analysis function of the network element service provides the necessary reference.
  • the embodiments of the present disclosure may be provided as methods, devices, or computer program products. Therefore, the present disclosure may take the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the present disclosure may take the form of a computer program product implemented on one or more computer-usable non-transient storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program code.
  • a computer-usable non-transient storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory that can direct a computer or other programmable data processing device to work in a specific manner, so that the instructions stored in the computer-readable memory produce a manufactured product including an instruction device that implements the functions specified in one or more processes in the flowchart and/or one or more boxes in the block diagram.
  • These computer program instructions may also be loaded onto a computer or other programmable data processing device so that a series of operational steps are executed on the computer or other programmable device to produce a computer-implemented process, whereby the instructions executed on the computer or other programmable device provide steps for implementing the functions specified in one or more processes in the flowchart and/or one or more boxes in the block diagram.
  • the data collection performance evaluation device, performance evaluation service consumer device, data measurement module, quality value determination module and performance evaluation module described above can be implemented as a general-purpose processor, a programmable logic controller (PLC), a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware component or any appropriate combination thereof for performing the functions described in this application.
  • PLC programmable logic controller
  • DSP digital signal processor
  • ASIC application-specific integrated circuit
  • FPGA field programmable gate array
  • the steps of the above embodiments may be accomplished by hardware, or by programs to instruct the relevant hardware to accomplish the steps.
  • the programs may be stored in a non-transient computer.
  • the storage media mentioned above can be a read-only memory, a magnetic disk or an optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种数据收集性能评估方法、装置和系统、存储介质。该数据收集性能评估方法包括：测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；根据所述测量数据，评估所述功能网元的数据收集性能。

Description

数据收集性能评估方法、装置和系统、存储介质
相关申请的交叉引用
本申请是以CN申请号为CN202211309033.5，申请日为2022年10月25日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及无线通信领域，特别涉及一种数据收集性能评估方法、装置和系统、存储介质。
背景技术
NWDAF(Network Data Analytics Function，网络数据分析功能网元)是5GC(5G核心网)中的网元，支持从NFs(Network Function，网络功能网元)、AFs(Application Function，应用功能网元)以及OAM(Operations,Administration,Maintenance，操作维护管理网元)收集数据用于分析。
发明内容
根据本公开的一个方面，提供一种数据收集性能评估方法，包括：
测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
根据所述测量数据，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述根据所述测量数据，评估所述功能网元的数据收集性能包括：
根据所述测量数据确定收集到数据的质量值；
根据收集到数据的质量值，评估所述功能网元的数据收集性能。
根据所述测量数据确定收集到数据的质量值；
根据收集到数据的质量值，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类 型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
在本公开的一些实施例中，根据所述测量数据确定收集到数据的质量值包括：
根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
在本公开的一些实施例中，所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。
在本公开的一些实施例中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器；
测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数。
在本公开的一些实施例中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
在本公开的一些实施例中，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一子累计计数器记录的次数和第三子累计计数器记录的次数，确定所述测量数据的第一质量值，其中，所述第一质量值用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
在本公开的一些实施例中，所述根据所述功能网元触发的数据收集请求的次数和所述功能网元收到的数据收集响应的次数，确定所述测量数据的第一质量值包括：
确定第一差值，其中，第一差值为第一子累计计数器记录的次数和第三子累计计数器记录的次数的差值；
将第一差值和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值。
在本公开的一些实施例中，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第一请求次数和第一响应次数，确定所述测量数据的第二质量值，其中，所述第二质量值用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分 析标识所指示的模型所收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
在本公开的一些实施例中，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第五子累计计数器记录的次数和第六子累计计数器记录的次数，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
在本公开的一些实施例中，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，所述根据所述测量数据确定收集到数据的质量值包括：根据第三请求次数和第三响应次数，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，所述方法还包括：
接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
根据所述性能评估指令，按照如上述任一实施例所述的方法对所述功能网元的数据收集性能进行评估；
发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
在本公开的一些实施例中，过滤信息包括分析标识列表、模型标识列表和数据管理标识列表中的至少一项，其中，分析标识列表用于支持测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持测量所述功能网元为训练目 标模型标识所指示的模型而收集的数据的质量，数据管理标识列表用于支持测量所述功能网元为执行目标数据管理标识所指示的数据管理任务而收集的数据的质量。
在本公开的一些实施例中，订阅或请求的行为包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量；测量所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
在本公开的一些实施例中，对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行数据管理任务而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量；提供所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
根据本公开的另一方面，提供一种数据收集性能评估装置，包括：
数据测量模块，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
性能评估模块，被配置所述测量数据，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述数据收集性能评估装置被配置为执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种数据收集性能评估装置，包括：
存储器，被配置为存储指令；
处理器，被配置为执行所述指令，使得所述数据收集性能评估装置执行实现如上述任一实施例所述方法的操作。
根据本公开的另一方面，提供一种数据收集性能评估系统，包括如上述任一实施例所述的数据收集性能评估装置。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的方法。
根据本公开的另一方面，提供一种计算机程序，包括：指令，所述指令当由处理器执行时使所述处理器执行如上述任一实施例所述的方法。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开数据收集性能评估方法一些实施例的示意图。
图2为本公开一些实施例中用于实现网络数据分析功能的网元从任一5GC NF收集数据的示意图。
图3为本公开一些实施例中用于实现网络数据分析功能的网元“订阅-通知”服务的示意图。
图4为本公开一些实施例中用于实现网络数据分析功能的网元“请求-响应”服务的示意图。
图5为本公开数据收集性能评估方法另一些实施例的示意图。
图6为本公开数据收集性能评估系统一些实施例的示意图。
图7为本公开数据收集性能评估装置一些实施例的示意图。
图8为本公开数据收集性能评估装置另一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作 为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人通过研究发现：从运营商的角度来看，NWDAF网元作为一个提供网络数据分析功能的网络功能，数据收集的性能直接影响其分析性能，因此，如何监测NWDAF网元在数据收集方面的性能是一个关键问题。实际中，由于数据源或网络传输问题，NWDAF网元向其他NFs、AFs以及OAM请求数据时，部分数据可能会缺失(丢失或未被传输)。数据缺失的越多对NWDAF网元的分析性能影响越大，NWDAF网元在将这些收集到的数据用于分析任务之前，需要对这些数据进行预处理(数据清洗或数据增强)。
因此，本公开收集数据缺失的情况是评估NWDAF网元收集到的数据质量的重要指标。基于该性能指标，可以了解NWDAF网元数据收集的性能，为NWDAF服务的优化提供必要的参考。
鉴于以上技术问题中的至少一项，本公开提供了一种测量用于实现网络数据分析功能的网元的服务性能的方法、装置和系统，能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。下面通过具体实施例对本公开进行说明。
图1为本公开数据收集性能评估方法一些实施例的示意图。优选的，本实施例可由本公开数据收集性能评估系统或本公开数据收集性能评估装置执行。该方法包括步骤100和步骤500中的至少一个步骤，其中：
步骤100，测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
在本公开的一些实施例中，所述功能网元可以为NWDAF网元。
在本公开的一些实施例中，步骤100可以包括：根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
在本公开的一些实施例中，所述目标数据源类型包括NF(网络功能网元)、AFs(应用功能网元)和OAM(操作维护管理网元)，其中，NF可以为NWDAF网元。
在本公开的一些实施例中，所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应 和通知中至少一项。
图2为本公开一些实施例中用于实现网络数据分析功能的网元从任一5GC NF收集数据的示意图。所述用于实现网络数据分析功能的网元可以采用“订阅-通知”服务或“请求-响应”服务的方式从任一5GC NF收集数据，下面通过图3和图4进行说明，所述用于实现网络数据分析功能的网元可以为NWDAF网元。
图3为本公开一些实施例中用于实现网络数据分析功能的网元“订阅-通知”服务的示意图。如图3所示，NF_A为服务消费者Consumer，NF_A为用于实现网络数据分析功能的网元(例如可以为NWDAF网元。)，NF_A从NF_B(服务生产者Producer)收集数据。对于图3实施例，步骤100可以包括：测量所述用于实现网络数据分析功能的网元发出的订阅(Subscribe)次数和所述用于实现网络数据分析功能的网元收到的通知(Notify)次数。
图4为本公开一些实施例中用于实现网络数据分析功能的网元“请求-响应”服务的示意图。如图4所示，NF_A为服务消费者，NF_A为用于实现网络数据分析功能的网元，NF_A从NF_B(服务生产者)收集数据。对于图4实施例，步骤100可以包括：测量所述用于实现网络数据分析功能的网元发出的请求(Request)次数和所述用于实现网络数据分析功能的网元收到的响应(Response)次数。
在本公开的一些实施例中，步骤100可以包括步骤110和步骤120中的至少一个步骤，其中：
步骤110，测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发数据收集相关的请求或订阅的情况下，将第一累计计数器(CC)递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器。第一累计计数器的值即为所述功能网元触发的数据收集请求/订阅次数的测量值。
在本公开的一些实施例中，步骤110可以包括步骤111至步骤114中的至少一个步骤，其中：
步骤111，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识ID，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数，即the number of requests for analytics(per Analytics ID)。
步骤112，在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的 情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数，即the number of requests for model training(per Analytics/Model ID)。
步骤113，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数。
步骤114，基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源的数据收集请求的次数，即，the number of requests to other dataSource_i for analytics(per Analytics ID)，或第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每种目标数据源的数据收集请求的次数；第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源的数据收集请求的次数，即，the number of requests to other dataSource_i for model training(per Analytics/Model ID)，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每种目标数据源的数据收集请求的次数；第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
步骤120，测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器，第二累计计数器的值即为所述功能网元收到的数据收集响应/通知次数的测量值。
在本公开的一些实施例中，步骤120可以包括步骤121至步骤124中的至少一个步骤，其中：
步骤121，在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数(the number of responses for Analytics per Analytics ID)。
步骤122，在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数，即the number of responses for model training(per Analytics/Model ID)。
步骤123，在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数。
步骤124，基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源的数据收集响应的次数，即the number of responses from dataSource_i for analytics(per Analytics ID)，或第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每种目标数据源的数据收集响应的次数；第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源的数据收集响应的次数，即the number of responses from other dataSource_i for model training(per Analytics/Model ID)，或第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每种目标数据源的数据收集响应的次数；第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
步骤500，根据所述测量数据，评估所述功能网元的数据收集性能。
图5为本公开数据收集性能评估方法另一些实施例的示意图。优选的，本实施例可由本公开数据收集性能评估系统或本公数据收集性能评估装置执行。图5实施例的步骤100与图1实施例的步骤100相同或类似。在本公开一些实施例中，图1实施例的步骤500可以包括图5实施例的步骤200和步骤400中的至少一个步骤，其中：
步骤200，根据所述测量数据确定收集到数据的质量值。
在本公开的一些实施例中，步骤200可以包括：根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
在本公开的一些实施例中，步骤200可以包括步骤210至步骤260中的至少一个步骤， 其中：
步骤210，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，根据第一子累计计数器记录的次数(所述功能网元触发的数据收集请求的次数)和第三子累计计数器记录的次数(所述功能网元收到的数据收集响应的次数)，确定所述测量数据的第一质量值A，其中，所述第一质量值A用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤210可以包括：当所述功能网元为执行目标分析ID所指示的分析而触发数据收集服务时，获取“所述功能网元触发的数据收集请求的次数-所述功能网元收到的数据收集响应的次数”与“所述功能网元触发的数据收集请求的次数”的比值作为第一质量值A。
在本公开的一些实施例中，步骤210可以包括步骤211至步骤212中的至少一个步骤，其中：
步骤211，确定第一差值temp，其中，第一差值为第一子累计计数器记录的次数、和第三子累计计数器记录的次数的差值。
在本公开的一些实施例中，步骤211可以包括：根据公式(1)确定第一差值temp。
temp＝the number of requests for analytics(per Analytics ID)-
the number of responses for Analytics(per Analytics ID)    (1)
步骤212，将第一差值temp和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值A。
在本公开的一些实施例中，步骤212可以包括：根据公式(2)确定第一质量值A。
步骤220，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，根据第一请求次数(所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第一响应次数(所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)，确定所述测量数据的第二质量值Ai，其中，所述第二质量值Ai用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤220可以包括：基于不同的数据源，若所述功能网元 为执行目标分析ID所指示的分析而从其他多个数据源收集数据，分别获取“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数–所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数”与“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数”的比值(分别用A1,A2,A3…表示)。
在本公开的一些实施例中，步骤220可以包括步骤221至步骤222中的至少一个步骤，其中：
步骤221，确定第二差值tempi，其中，第二差值为第一请求次数(所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第一响应次数(所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
在本公开的一些实施例中，步骤221可以包括：根据公式(3)确定第二差值tempi。
tempi＝
the number of requests to other dataSourcei for analytics(per Analytics ID)-the number of responses from other dataSourcei for Analytics(per Analytics ID)            (3)步骤222，将第二差值tempi和第一请求次数的比值，作为所述测量数据的第二质量值Ai。
在本公开的一些实施例中，步骤222可以包括：根据公式(4)确定第二质量值Ai。
步骤230，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值C，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤230可以包括：当所述功能网元为训练目标模型ID(或分析ID)所指示的模型而触发数据收集服务时，获取“所述功能网元触发的数据收集请求的次数-所述功能网元收到的数据收集响应的次数”与“所述功能网元触发的数据收集请求的次数”的比值(用C表示)。
在本公开的一些实施例中，步骤230可以包括步骤231至步骤232中的至少一个步骤， 其中：
步骤231，确定第三差值Temp，其中，第三差值为第二子累计计数器记录的次数和第四子累计计数器记录的次数的差值。
在本公开的一些实施例中，步骤231可以包括：根据公式(5)确定第三差值Temp。
Temp＝the number of requests for model training(per Model ID)-
the number of responses for model training(per Model ID)    (5)
步骤232，将第三差值Temp和第二子累计计数器记录的次数的比值，作为所述测量数据的第三质量值C。
在本公开的一些实施例中，步骤232可以包括：根据公式(6)确定第三质量值C。
步骤240，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤240可以包括：基于不同的数据源，当所述功能网元为训练目标模型ID(或分析ID)所指示的模型而触发从其他多个数据源收集数据时，分别获取“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数–所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数”与“所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数”的比值(分别用T1,T2,T3…表示)。
在本公开的一些实施例中，步骤240可以包括步骤241至步骤242中的至少一个步骤，其中：
步骤241，确定第四差值Tempi，其中，第四差值为第二请求次数(所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和和第二响应次数(所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
在本公开的一些实施例中，步骤241可以包括：根据公式(7)确定第四差值Tempi。
Tempi＝
the number of requests to other dataSourcei for model training(per Model ID)- the number of responses from other dataSourcei for model training(per Model ID)          (7)步骤242，将第四差值tempi和第一请求次数的比值，作为所述测量数据的第四质量值Ti。
在本公开的一些实施例中，步骤242可以包括：根据公式(8)确定第四质量值Ti。
步骤250，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，根据第五子累计计数器记录的次数(所述功能网元触发的数据收集请求的次数)和第六子累计计数器记录的次数(所述功能网元收到的数据收集响应的次数)，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
在本公开的一些实施例中，步骤250可以包括步骤251至步骤252中的至少一个步骤，其中：
步骤251，确定第五差值，其中，第五差值为第五子累计计数器记录的次数、和第六子累计计数器记录的次数的差值。
步骤252，将第五差值和第五子累计计数器记录的次数的比值，作为所述测量数据的第五质量值。
步骤260，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，根据第三请求次数(所述功能网元触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第三响应次数(所述功能网元收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况(数据质量)，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
在本公开的一些实施例中，步骤260可以包括步骤261至步骤262中的至少一个步骤，其中：
步骤261，确定第六差值，其中，第六差值为第三请求次数(所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数)和第三响应次数(所述功能网元为执行目标数据管理标识所指 示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数)的差值。
步骤222，将第六差值和第三请求次数的比值，作为所述测量数据的第六质量值。
步骤400，根据收集到数据的质量值，评估所述功能网元的数据收集性能。
为了能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，本公开上述实施例提出了一种量化和评估用于实现网络数据分析功能的网元的收集到的数据质量的方法，可以了解用于实现网络数据分析功能的网元的数据收集性能，为用于实现网络数据分析功能的网元的服务优化提供了必要的参考。
图5为本公开数据收集性能评估方法另一些实施例的示意图。优选的，本实施例可由本公开数据收集性能评估系统或本公数据收集性能评估装置执行。图5实施例的步骤100与图1实施例的步骤100相同或类似。在本公开一些实施例中，图1实施例的步骤500可以包括图5实施例的步骤200至步骤400中的至少一个步骤，，其中：
步骤100，测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
在本公开的一些实施例中，所述功能网元可以为NWDAF网元。
步骤200，量化所述功能网元数据收集的性能指标。
在本公开的一些实施例中，所述性能指标可以为图1实施例中述测量数据的质量值。
步骤300，增强性能评估服务化架构，支持所述功能网元数据收集性能的量化和评估。
为了实现所述功能网元数据收集质量(性能)评估，需要增强服务化架构(如图6所示)，其中，数据收集性能评估装置可以提供管理功能或服务，可以根据本公开提供的方法，量化所述用于实现网络数据分析功能的网元的数据收集的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能。
本公开对数据收集性能评估装置和性能评估服务消费者装置的部署位置不做限定。
在本公开的一些实施例中，数据收集性能评估装置可以实现为性能评估服务生产者装置。
在本公开的一些实施例中，数据收集性能评估装置和性能评估服务消费者装置可以设置在同一个网元，也可以分别设置在不同的网元。
在本公开的一些实施例中，步骤300可以包括步骤310和步骤320中的至少一个步骤，其中：
步骤310，服务化接口增强。
在本公开的一些实施例中，步骤310可以包括步骤311和步骤312中的至少一个步骤，其中：
步骤311，数据收集性能评估装置接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为。
在本公开的一些实施例中，步骤311可以包括：数据收集性能评估装置接收性能评估服务消费者装置发送的订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为。
在本公开的一些实施例中，步骤311可以包括：订阅/请求(subscribe/request)：当事件(性能评估服务)消费者装置请求事件生产者装置评估所述功能网元数据收集性能时，性能评估服务消费者装置还可以指定一条指令，用于向数据收集性能评估装置指示在数据收集性能评估装置评估所述功能网元数据收集性能时所需的行为。
在本公开的一些实施例中，过滤信息(Filter information)包括分析标识列表(Analytics ID list)和模型标识列表(ML Model ID list)中的至少一项，其中，分析标识列表用于支持数据收集性能评估装置测量所述功能网元为执行目标分析标识所指示的分析而收集的数据的质量，模型标识列表用于支持数据收集性能评估装置测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量。
在本公开的一些实施例中，订阅或请求的行为(action)包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量。
步骤312，数据收集性能评估装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
在本公开的一些实施例中，步骤312可以包括：数据收集性能评估装置向性能评估服务消费者装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息(Filter information)、和对订阅或请求操作的响应，其中，过滤信息包括Analytics ID list、ML Model ID list用于指示数据收集质量的测量目标。
在本公开的一些实施例中，步骤312可以包括：通知/响应(notify/response)：事件生产者评估来自事件消费者的订阅或请求，并响应事件消费者。例如，根据事件生产者支持的内容，事件生产者可以接受或拒绝订阅/请求。
在本公开的一些实施例中，对订阅或请求操作的响应包括以下响应操作中的至少一 项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量。
图3还给出了本公开一些实施例中性能评估服务的示意图。如图3所示，性能评估服务消费者装置为NF_A，数据收集性能评估装置为NF_B。对于图3实施例，步骤310可以包括：性能评估服务消费者装置向性能评估生产者装置发送订阅(subscribe)消息，请求性能评估生产者装置评估所述功能网元数据收集性能；数据收集性能评估装置评估来自性能评估服务消费者的订阅，向性能评估服务消费者返回通知(notify)消息。
图4还给出了本公开另一些实施例中性能评估服务的示意图。如图4所示，性能评估服务消费者装置为NF_A，数据收集性能评估装置为NF_B。对于图4实施例，步骤310可以包括：性能评估服务消费者装置向性能评估生产者装置发送请求(Request)消息，请求性能评估生产者装置评估所述功能网元数据收集性能；数据收集性能评估装置评估来自性能评估服务消费者的请求(Request)，向性能评估服务消费者返回响应(Response)消息。
步骤320，服务化接口增强。
在本公开的一些实施例中，步骤320可以包括：根据所述性能评估指令，按照如上述任一实施例所述的方法对所述用于实现网络数据分析功能的网元的数据收集性能进行评估。
在本公开的一些实施例中，步骤320可以包括：对数据收集质量分析的action：当事件生产者收到事件消费者的订阅/请求指令时，事件生产者基于指令中包含的信息，确定对数据收集质量分析的目标，对应地执行以下几种行为(action)中的至少一种，其中：
第一、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为执行目标分析ID所指示的分析所收集到的数据的缺失情况(数据质量)。
第二、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)。
第三、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为训练目标模型ID(或分析ID)所指示的模型所收集到的数据的缺失情况(数据质量)。
第四、基于本公开上述测量方法，测量所述用于实现网络数据分析功能的网元为训练目标模型ID(或分析ID)所指示的模型而从其他每个数据源收集到的数据的缺失情况(数据质量)。
步骤400，基于上述性能指标和服务化架构评估所述用于实现网络数据分析功能的网元数据收集相关的性能。
本公开上述实施例可以基于服务类型和数据源类型，获取用于实现网络数据分析功能的网元交互方面的测量数据、量化所述用于实现网络数据分析功能的网元收集到的数据的缺失情况(质量)并用于评估所述用于实现网络数据分析功能的网元的数据收集性能。
本公开上述实施例为了能够测量和评估所述用于实现网络数据分析功能的网元的数据收集性能，提出了一种量化和评估所述用于实现网络数据分析功能的网元收集到的数据质量的方法，可以量化所述用于实现网络数据分析功能的网元收集到的数据的质量，可以了解所述用于实现网络数据分析功能的网元的数据收集性能，为所述用于实现网络数据分析功能的网元的服务优化提供了必要的参考：
第1、本公开上述实施例可以获取所述用于实现网络数据分析功能的网元的交互方面数据：根据服务类型和数据源类型，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，包括请求/订阅次数、响应/通知次数等。
第2、本公开上述实施例可以量化所述用于实现网络数据分析功能的网元收集到的数据的质量：基于上述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，用于量化所述功能网元收集到的数据的质量，评估所述功能网元数据收集的性能。
第3、本公开上述实施例可以增强服务化架构：增强性能评估服务的接口和内容，用于支持用上述方法实现所述用于实现网络数据分析功能的网元的数据收集性能的评估。
下面通过具体实施例对本公开数据收集性能评估方法进行说明。
实施例一
基于不同的数据源，测量NWDAF网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向目标数据源的数据收集服务的性能：
Aggregator(聚合器)NWDAF网元为执行目标分析ID所指示的分析，从其他NWDAF网元s收集数据(多个同类型数据源)。
测量Aggregator NWDAF网元为执行目标分析ID所指示的分析时所触发的面向其他每个NWDAF网元的数据收集请求的次数the number of requests to other NWDAF网元_i for analytics(per Analytics ID)。
测量NWDAF网元为执行目标分析ID所指示的分析时所收到的来自其他每个数据源的数据收集响应的次数the number of responses from other NWDAF网元_i for analytics(per Analytics ID)。
分别获取“Aggregator NWDAF网元触发的面向其他每个NWDAF网元的数据收集请求的次数–Aggregator NWDAF网元收到的来自其他每个NWDAF网元的数据收集响应的次数”与“Aggregator NWDAF网元触发的面向其他每个NWDAF网元的数据收集请求的次数”的比值(分别用A1,A2,A3…表示)。
tempi＝
the number of requests to other NWDAFi for analytics(per Analytics ID)-the number of responses from other NWDAFi for Analytics(per Analytics ID)；
上述公式中，i＝1,2,3…。
本公开用A1,A3,A3…分别表示Aggregator NWDAF网元为执行目标分析ID所指示的分析而从其他每个NWDAF网元收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向每个目标NWDAF网元的数据收集服务的性能；基于A1,A2,A3…可以判断Aggregator从各个数据源收集到的数据的质量，可以为提高NWDAF网元的服务性能提供参考，比如选择合适的数据源获取数据。
实施例二：
基于不同的数据源，测量NWDAF网元为执行目标分析ID所指示的分析而从其他目标数据源收集到的数据的缺失情况(数据质量)，评估NWDAF网元为执行所述分析而触发的面向目标数据源的数据收集服务的性能：
NWDAF网元为执行目标分析ID所指示的分析，从其他NF,NWDAF网元,OAM等收集数据(多个不同类型数据源)。
本公开能够测量和评估用于实现网络数据分析功能的网元的数据收集性能，可以量化和评估用于实现网络数据分析功能的网元收集到的数据质量。
图7为本公开数据收集性能评估装置一些实施例的示意图。如图7所示，本公开数据收集性能评估装置可以包括数据测量模块71和性能评估模块73，其中：
数据测量模块71，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元。
性能评估模块73，被配置为根据所述测量数据，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，性能评估模块73，可以被配置为根据所述测量数据确定收集到数据的质量值；根据收集到数据的质量值，评估所述功能网元的数据收集性能。
在本公开的一些实施例中，所述数据收集性能评估装置被配置为执行实现如上述任一实施例(例如图1-图5任一实施例)所述方法的操作。
本公开上述实施例可以测量用于实现网络数据分析功能的网元收集数据时交互方面的数据，量化所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集到的数据的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能，为用于实现网络数据分析功能的网元的服务优化提供参考。
图8为本公开数据收集性能评估装置另一些实施例的结构示意图。如图8所示，数据收集性能评估装置包括存储器81和处理器82。
存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器存储的指令执行实现上述实施例(例如图1-图5任一实施例)所述的数据收集性能评估方法。
如图7所示，该数据收集性能评估装置还包括通信接口83，用于与其它设备进行信息交互。同时，该数据收集性能评估装置还包括总线84，处理器82、通信接口83、以及存储器81通过总线84完成相互间的通信。
存储器81可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器82可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开上述实施例可以根据服务类型和数据源类型，测量所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据。
本公开上述实施例可以基于上述测量数，获取所述用于实现网络数据分析功能的网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，用于量化所述用于实现网络数据分析功能的网元收集到的数据的质量，评估所述用于实现网络数据分析功能的网元的数据收集性能。
图6为本公开数据收集性能评估系统一些实施例的示意图。如图6所示，本公开数据收集性能评估系统可以包括数据收集性能评估装置61和性能评估服务消费者装置62，其中：
性能评估服务消费者装置62，被配置为向数据收集性能评估装置发送订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
数据收集性能评估装置61，被配置为根据所述性能评估指令，按照如上述任一实施例(例如图1-图5任一实施例)所述的方法对多个用于实现网络数据分析功能的网元60的数据收集性能进行评估；向性能评估服务消费者装置发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
本公开对数据收集性能评估装置和性能评估服务消费者装置的部署位置不做限定。
在本公开的一些实施例中，数据收集性能评估装置61可以实现为性能评估服务生产者装置。
在本公开的一些实施例中，数据收集性能评估装置61和性能评估服务消费者装置62可以设置在同一个网元，也可以分别设置在不同的网元。
在本公开的一些实施例中，数据收集性能评估装置61可以为如上述任一实施例(例如图7或图8实施例)所述的数据收集性能评估装置。
本公开实施例增强了性能评估服务化架构，用于支持上述方法的实现和所述用于实现网络数据分析功能的网元的数据收集性能的评估。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1-图5任一实施例)所述的数据收集性能评估方法。
在本公开的一些实施例中，所述计算机可读存储介质可以为非瞬时性计算机可读存储介质。
本公开实施例提供了一种评估用于实现网络数据分析功能的网元在数据收集方面性能的方法，包括量化方面、服务化架构增强方面、服务内容增强方面等，本公开实施例可以根据服务类型和数据源，量化用于实现网络数据分析功能的网元收集到的数据的质量，了解所述用于实现网络数据分析功能的网元的数据收集性能，为管理者优化所述用于实现 网络数据分析功能的网元的服务提供了必要的参考。
本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在上面所描述的数据收集性能评估装置、性能评估服务消费者装、数据测量模块、质量值确定模块和性能评估模块可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种非瞬时性计算机 可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (23)

  1. 一种数据收集性能评估方法，包括：
    测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
    根据所述测量数据，评估所述功能网元的数据收集性能。
  2. 根据权利要求1所述的方法，其中，所述根据所述测量数据，评估所述功能网元的数据收集性能包括：
    根据所述测量数据确定收集到数据的质量值；
    根据收集到数据的质量值，评估所述功能网元的数据收集性能。
  3. 根据权利要求1或2所述的方法，其中，所述测量所述功能网元执行数据收集时交互方面的测量数据包括：
    根据目标服务类型、目标数据源类型和目标数据源，测量所述功能网元为执行目标类型服务而从目标数据源收集数据时对应的交互方面的测量数据，其中，所述目标服务类型包括分析服务、模型训练服务和数据管理服务中的至少一种服务。
  4. 根据权利要求2或3所述的方法，其中，根据所述测量数据确定收集到数据的质量值包括：
    根据所述测量数据，获取所述功能网元为执行目标类型服务而从目标数据源收集到的数据的缺失情况，其中，所述缺失情况用于量化所述功能网元收集到的数据的质量。
  5. 根据权利要求2或3所述的方法，其中：
    所述测量数据包括所述功能网元发出的请求次数和所述功能网元收到的响应次数，其中，请求方式包括请求和订阅中至少一项，响应方式包括响应和通知中至少一项。
  6. 根据权利要求5所述的方法，其中，所述测量网络数据分析功能所述功能网元执行数据收集时交互方面的测量数据包括：
    测量所述功能网元向目标数据源发送的数据收集请求的次数，在所述功能网元触发 数据收集相关的请求或订阅的情况下，将第一累计计数器递增1，其中，第一累计计数器为与所述功能网元触发的数据收集请求或订阅数量相关的累计计数器；
    测量所述功能网元从目标数据源收到的数据收集响应的次数，在所述功能网元收到数据收集相关的响应或通知的情况下，将第二累计计数器递增1，其中，第二累计计数器为与所述功能网元收到的数据收集响应或通知数量相关的累计计数器。
  7. 根据权利要求6所述的方法，其中，所述测量所述功能网元向目标数据源发送的数据收集请求的次数包括：
    在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，基于不同分析标识，该第一累计计数器包括第一子累计计数器，其中，第一子累计计数器为与分析标识相关的子累计计数器，第一子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所触发的数据收集请求的次数；
    和/或，
    在所述功能网元为执行模型训练任务而触发数据收集相关的请求或订阅的情况下，基于不同模型标识或分析标识，该第一累计计数器包括第二子累计计数器，第二子累计计数器为与模型标识或分析标识相关的子累计计数器，第二子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所触发的数据收集请求的次数；
    和/或，
    在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，基于不同数据管理标识，该第一累计计数器包括第五子累计计数器，第五子累计计数器为与数据管理标识相关的子累计计数器，第五子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所触发的数据收集请求的次数；
    和/或，
    基于不同数据源，测量第一请求次数、第二请求次数和第三请求次数中的至少一项，其中，第一请求次数为所述功能网元为执行目标分析标识所指示的分析时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第二请求次数为所述功能网元训练目标模型标识所指示的模型时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数，第三请求次数为执行目标数据管理标识所指示的数据管理任务时所触发的面向每个目标数据源或每种目标数据源的数据收集请求的次数。
  8. 根据权利要求7所述的方法，其中，所述测量所述功能网元从目标数据源收到的数据收集响应的次数包括：
    在所述功能网元从目标数据源收集数据用于分析的情况下，基于不同分析标识，该第二累计计数器包括第三子累计计数器，其中，第三子累计计数器为与分析标识相关的子累计计数器，第三子累计计数器用于测量所述功能网元为执行目标分析标识所指示的分析时所收到的数据收集响应的次数；
    和/或，
    在所述功能网元从目标数据源收集数据用于模型训练的情况下，基于不同模型标识或分析标识，该第二累计计数器包括第四子累计计数器，第四子累计计数器为与模型标识或分析标识相关的子累计计数器，第四子累计计数器用于测量所述功能网元为训练目标模型标识所指示的模型时所收到的数据收集响应的次数；
    和/或，
    在所述功能网元从目标数据源收集数据用于数据管理的情况下，基于不同数据管理标识，该第二累计计数器包括第六子累计计数器，其中，第六子累计计数器为与数据管理标识相关的子累计计数器，第六子累计计数器用于测量所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的数据收集响应的次数；
    和/或，
    基于不同数据源，测量第一响应次数、第二响应次数和第三响应次数中的至少一项，其中，第一响应次数为所述功能网元为执行目标分析标识所指示的分析时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第二响应次数为所述功能网元训练目标模型标识所指示的模型时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数，第三响应次数为所述功能网元为执行目标数据管理标识所指示的数据管理任务时所收到的来自每个目标数据源或每种目标数据源的数据收集响应的次数。
  9. 根据权利要求8所述的方法，其中，在所述功能网元为执行分析任务而触发数据收集相关的请求或订阅的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第一子累计计数器记录的次数和第三子累计计数器记录的次数，确定所述测量数据的第一质量值，其中，所述第一质量值用于表示所述功能网元为执行目标分析标识所指示的分析所收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的数据收集服务的性能。
  10. 根据权利要求9所述的方法，其中，所述根据所述功能网元触发的数据收集请求的次数和所述功能网元收到的数据收集响应的次数，确定所述测量数据的第一质量值包括：
    确定第一差值，其中，第一差值为第一子累计计数器记录的次数和第三子累计计数器记录的次数的差值；
    将第一差值和第一子累计计数器记录的次数的比值，作为所述测量数据的第一质量值。
  11. 根据权利要求8所述的方法，其中，在基于不同数据源，测量第一请求次数和第一响应次数的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第一请求次数和第一响应次数，确定所述测量数据的第二质量值，其中，所述第二质量值用于表示所述功能网元为执行目标分析标识所指示的分析而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述分析而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
  12. 根据权利要求8所述的方法，其中，在所述功能网元为训练目标模型标识或分析标识所指示的模型而触发数据收集服务的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第二子累计计数器记录的次数和第四子累计计数器记录的次数，确定所述测量数据的第三质量值，其中，所述第三质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型所收集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的数据收集服务的性能。
  13. 根据权利要求8所述的方法，其中，在基于不同数据源，测量第二请求次数和第二响应次数的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第二请求次数和第二响应次数，确定所述测量数据的第四质量值，其中，所述第四质量值用于表示所述功能网元为训练目标模型标识或分析标识所指示的模型而从每个目标数据源或每种目标数据源收 集到的数据的缺失情况，用于评估所述功能网元为训练所述模型而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
  14. 根据权利要求8所述的方法，其中，在所述功能网元为执行数据管理任务而触发数据收集相关的请求或订阅的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第五子累计计数器记录的次数和第六子累计计数器记录的次数，确定所述测量数据的第五质量值，其中，所述第五质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务所收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的数据收集服务的性能。
  15. 根据权利要求8所述的方法，其中，在基于不同数据源，测量第三请求次数和第三响应次数的情况下，
    所述根据所述测量数据确定收集到数据的质量值包括：根据第三请求次数和第三响应次数，确定所述测量数据的第六质量值，其中，所述第六质量值用于表示所述功能网元为执行数据管理标识所指示的数据管理任务而从每个目标数据源或每种目标数据源收集到的数据的缺失情况，用于评估所述功能网元为执行所述数据管理任务而触发的面向每个目标数据源或每种目标数据源的数据收集服务的性能。
  16. 根据权利要求1-3中的任一项所述的方法，还包括：
    接收订阅或请求消息，其中，所述订阅或请求消息包括性能评估指令，所述性能评估指令包括过滤信息、和订阅或请求的行为；
    根据所述性能评估指令，按照如权利要求1-15中任一项所述的方法对所述功能网元的数据收集性能进行评估；
    发送通知或响应消息，其中，所述通知或响应消息包括过滤信息、和对订阅或请求操作的响应。
  17. 根据权利要求16所述的方法，其中：
    过滤信息包括分析标识列表、模型标识列表和数据管理标识列表中的至少一项，其中，分析标识列表用于支持测量所述功能网元为执行目标分析标识所指示的分析而收集的 数据的质量，模型标识列表用于支持测量所述功能网元为训练目标模型标识所指示的模型而收集的数据的质量，数据管理标识列表用于支持测量所述功能网元为执行目标数据管理标识所指示的数据管理任务而收集的数据的质量；
    和/或，
    订阅或请求的行为包括以下操作中的至少一项：测量所述功能网元为执行分析而收集的数据的质量；测量所述功能网元为训练模型而收集的数据的质量；测量所述功能网元为执行数据管理任务而收集的数据的质量；测量所述功能网元为执行分析而从目标数据源收集的数据的质量；测量所述功能网元为训练模型而从目标数据源收集的数据的质量；测量所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量；
    和/或，
    对订阅或请求操作的响应包括以下响应操作中的至少一项：提供所述功能网元为执行分析而收集的数据的质量；提供所述功能网元为训练模型而收集的数据的质量；提供所述功能网元为执行数据管理任务而收集的数据的质量；提供所述功能网元为执行分析而从目标数据源收集的数据的质量；提供所述功能网元为训练模型而从目标数据源收集的数据的质量；提供所述功能网元为执行数据管理任务而从目标数据源收集的数据的质量。
  18. 一种数据收集性能评估装置，包括：
    数据测量模块，被配置为测量功能网元执行数据收集时交互方面的测量数据，其中，所述功能网元为用于实现网络数据分析功能的网元；
    性能评估模块，被配置所述测量数据，评估所述功能网元的数据收集性能。
  19. 根据权利要求18所述的数据收集性能评估装置，其中，所述数据收集性能评估装置被配置为执行实现如权利要求2-17中任一项所述方法的操作。
  20. 一种数据收集性能评估装置，包括：
    存储器，被配置为存储指令；
    处理器，被配置为执行所述指令，使得所述数据收集性能评估装置执行实现如权利要求1-17中任一项所述方法的操作。
  21. 一种数据收集性能评估系统，包括如如权利要求18-20中任一项所述的数据收集 性能评估装置。
  22. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-17中任一项所述的方法。
  23. 一种计算机程序，包括：
    指令，所述指令当由处理器执行时使所述处理器执行如权利要求1-17中任一项所述的方法。
PCT/CN2023/118862 2022-10-25 2023-09-14 数据收集性能评估方法、装置和系统、存储介质 WO2024087928A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211309033.5A CN116437379A (zh) 2022-10-25 2022-10-25 数据收集性能评估方法、装置和系统、存储介质
CN202211309033.5 2022-10-25

Publications (1)

Publication Number Publication Date
WO2024087928A1 true WO2024087928A1 (zh) 2024-05-02

Family

ID=87091302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/118862 WO2024087928A1 (zh) 2022-10-25 2023-09-14 数据收集性能评估方法、装置和系统、存储介质

Country Status (2)

Country Link
CN (1) CN116437379A (zh)
WO (1) WO2024087928A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116437379A (zh) * 2022-10-25 2023-07-14 中国电信股份有限公司 数据收集性能评估方法、装置和系统、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769455A (zh) * 2018-07-26 2020-02-07 华为技术有限公司 一种数据收集方法、设备及系统
CN113709792A (zh) * 2020-05-22 2021-11-26 大唐移动通信设备有限公司 数据分析处理方法、装置、网络数据分析功能及介质
CN114302429A (zh) * 2021-12-27 2022-04-08 中国联合网络通信集团有限公司 Nwdaf网元的确定方法、装置、设备及存储介质
US20220138698A1 (en) * 2020-10-29 2022-05-05 Accenture Global Solutions Limited Utilizing machine learning models for making predictions
CN115022176A (zh) * 2019-11-06 2022-09-06 腾讯科技（深圳）有限公司 Nwdaf网元的选择方法、装置、电子设备及可读存储介质
CN116437379A (zh) * 2022-10-25 2023-07-14 中国电信股份有限公司 数据收集性能评估方法、装置和系统、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769455A (zh) * 2018-07-26 2020-02-07 华为技术有限公司 一种数据收集方法、设备及系统
CN115022176A (zh) * 2019-11-06 2022-09-06 腾讯科技（深圳）有限公司 Nwdaf网元的选择方法、装置、电子设备及可读存储介质
CN113709792A (zh) * 2020-05-22 2021-11-26 大唐移动通信设备有限公司 数据分析处理方法、装置、网络数据分析功能及介质
US20220138698A1 (en) * 2020-10-29 2022-05-05 Accenture Global Solutions Limited Utilizing machine learning models for making predictions
CN114302429A (zh) * 2021-12-27 2022-04-08 中国联合网络通信集团有限公司 Nwdaf网元的确定方法、装置、设备及存储介质
CN116437379A (zh) * 2022-10-25 2023-07-14 中国电信股份有限公司 数据收集性能评估方法、装置和系统、存储介质

Also Published As

Publication number Publication date
CN116437379A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
AU2020276284B2 (en) Continuous data sensing of functional states of networked computing devices to determine efficiency metrics for servicing electronic messages asynchronously
WO2024087928A1 (zh) 数据收集性能评估方法、装置和系统、存储介质
CN109039819B (zh) 时延统计方法、装置、系统及存储介质
CN105917618B (zh) 数据转发监视系统、数据转发监视方法以及据点系统
CN109726074A (zh) 日志处理方法、装置、计算机设备和存储介质
EP3425524A1 (en) Cloud platform-based client application data calculation method and device
CN110232010A (zh) 一种告警方法、告警服务器及监控服务器
CN112311617A (zh) 一种配置化数据监控告警方法及系统
CN112636942B (zh) 业务主机节点的监测方法及装置
CN114785690B (zh) 基于服务网格的监控方法及相关设备
CN108228625B (zh) 一种推送消息处理方法及装置
CN110347568A (zh) 用户行为数据的处理方法和装置
JP2016062506A (ja) 監視システム、監視装置及び監視方法
JP5024453B2 (ja) 業務フロー分散処理システム及び方法
KR101908377B1 (ko) 계량데이터 관리 시스템 및 컴퓨터 판독가능 기록 매체
CN114124747B (zh) 一种流量压测系统
CN112052078A (zh) 一种耗时的确定方法和装置
WO2017133333A1 (zh) 网管性能数据的统计汇总方法及装置
CN117370053A (zh) 一种面向信息系统业务运行全景监测方法及系统
CN108629042A (zh) 大数据采集方法、装置及系统
CN114039878B (zh) 一种网络请求的处理方法、装置、电子设备及存储介质
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
CN115883639A (zh) 一种web实时消息推送方法及装置、设备、存储介质
JP6341212B2 (ja) 情報収集システム、サーバ装置、エッジ装置、制御方法、及びプログラム
CN110516456A (zh) 机床加工任务管理方法、装置、存储介质、及电子终端