WO2022188440A1 - 调整数据转发队列的方法、装置及计算机可读存储介质 - Google Patents

调整数据转发队列的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2022188440A1
WO2022188440A1 PCT/CN2021/128415 CN2021128415W WO2022188440A1 WO 2022188440 A1 WO2022188440 A1 WO 2022188440A1 CN 2021128415 W CN2021128415 W CN 2021128415W WO 2022188440 A1 WO2022188440 A1 WO 2022188440A1
Authority
WO
WIPO (PCT)
Prior art keywords
queue
data forwarding
forwarding queue
data
state parameter
Prior art date
Application number
PCT/CN2021/128415
Other languages
English (en)
French (fr)
Inventor
王江龙
雷波
何琪
解云鹏
Original Assignee
中国电信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国电信股份有限公司 filed Critical 中国电信股份有限公司
Publication of WO2022188440A1 publication Critical patent/WO2022188440A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/127—Avoiding congestion; Recovering from congestion by using congestion prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263—Rate modification at the source after receiving feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds

Definitions

  • the present disclosure relates to the field of computer technology, and in particular, to a method, an apparatus, and a non-transitory computer-readable storage medium for adjusting a data forwarding queue.
  • ECN Exlicit Congestion Notification
  • PFC Power Factor Correction
  • ECN is an end-to-end flow control technology based on data flow.
  • TCP Transmission Control Protocol
  • receiver and intermediate network equipment Through the cooperation of TCP (Transmission Control Protocol) sender, receiver and intermediate network equipment, it can sense the forwarding queue corresponding to each port in the intermediate network equipment. In case of congestion, it actively reduces the rate at which the TCP sender sends data to intermediate network devices, thereby avoiding network congestion and causing packet loss, and ensuring the lossless transmission of low-latency services.
  • TCP Transmission Control Protocol
  • One technical problem solved by the present disclosure is how to improve the operation and maintenance efficiency of the intermediate network device where the forwarding queue is located.
  • a method for adjusting a data forwarding queue including: inputting a state parameter of a data forwarding queue into a pre-trained machine learning model to obtain a queue control parameter of the data forwarding queue; wherein the state parameter includes data
  • the forwarding delay and queue depth of the forwarding queue, and the queue control parameters include active congestion notification watermark and data forwarding queue buffer; set the queue control parameters for the data forwarding queue to adjust the status parameters of the data forwarding queue; among them, if the queue depth does not exceed
  • the data forwarding queue informs the data sender to send data to the data forwarding queue at the first rate; when the queue depth exceeds the active congestion notification waterline, the data forwarding queue notifies the data sender to send data to the data forwarding queue at the second rate.
  • the rate sends data to the data forwarding queue; the second rate is greater than the first rate.
  • inputting the state parameters of the data forwarding queue into the pre-trained machine learning model includes: when the forwarding delay is greater than a first threshold or less than a second threshold, or, when the queue depth is greater than a third threshold or less than In the case of the fourth threshold, the state parameter is input into the pre-trained machine learning model, wherein the first threshold is greater than the second threshold, and the third threshold is greater than the fourth threshold.
  • inputting the state parameters of the data forwarding queue into a pre-trained machine learning model, and obtaining the queue control parameters of the data forwarding queue includes: inputting the state parameters of the data forwarding queue into a pre-trained first deep learning network to identify The service type of the state parameter; if the service type of the state parameter is an existing service, input the state parameter into the pre-trained second deep learning network to obtain the first queue control parameter of the data forwarding queue, and the first queue control parameter includes the first active
  • the congestion notification waterline and the first data forwarding queue are cached; if the service type of the status parameter is a new service, use the heuristic search algorithm to process the status parameter to obtain the second queue control parameter of the data forwarding queue, and the second queue control parameter includes The second active congestion notification watermark and the second data forwarding queue buffer.
  • the method further includes: using the historical state parameters of the data forwarding queue and the marked service type labels to train the first deep learning network, so that the first deep learning network can identify the service type of the state parameters, wherein , the business type label includes the existing business type label and the new business type label.
  • the first deep learning network is a convolutional neural network.
  • the method further includes: using the historical state parameters of the data forwarding queue and the empirical value of the queue control parameters to train the second deep learning network, so that the first deep learning network can output the first deep learning network according to the input state parameters.
  • a queue control parameter used to train the second deep learning network, so that the first deep learning network can output the first deep learning network according to the input state parameters.
  • the second deep learning network is a deep Q network.
  • an apparatus for adjusting a data forwarding queue comprising: a state parameter input module, configured to: input the state parameter of the data forwarding queue into a pre-trained machine learning model, and obtain the data forwarding queue Queue control parameters; wherein, the state parameters include the forwarding delay and queue depth of the data forwarding queue, and the queue control parameters include active congestion notification watermark and data forwarding queue buffer; the control parameter setting module is configured to: set a queue for the data forwarding queue Control parameters to adjust the state parameters of the data forwarding queue; wherein, when the queue depth does not exceed the active congestion notification waterline, the data forwarding queue notifies the data sender to send data to the data forwarding queue at the first rate; when the queue depth exceeds In the case of the active congestion notification waterline, the data forwarding queue notifies the data sender to send data to the data forwarding queue at a second rate; the second rate is greater than the first rate.
  • the state parameter input module is configured to: when the forwarding delay is greater than the first threshold or less than the second threshold, or when the queue depth is greater than the third threshold or less than the fourth threshold, the The state parameter is input to the pre-trained machine learning model, wherein the first threshold is greater than the second threshold, and the third threshold is greater than the fourth threshold.
  • the state parameter input module is configured to: input the state parameter of the data forwarding queue into the pre-trained first deep learning network to identify the service type of the state parameter; if the service type of the state parameter is an existing service, Input the state parameter into the pre-trained second deep learning network, and obtain the first queue control parameter of the data forwarding queue.
  • the first queue control parameter includes the first active congestion notification waterline and the first data forwarding queue buffer; if the service of the state parameter The type is a new service, and a heuristic search algorithm is used to process the state parameter to obtain the second queue control parameter of the data forwarding queue.
  • the second queue control parameter includes the second active congestion notification waterline and the second data forwarding queue buffer.
  • the apparatus further includes a first network training module, configured to: use the historical state parameters of the data forwarding queue and the marked service type label to train the first deep learning network, so that the first deep learning network
  • the service type of the status parameter can be identified, wherein the service type label includes the existing service type label and the new service type label.
  • the first deep learning network is a convolutional neural network.
  • the apparatus further includes a second network training module configured to: use the historical state parameters of the data forwarding queue and the empirical value of the queue control parameters to train the second deep learning network, so that the first deep learning network The first queue control parameter can be output according to the input state parameter.
  • the second deep learning network is a deep Q network.
  • yet another apparatus for adjusting a data forwarding queue comprising: a memory; and a processor coupled to the memory, the processor being configured to perform the aforementioned adjustment based on instructions stored in the memory Data forwarding queue method.
  • a non-transitory computer-readable storage medium stores computer instructions, and when the instructions are executed by a processor, the aforementioned adjustment of the data forwarding queue is realized. method.
  • the present disclosure can dynamically and automatically set the queue control parameters of the data forwarding queue, thereby realizing the dynamic automatic adjustment of the queue state parameters of the data forwarding queue, thereby improving the operation and maintenance efficiency of the intermediate network equipment where the forwarding queue is located.
  • FIG. 1 shows a schematic flowchart of a method for adjusting a data forwarding queue according to some embodiments of the present disclosure.
  • FIG. 2 shows a schematic flowchart of some embodiments of obtaining queue control parameters by using a machine learning model.
  • FIG. 3 shows a schematic diagram of an application example of the method for adjusting a data forwarding queue of the present disclosure.
  • FIG. 4 shows a schematic structural diagram of an apparatus for adjusting a data forwarding queue according to some embodiments of the present disclosure.
  • FIG. 5 is a schematic structural diagram of an apparatus for adjusting a data forwarding queue according to other embodiments of the present disclosure.
  • the queue state parameters of the data forwarding queue can be adjusted. For example, when the queue depth of the data forwarding queue exceeds the active congestion notification waterline, the data forwarding queue informs the data sender to slow down the rate at which the data sender sends data to the intermediate network device, thereby reducing the queue depth of the data forwarding queue.
  • the queue control parameter of the data forwarding queue is set to a fixed value, the data forwarding queue cannot dynamically adapt to changes in real-time data traffic, which may lead to deterioration of the data forwarding quality of the network and cannot guarantee service performance.
  • the traditional method of adjusting the data forwarding queue results in low operation and maintenance efficiency of the intermediate network device where the forwarding queue is located.
  • the present disclosure provides a method for adjusting a data forwarding queue, which can improve the operation and maintenance efficiency of an intermediate network device where the forwarding queue is located.
  • FIG. 1 shows a schematic flowchart of a method for adjusting a data forwarding queue according to some embodiments of the present disclosure. As shown in FIG. 1 , these embodiments include steps S101 to S102.
  • step S101 the state parameters of the data forwarding queue are input into a pre-trained machine learning model to obtain queue control parameters of the data forwarding queue.
  • the state parameters include forwarding delay and queue depth of the data forwarding queue
  • the queue control parameters include active congestion notification watermarks and data forwarding queue buffers.
  • the state parameter is input into the pre-trained machine learning model, wherein the first threshold is greater than the second threshold, and the third threshold is greater than the fourth threshold.
  • the state parameters of the data forwarding queue meet certain threshold conditions, the state parameters are input into the pre-trained machine learning model for processing, which can effectively control the triggering conditions of the control parameters of the prediction queue and reduce the workload of the machine learning model.
  • step S102 a queue control parameter is set for the data forwarding queue to adjust the state parameter of the data forwarding queue.
  • the data forwarding queue when the queue depth does not exceed the active congestion notification waterline, notifies the data sender to send data to the data forwarding queue at the first rate.
  • the data forwarding queue When the queue depth exceeds the active congestion notification waterline, notifies the data sender to send data to the data forwarding queue at a second rate, where the second rate is greater than the first rate.
  • the above embodiment can dynamically and automatically set the queue control parameters of the data forwarding queue through artificial intelligence technology, thereby realizing the dynamic automatic adjustment of the queue state parameters of the data forwarding queue, thereby improving the performance of the intermediate network equipment where the forwarding queue is located. Operational efficiency.
  • the above embodiments can set data forwarding queue buffers and active congestion notification waterlines more accurately, which can alleviate network congestion and ensure the network performance of intermediate network devices in terms of data forwarding delay and throughput.
  • Some embodiments for obtaining queue control parameters by using a machine learning model are described below with reference to FIG. 2 .
  • FIG. 2 shows a schematic flowchart of some embodiments of obtaining queue control parameters by using a machine learning model. As shown in FIG. 2, these embodiments include steps S2012 to S2014.
  • step S2012 the state parameter of the data forwarding queue is input into the pre-trained first deep learning network to identify the service type of the data corresponding to the state parameter.
  • the first deep learning network may be, for example, a convolutional neural network with a classification function.
  • step S2013 is executed.
  • the state parameter is input into the pre-trained second deep learning network to obtain the first queue control parameter of the data forwarding queue.
  • the first queue control parameter includes a first active congestion notification waterline and a first data forwarding queue buffer.
  • step S2014 is executed.
  • a heuristic search algorithm is used to process the state parameter to obtain the second queue control parameter of the data forwarding queue.
  • the second queue control parameter includes a second active congestion notification waterline and a second data forwarding queue buffer.
  • the evaluation function can be constructed according to the forwarding delay of the data forwarding queue, the congestion packet loss rate and the queue occupancy rate.
  • the data sender will send data to the data forwarding queue of the intermediate network device at a lower rate in most cases, which will result in a higher forwarding delay of the data forwarding queue. . If the second active congestion notification waterline is set too large, the data sender will send data to the data forwarding queue of the intermediate network device at a higher rate in most cases, which will lead to a higher congestion packet loss rate in the data forwarding queue. high.
  • the congestion packet loss rate of the data forwarding queue will be high; if the buffer of the second data forwarding queue is set too large, the queue occupancy rate of the data forwarding queue will be low, causing Waste of resources.
  • the settings of the second active congestion notification waterline and the buffer of the second data forwarding queue will affect the forwarding delay, the congestion packet loss rate and the queue occupancy rate of the data forwarding queue.
  • the function value of the evaluation function is proportional to the forwarding delay of the data forwarding queue, the congestion packet loss rate and the queue occupancy rate. The smallest second active congestion notification watermark and the second data forwarding queue buffer.
  • step S2010 is also included.
  • the first deep learning network is trained by using the historical state parameters of the data forwarding queue and the marked service type label, so that the first deep learning network can identify the service type of the state parameter.
  • the service type label includes an existing service type label and a new service type label.
  • step S2011 is also included.
  • the second deep learning network is trained by using the historical state parameters of the data forwarding queue and the empirical value of the queue control parameters, so that the first deep learning network can output the first queue control parameters according to the input state parameters.
  • Step S2010 enumerates the process of training the first deep learning network by means of supervised learning
  • step S2011 enumerates the process of training the second deep learning network by means of supervised learning
  • the second deep learning network can also be trained by means of unsupervised learning, or the deep Q network can be used as the second deep learning network.
  • the idea is similar to the aforementioned heuristic search algorithm.
  • the state parameter of the data forwarding queue is taken as the current state s 0
  • the control parameter of the first queue is taken as the action a 0
  • the first After a queue control parameter the state parameter of the data forwarding queue is used as the next state s 1 .
  • a reward function r is set, and the function value of the reward function r is inversely proportional to the forwarding delay of the data forwarding queue, the congestion packet loss rate and the queue occupancy rate.
  • heuristic search algorithm and the deep Q network in these embodiments can be implemented by using the existing technology, and the heuristic search algorithm and the deep Q network themselves are not the invention points of the present disclosure.
  • the above embodiments can set data forwarding queue buffers and active congestion notification waterlines more accurately, which can relieve network congestion and ensure the network performance of intermediate network devices in terms of data forwarding delay and throughput.
  • FIG. 3 shows a schematic diagram of an application example of the method for adjusting a data forwarding queue of the present disclosure.
  • this application example includes a data forwarding queue, an artificial intelligence chip, and a control parameter configuration device located in an intermediate network device.
  • the workflow of this application example is as follows:
  • the data forwarding queue After the data forwarding queue receives the data packet, it will judge whether to enable the INT (Inband Network Telemetry) function according to the status parameters of the data forwarding queue. If the INT function is enabled, the information such as the forwarding delay and queue depth of the data forwarding queue will be encapsulated into the INT metadata, and in the data push Postcard mode, the INT metadata will be directly pushed to the local hop device (intermediate network device). artificial intelligence chip.
  • INT Inband Network Telemetry
  • INT metadata is as follows, including:
  • Flag Flags occupying 9 bits, including the permission to copy flag and other reserved bits;
  • the maximum number of hops Max Hop Count, occupying 8 bits, indicates the maximum amount of metadata that can be encapsulated in the packet
  • the current total hop count Total Hop Count indicates the amount of metadata encapsulated in the current packet
  • the 8 bits of the Instruction Bitmap field correspond to 8 data options respectively, and each bit represents the data that needs to be collected in the metadata.
  • the field settings of Instruction Bitmap are shown in Table 1.
  • the data forwarding queue supports the configuration of triggering INT metadata push based on thresholds, which can effectively control the triggering conditions for INT metadata push, reduce the processing load of the AI chip, and avoid the impact of a large amount of in-band measurement data on the AI chip.
  • the appropriate queue control parameters can be obtained through analysis.
  • the control parameter configuration device forwards the queue control parameters obtained by analysis to the data forwarding queue, and configures the queue control parameters for the data forwarding queue.
  • the queue control parameters may specifically include ECN watermarks, data forwarding queue buffers, and the like.
  • the data forwarding queue cache When congestion occurs according to the data forwarding queue cache, on the one hand, the data forwarding queue cache is automatically increased to buffer burst data traffic to avoid the negative impact on service quality caused by packet loss and retransmission; on the other hand, the ECN waterline is automatically lowered to notify The data sender reduces the sending rate to solve network congestion.
  • the queue cache is automatically lowered to ensure your utilization of cache resources; Business response rate and data throughput.
  • an edge computing network usually carries services that are sensitive to data forwarding delay.
  • network packet loss and retransmission have a great impact on the user experience of these services.
  • the location of the computer room of the edge computing network is relatively remote, and the distribution locations are relatively scattered.
  • the artificial intelligence chip is integrated into the intermediate network equipment of the edge computing network, which can realize the automatic operation and maintenance of the edge computing network, and effectively improve the operation and maintenance efficiency of the edge computing network.
  • FIG. 4 shows a schematic structural diagram of an apparatus for adjusting a data forwarding queue according to some embodiments of the present disclosure.
  • the apparatus 40 for adjusting the data forwarding queue includes a state parameter input module 402 and a control parameter setting module 403 .
  • the state parameter input module 402 is configured to input the state parameter of the data forwarding queue into the pre-trained machine learning model, and obtain the queue control parameter of the data forwarding queue, wherein the state parameter includes the forwarding delay and the queue depth of the data forwarding queue.
  • Parameters include active congestion notification watermarks and data forwarding queue buffers.
  • the control parameter setting module 403 is configured to set queue control parameters for the data forwarding queue to adjust the state parameters of the data forwarding queue, wherein, in the case where the queue depth does not exceed the active congestion notification waterline, the data forwarding queue notifies the data sender to The first rate sends data to the data forwarding queue; when the queue depth exceeds the active congestion notification waterline, the data forwarding queue notifies the data sender to send data to the data forwarding queue at a second rate, and the second rate is greater than the first rate.
  • the above embodiment can dynamically and automatically set the queue control parameters of the data forwarding queue through artificial intelligence technology, thereby realizing the dynamic automatic adjustment of the queue state parameters of the data forwarding queue, thereby improving the performance of the intermediate network equipment where the forwarding queue is located. Operational efficiency.
  • the above embodiments can set data forwarding queue buffers and active congestion notification waterlines more accurately, which can alleviate network congestion and ensure the network performance of intermediate network devices in terms of data forwarding delay and throughput.
  • the state parameter input module 402 is configured to: when the forwarding delay is greater than the first threshold or less than the second threshold, or when the queue depth is greater than the third threshold or less than the fourth threshold, The state parameters are input into the pre-trained machine learning model, wherein the first threshold is greater than the second threshold, and the third threshold is greater than the fourth threshold.
  • the state parameters of the data forwarding queue meet certain threshold conditions, the state parameters are input into the pre-trained machine learning model for processing, which can effectively control the triggering conditions of the control parameters of the prediction queue and reduce the workload of the machine learning model.
  • the state parameter input module 402 is configured to input the state parameter of the data forwarding queue into the pre-trained first deep learning network to identify the service type of the state parameter; if the service type of the state parameter is an existing service, Input the state parameter into the pre-trained second deep learning network, and obtain the first queue control parameter of the data forwarding queue.
  • the first queue control parameter includes the first active congestion notification waterline and the first data forwarding queue buffer; if the service of the state parameter The type is a new service, and a heuristic search algorithm is used to process the state parameter to obtain the second queue control parameter of the data forwarding queue.
  • the second queue control parameter includes the second active congestion notification waterline and the second data forwarding queue buffer.
  • the apparatus 40 further includes a first network training module 400, which is configured to use the historical state parameters of the data forwarding queue and the marked service type labels to train the first deep learning network, so that the first deep learning The network can identify the service type of the status parameter, wherein the service type label includes the existing service type label and the new service type label.
  • a first network training module 400 which is configured to use the historical state parameters of the data forwarding queue and the marked service type labels to train the first deep learning network, so that the first deep learning The network can identify the service type of the status parameter, wherein the service type label includes the existing service type label and the new service type label.
  • the first deep learning network is a convolutional neural network.
  • the apparatus 40 further includes a second network training module 401, configured to use the historical state parameters of the data forwarding queue and the empirical values of the queue control parameters to train the second deep learning network, so that the first deep learning network can be trained by the first deep learning network.
  • the network can output the first queue control parameter according to the input state parameter.
  • the second deep learning network is a deep Q network.
  • the above embodiments can set data forwarding queue buffers and active congestion notification waterlines more accurately, which can relieve network congestion and ensure the network performance of intermediate network devices in terms of data forwarding delay and throughput.
  • the disclosed technical content can be implemented in other ways.
  • the device embodiments described above are only illustrative, for example, the division of the units may be a logical function division, and there may be other division methods in actual implementation, for example, multiple units or components may be combined or Integration into another system, or some features can be ignored, or not implemented.
  • the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of units or modules, and may be in electrical or other forms.
  • the units described as separate components may or may not be physically separated, and components shown as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units may be implemented in the form of hardware, or may be implemented in the form of software functional units.
  • FIG. 5 is a schematic structural diagram of an apparatus for adjusting a data forwarding queue according to other embodiments of the present disclosure.
  • the apparatus 50 for adjusting a data forwarding queue includes: a memory 510 and a processor 520 coupled to the memory 510 , and the processor 520 is configured to execute any of the foregoing embodiments based on instructions stored in the memory 510 The method for adjusting the data forwarding queue in .
  • memory 510 may include, for example, system memory, fixed non-volatile storage media, and the like.
  • the system memory stores, for example, an operating system, an application program, a boot loader (Boot Loader), and other programs.
  • the apparatus 50 for adjusting the data forwarding queue may further include an input/output interface 530, a network interface 540, a storage interface 550, and the like. These interfaces 530 , 540 , 550 and the memory 510 and the processor 520 may be connected by, for example, a bus 560 .
  • the input and output interface 530 provides a connection interface for input and output devices such as a display, a mouse, a keyboard, and a touch screen.
  • Network interface 540 provides a connection interface for various networked devices.
  • the storage interface 550 provides a connection interface for external storage devices such as SD cards and U disks.
  • the present disclosure also includes a non-transitory computer-readable storage medium having computer instructions stored thereon, the instructions, when executed by a processor, implement the method for adjusting a data forwarding queue in any of the foregoing embodiments.
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to function in a particular manner, such that the instructions stored in the computer-readable memory result in an article of manufacture comprising instruction means, the instructions
  • the apparatus implements the functions specified in the flow or flow of the flowcharts and/or the block or blocks of the block diagrams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种调整数据转发队列的方法、装置及非瞬时性计算机可读存储介质，涉及计算机技术领域。调整数据转发队列的方法包括：将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数；为数据转发队列设置队列控制参数，以调整数据转发队列的状态参数。本公开能够对数据转发队列的队列控制参数进行动态的自动化设置，从而实现了对数据转发队列的队列状态参数进行动态的自动化调整，进而提升了转发队列所在中间网络设备的运维效率。

Description

调整数据转发队列的方法、装置及计算机可读存储介质
相关申请的交叉引用
本申请是以CN申请号为CN202110264211.6，申请日为2021年3月11日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及计算机技术领域，特别是一种调整数据转发队列的方法、装置及非瞬时性计算机可读存储介质。
背景技术
在数据中心网络中，通常使用ECN(Explicit Congestion Notification，主动拥塞通知)技术结合PFC(Power Factor Correction，功率因数校正)技术，来对数据中心网络中的各个设备进行运维。
ECN是一种基于数据流的端到端流控技术，通过TCP(Transmission Control Protocol，传输控制协议)发送端、接收端以及中间网络设备的配合，能够感知中间网络设备中各个端口所对应转发队列的拥塞情况，主动降低TCP发送端向中间网络设备发送数据的速率，从而避免网络拥塞而导致数据包丢失，保障低时延业务的无损传输需求。
发明内容
本公开解决的一个技术问题是，如何提升转发队列所在中间网络设备的运维效率。
根据本公开的一个方面，提供了一种调整数据转发队列的方法，包括：将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数；其中，状态参数包括数据转发队列的转发时延和队列深度，队列控制参数包括主动拥塞通知水线和数据转发队列缓存；为数据转发队列设置队列控制参数，以调整数据转发队列的状态参数；其中，在队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据；在队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发 送数据；第二速率大于第一速率。
在一些实施例中，将数据转发队列的状态参数输入预先训练的机器学习模型包括：在转发时延大于第一阈值或小于第二阈值的情况下，或者，在队列深度大于第三阈值或小于第四阈值的情况下，将状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
在一些实施例中，将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数包括：将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别状态参数的业务类型；若状态参数的业务类型为已有业务，将状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数，第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存；若状态参数的业务类型为新业务，利用启发式搜索算法对状态参数进行处理，获得数据转发队列的第二队列控制参数，第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
在一些实施例中，该方法还包括：利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别状态参数的业务类型，其中，业务类型标签包括已有业务类型标签和新业务类型标签。
在一些实施例中，第一深度学习网络为卷积神经网络。
在一些实施例中，该方法，还包括：利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的状态参数输出第一队列控制参数。
在一些实施例中，第二深度学习网络为深度Q网络。
根据本公开的另一个方面，提供了一种调整数据转发队列的装置，包括：状态参数输入模块，被配置为：将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数；其中，状态参数包括数据转发队列的转发时延和队列深度，队列控制参数包括主动拥塞通知水线和数据转发队列缓存；控制参数设置模块，被配置为：为数据转发队列设置队列控制参数，以调整数据转发队列的状态参数；其中，在队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据；在队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发送数据；第二速率大于第一速率。
在一些实施例中，状态参数输入模块被配置为：在转发时延大于第一阈值或小于第二阈值的情况下，或者，在队列深度大于第三阈值或小于第四阈值的情况下，将状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
在一些实施例中，状态参数输入模块被配置为：将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别状态参数的业务类型；若状态参数的业务类型为已有业务，将状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数，第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存；若状态参数的业务类型为新业务，利用启发式搜索算法对状态参数进行处理，获得数据转发队列的第二队列控制参数，第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
在一些实施例中，该装置还包括第一网络训练模块，被配置为：利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别状态参数的业务类型，其中，业务类型标签包括已有业务类型标签和新业务类型标签。
在一些实施例中，第一深度学习网络为卷积神经网络。
在一些实施例中，该装置还包括第二网络训练模块，被配置为：利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的状态参数输出第一队列控制参数。
在一些实施例中，第二深度学习网络为深度Q网络。
根据本公开的又一个方面，提供了又一种调整数据转发队列的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的调整数据转发队列的方法。
根据本公开的再一个方面，提供了一种非瞬时性计算机可读存储介质，其中，非瞬时性计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的调整数据转发队列的方法。
本公开能够对数据转发队列的队列控制参数进行动态的自动化设置，从而实现了对数据转发队列的队列状态参数进行动态的自动化调整，进而提升了转发队列所在中间网络设备的运维效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其 优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的调整数据转发队列的方法的流程示意图。
图2示出了利用机器学习模型获得队列控制参数的一些实施例的流程示意图。
图3示出了本公开调整数据转发队列的方法的应用例的示意图。
图4示出了本公开一些实施例的调整数据转发队列的装置的结构示意图。
图5示出了本公开另一些实施例的调整数据转发队列的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，通过设置数据转发队列的队列控制参数，能够调整对数据转发队列的队列状态参数。例如，当数据转发队列的队列深度超过主动拥塞通知水线时，数据转发队列通知数据发送端减缓数据发送端向中间网络设备发送数据的速率，从而减小数据转发队列的队列深度。然而，如果将数据转发队列的队列控制参数设置为固定值，则数据转发队列无法动态适应实时数据的流量变化，可能导致网络的数据转发质量恶化，无法保障业务性能。如果实时调整数据转发队列的队列控制参数，则需要有经验的工程师进行大量的人工操作，来尝试队列控制参数的设定值。因此，调整数据转发队列的传统方法导致转发队列所在中间网络设备的运维效率较低。
有鉴于此，本公开提供了一种调整数据转发队列的方法，能够提升转发队列所在中间网络设备的运维效率。
首先结合图1描述本公开调整数据转发队列的方法的一些实施例。
图1示出了本公开一些实施例的调整数据转发队列的方法的流程示意图。如图1所示，这些实施例包括步骤S101～步骤S102。
在步骤S101中，将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数。
在一些实施例中，状态参数包括数据转发队列的转发时延和队列深度，队列控制参数包括主动拥塞通知水线和数据转发队列缓存。机器学习模型经过预先训练后，能够根据输入的数据转发队列的状态参数，输出数据转发队列的队列控制参数。
在一些实施例中，在转发时延大于第一阈值或小于第二阈值的情况下，或者，在队列深度大于第三阈值或小于第四阈值的情况下，将状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
在数据转发队列的状态参数满足一定阈值条件的情况下，才将状态参数输入预先训练的机器学习模型进行处理，能够有效控制预测队列控制参数的触发条件，降低机器学习模型的工作负荷。
在步骤S102中，为数据转发队列设置队列控制参数，以调整数据转发队列的状态参数。
例如，在队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据。在队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发送数据，其中，第二速率大于第一速率。
上述实施例通过人工智能技术，能够对数据转发队列的队列控制参数进行动态的自动化设置，从而实现了对数据转发队列的队列状态参数进行动态的自动化调整，进而提升了转发队列所在中间网络设备的运维效率。同时，上述实施例能够较为准确的设置数据转发队列缓存和主动拥塞通知水线，能够在缓解网络拥塞的同时，保障了中间网络设备在数据转发时延和吞吐量等方面的网络性能。
下面结合图2描述利用机器学习模型获得队列控制参数的一些实施例。
图2示出了利用机器学习模型获得队列控制参数的一些实施例的流程示意图。如图2所示，这些实施例中包括步骤S2012～步骤S2014。
在步骤S2012中，将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别状态参数对应的数据的业务类型。
其中，第一深度学习网络例如可以为具有分类功能的卷积神经网络。
若状态参数对应的数据的业务类型为已有业务，则执行步骤S2013。在步骤S2013中，将状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数。其中，第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存。
若状态参数的业务类型为新业务，则执行步骤S2014。在步骤S2014中，利用启发式搜索算法对状态参数进行处理，获得数据转发队列的第二队列控制参数。其中，第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
根据在利用启发式搜索算法对状态参数进行处理时，可以根据数据转发队列的转发时延、拥塞丢包率和队列占用率来构建估价函数。
如果第二主动拥塞通知水线设置得过小，数据发送端将在大多数情况下以较低的速率向中间网络设备的数据转发队列发送数据，这将导致数据转发队列的转发时延较高。如果第二主动拥塞通知水线设置得过大，数据发送端将在大多数情况下以较高的速率向中间网络设备的数据转发队列发送数据，这将导致数据转发队列的拥塞丢包率较高。
如果第二数据转发队列缓存设置得过小，将导致数据转发队列的拥塞丢包率较高；如果第二数据转发队列缓存设置得过大，将导致数据转发队列的队列占用率较低，造成资源浪费。
由此可见，第二主动拥塞通知水线以及第二数据转发队列缓存的设置，将影响到数据转发队列的转发时延、拥塞丢包率和队列占用率。有鉴于此，估价函数的函数值分别与数据转发队列的转发时延、拥塞丢包率和队列占用率成正比，并在利用启发式搜索算法进行处理时，寻找尽可能使估价函数的函数值最小的第二主动拥塞通知水线以及第二数据转发队列缓存。
在一些实施例中，还包括步骤S2010。在步骤S2010中，利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别状态参数的业务类型。其中，业务类型标签包括已有业务类型标签和新业务类型标签。
在一些实施例中，还包括步骤S2011。在步骤S2011中，利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的状态参数输出第一队列控制参数。
步骤S2010列举了采用监督学习的方式训练第一深度学习网络的过程，步骤 S2011列举了采用监督学习的方式训练第二深度学习网络的过程。此外，还可以采用非监督学习的方式训练第二深度学习网络，或者采用深度Q网络作为第二深度学习网络。采用深度Q网络作为第二深度学习网络时，思路与前述启发式搜索算法相类似，将数据转发队列的状态参数作为当前状态s 0，将第一队列控制参数作为动作a 0，将设置了第一队列控制参数后数据转发队列的状态参数作为下一状态s 1。同时，设置奖励函数r，奖励函数r的函数值分别与数据转发队列的转发时延、拥塞丢包率和队列占用率成反比。
本领域技术人员能够理解，这些实施例中的启发式搜索算法以及深度Q网络可以采用现有技术来实现，启发式搜索算法以及深度Q网络本身不作为本公开的发明点。
上述实施例能够较为准确的设置数据转发队列缓存和主动拥塞通知水线，能够在缓解网络拥塞的同时，保障了中间网络设备在数据转发时延和吞吐量等方面的网络性能。
下面结合图3描述本公开调整数据转发队列的方法的应用例。
图3示出了本公开调整数据转发队列的方法的应用例的示意图。如图3所示，该应用例中包括位于中间网络设备的数据转发队列、人工智能芯片、控制参数配置装置。该应用例的工作流程如下：
(1)数据转发队列接收到数据包后，会根据数据转发队列的状态参数判断是否使能INT(Inband Network Telemetry，带内网络遥测)功能。如果使能INT功能，会将数据转发队列的转发时延和队列深度等信息封装到INT元数据，并且在数据推送Postcard模式下，直接在本跳设备(中间网络设备)将INT元数据推送到人工智能芯片。
INT元数据具体举例如下，包括：
版本号Ver，占2bit；
标识Flags，占9bit，包括允许复制标识以及其它预留比特；
收集数据项的数量Instruction Count，占5bit；
最大跳数Max Hop Count，占8bit，表示报文中可封装的元数据的最大数量；
当前总跳数Total Hop Count，占8bit，表示当前报文中封装的元数据的数量；
元数据的具体内容Instruction Bitmap，占8bit，
其中，Instruction Bitmap字段8个bit分别对应8个数据选项，每个bit的代表 该项数据需要收集到元数据中。Instruction Bitmap的字段设置例如表1所示。
表1 Instruction Bitmap的字段设置
字段 数据选项
bit0 交换机ID
bit1 入端口号
bit2 数据转发时间戳
bit3 队列深度
bit4 数据流入时间戳
bit 5 队列占用率
bit6 队列拥塞状态
bit7 出端口链路利用率
数据转发队列支持配置基于阈值来触发INT元数据推送，能够有效控制INT元数据推送的触发条件，可降低人工智能芯片的处理负载，避免大量带内测量数据对人工智能芯片的冲击。
(2)人工智能芯片根据CNN(Convolutional Neural Networks,卷积神经网络)对INT元数据中的状态参数进行识别。对于已有业务类型的状态参数，通过DQN(Deep Q Network，深度Q网络)算法进行处理；对于新业务类型的状态参数，采用启发式搜索算法进行处理。
人工智能芯片中，通过不同的算法对状态参数进行分类处理，能够大幅提升人工智能处理效率，根据触发的INT推送数据中的队列状态参数，分析得到合适的队列控制参数。
(3)控制参数配置装置将分析得到队列控制参数转发至数据转发队列，并为数据转发队列配置队列控制参数。队列控制参数具体可以包括ECN水线、数据转发队列缓存等。
根据数据转发队列缓存判断拥塞发生时，一方面自动调高数据转发队列缓存，缓存突发的数据流量，避免丢包重传对业务质量造成负面影响；另一方面自动调低ECN水线，通知数据发送端降低发送速率，解决网络拥塞。
根据数据转发队列缓存判断拥塞消失时，一方面自动调低队列缓存，保障缓存资源您的利用率；另一方面调高ECN水线，通知数据发送端提高发送速率，降低数据转发时延，提高业务响应速率和数据吞吐量。
本领域技术人员能够理解，边缘计算网络通常承载对数据转发时延敏感的业务。在业务流量不均衡的情况下，网络丢包重传对这些业务的用户体验影响较大。同时，边缘计算网络的机房位置相对偏远，分布地点也较为分散，当这些业务发生卡顿甚至中断的情况下，运维人员很难实时、精准的定位网络拥塞问题和数据丢包问题。在上述应用例中，将人工智能芯片集成在边缘计算网络的中间网络设备中，能够实现对边缘计算网络的自动化运维，有效提高边缘计算网络的运维效率。
下面结合图4描述本公开调整数据转发队列的装置的一些实施例。
图4示出了本公开一些实施例的调整数据转发队列的装置的结构示意图。如图4所示，调整数据转发队列的装置40包括状态参数输入模块402和控制参数设置模块403。
状态参数输入模块402被配置为将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数，其中，状态参数包括数据转发队列的转发时延和队列深度，队列控制参数包括主动拥塞通知水线和数据转发队列缓存。
控制参数设置模块403被配置为为数据转发队列设置队列控制参数，以调整数据转发队列的状态参数，其中，在队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据；在队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发送数据，且第二速率大于第一速率。
上述实施例通过人工智能技术，能够对数据转发队列的队列控制参数进行动态的自动化设置，从而实现了对数据转发队列的队列状态参数进行动态的自动化调整，进而提升了转发队列所在中间网络设备的运维效率。同时，上述实施例能够较为准确的设置数据转发队列缓存和主动拥塞通知水线，能够在缓解网络拥塞的同时，保障了中间网络设备在数据转发时延和吞吐量等方面的网络性能。
在一些实施例中，状态参数输入模块402被配置为：在转发时延大于第一阈值或小于第二阈值的情况下，或者，在队列深度大于第三阈值或小于第四阈值的情况下，将状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
在数据转发队列的状态参数满足一定阈值条件的情况下，将状态参数输入预先训练的机器学习模型进行处理，能够有效控制预测队列控制参数的触发条件，降低机器学习模型的工作负荷。
在一些实施例中，状态参数输入模块402被配置为将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别状态参数的业务类型；若状态参数的业务类型为已有业务，将状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数，第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存；若状态参数的业务类型为新业务，利用启发式搜索算法对状态参数进行处理，获得数据转发队列的第二队列控制参数，第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
在一些实施例中，该装置40还包括第一网络训练模块400，被配置为利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别状态参数的业务类型，其中，业务类型标签包括已有业务类型标签和新业务类型标签。
在一些实施例中，第一深度学习网络为卷积神经网络。
在一些实施例中，该装置40还包括第二网络训练模块401，被配置为利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的状态参数输出第一队列控制参数。
在一些实施例中，第二深度学习网络为深度Q网络。
上述实施例能够较为准确的设置数据转发队列缓存和主动拥塞通知水线，能够在缓解网络拥塞的同时，保障了中间网络设备在数据转发时延和吞吐量等方面的网络性能。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
下面结合图5描述本公开调整数据转发队列的装置的另一些实施例。
图5示出了本公开另一些实施例的调整数据转发队列的装置的结构示意图。如图5所示，调整数据转发队列的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行前述任意一些实施例中的调整数据转发队列的方法。
在一些实施例中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
调整数据转发队列的装置50还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530、540、550以及存储器510和处理器520之间例如可以通过总线560连接。其中，输入输出接口530为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口。存储接口550为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种非瞬时性计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的调整数据转发队列的方法。
前述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处 理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

  1. 一种调整数据转发队列的方法，包括：
    将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数，其中，所述状态参数包括数据转发队列的转发时延和队列深度，所述队列控制参数包括主动拥塞通知水线和数据转发队列缓存；
    为数据转发队列设置所述队列控制参数，以调整数据转发队列的状态参数，其中，在所述队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据；在所述队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发送数据；第二速率大于第一速率。
  2. 根据权利要求1所述的调整数据转发队列的方法，其中，所述将数据转发队列的状态参数输入预先训练的机器学习模型包括：
    在所述转发时延大于第一阈值或小于第二阈值的情况下，或者，在所述队列深度大于第三阈值或小于第四阈值的情况下，将所述状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
  3. 根据权利要求1所述的调整数据转发队列的方法，其中，所述将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数包括：
    将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别所述状态参数的业务类型；
    若所述状态参数的业务类型为已有业务，则将所述状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数，所述第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存；
    若所述状态参数的业务类型为新业务，则利用启发式搜索算法对所述状态参数进行处理，获得数据转发队列的第二队列控制参数，所述第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
  4. 根据权利要求3所述的调整数据转发队列的方法，还包括：
    利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别所述状态参数的业务类型，其中，所述业务类型标签包括已有业务类型标签和新业务类型标签。
  5. 根据权利要求3所述的调整数据转发队列的方法，其中，所述第一深度学习网络为卷积神经网络。
  6. 根据权利要求3所述的调整数据转发队列的方法，还包括：
    利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的所述状态参数输出所述第一队列控制参数。
  7. 根据权利要求3所述的调整数据转发队列的方法，其中，所述第二深度学习网络为深度Q网络。
  8. 一种调整数据转发队列的装置，包括：
    状态参数输入模块，被配置为将数据转发队列的状态参数输入预先训练的机器学习模型，获得数据转发队列的队列控制参数，其中，所述状态参数包括数据转发队列的转发时延和队列深度，所述队列控制参数包括主动拥塞通知水线和数据转发队列缓存；
    控制参数设置模块，被配置为为数据转发队列设置所述队列控制参数，以调整数据转发队列的状态参数，其中，在所述队列深度未超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第一速率向数据转发队列发送数据；在所述队列深度超过主动拥塞通知水线的情况下，数据转发队列通知数据发送端以第二速率向数据转发队列发送数据；第二速率大于第一速率。
  9. 根据权利要求8所述的调整数据转发队列的装置，其中，所述状态参数输入模块被配置为：
    在所述转发时延大于第一阈值或小于第二阈值的情况下，或者，在所述队列深度大于第三阈值或小于第四阈值的情况下，将所述状态参数输入预先训练的机器学习模型，其中，第一阈值大于第二阈值，第三阈值大于第四阈值。
  10. 根据权利要求8所述的调整数据转发队列的装置，其中，所述状态参数输入模块被配置为：
    将数据转发队列的状态参数输入预先训练的第一深度学习网络，以识别所述状态参数的业务类型；
    若所述状态参数的业务类型为已有业务，则将所述状态参数输入预先训练的第二深度学习网络，获得数据转发队列的第一队列控制参数，所述第一队列控制参数包括第一主动拥塞通知水线和第一数据转发队列缓存；
    若所述状态参数的业务类型为新业务，则利用启发式搜索算法对所述状态参数进行处理，获得数据转发队列的第二队列控制参数，所述第二队列控制参数包括第二主动拥塞通知水线和第二数据转发队列缓存。
  11. 根据权利要求10所述的调整数据转发队列的装置，还包括第一网络训练模块，被配置为：
    利用数据转发队列的历史状态参数和标注的业务类型标签，对第一深度学习网络进行训练，使第一深度学习网络能够识别所述状态参数的业务类型，其中，所述业务类型标签包括已有业务类型标签和新业务类型标签。
  12. 根据权利要求10所述的调整数据转发队列的装置，其中，所述第一深度学习网络为卷积神经网络。
  13. 根据权利要求10所述的调整数据转发队列的装置，还包括第二网络训练模块，被配置为：
    利用数据转发队列的历史状态参数和队列控制参数经验值，对第二深度学习网络进行训练，使第一深度学习网络能够根据输入的所述状态参数输出所述第一队列控制参数。
  14. 根据权利要求10所述的调整数据转发队列的装置，其中，所述第二深度学习网络为深度Q网络。
  15. 一种调整数据转发队列的装置，包括：
    存储器；以及
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的调整数据转发队列的方法。
  16. 一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至7中任一项所述的调整数据转发队列的方法。
PCT/CN2021/128415 2021-03-11 2021-11-03 调整数据转发队列的方法、装置及计算机可读存储介质 WO2022188440A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110264211.6A CN115086236A (zh) 2021-03-11 2021-03-11 调整数据转发队列的方法、装置及计算机可读存储介质
CN202110264211.6 2021-03-11

Publications (1)

Publication Number Publication Date
WO2022188440A1 true WO2022188440A1 (zh) 2022-09-15

Family

ID=83226289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/128415 WO2022188440A1 (zh) 2021-03-11 2021-11-03 调整数据转发队列的方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN115086236A (zh)
WO (1) WO2022188440A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801708A (zh) * 2023-02-03 2023-03-14 中国科学技术大学 基于强化学习的ecn水线自适应配置方法
CN116880770A (zh) * 2023-07-27 2023-10-13 山东溯源安全科技有限公司 一种u盘读取控制方法、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029887A1 (en) * 2012-03-09 2015-01-29 British Telecommunications Public Limited Company Signalling congestion
CN107634911A (zh) * 2017-10-31 2018-01-26 河南科技大学 一种信息中心网络中基于深度学习的自适应拥塞控制方法
CN110278157A (zh) * 2018-03-14 2019-09-24 华为技术有限公司 拥塞控制方法及网络设备
CN110445722A (zh) * 2018-05-04 2019-11-12 华为技术有限公司 拥塞控制方法、装置、设备及存储介质
CN110891027A (zh) * 2019-12-06 2020-03-17 湖南大学 基于队列调度的命名数据网络传输控制方法、装置和设备
CN111372284A (zh) * 2020-03-10 2020-07-03 中国联合网络通信集团有限公司 一种拥塞处理方法及装置
CN111526096A (zh) * 2020-03-13 2020-08-11 北京交通大学 智融标识网络状态预测与拥塞控制系统
US20200280518A1 (en) * 2020-01-28 2020-09-03 Intel Corporation Congestion management techniques
CN112054964A (zh) * 2019-06-05 2020-12-08 中兴通讯股份有限公司 队列拥塞控制方法、装置、设备及存储介质
CN112104562A (zh) * 2019-06-17 2020-12-18 华为技术有限公司 拥塞控制方法及装置、通信网络、计算机存储介质
CN112311688A (zh) * 2020-06-22 2021-02-02 谷歌有限责任公司 用于可靠传输协议的速率更新引擎

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL201774A0 (en) * 2009-10-27 2010-06-16 Eci Telecom Ltd Technique of throughput control for packer switches

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029887A1 (en) * 2012-03-09 2015-01-29 British Telecommunications Public Limited Company Signalling congestion
CN107634911A (zh) * 2017-10-31 2018-01-26 河南科技大学 一种信息中心网络中基于深度学习的自适应拥塞控制方法
CN110278157A (zh) * 2018-03-14 2019-09-24 华为技术有限公司 拥塞控制方法及网络设备
CN110445722A (zh) * 2018-05-04 2019-11-12 华为技术有限公司 拥塞控制方法、装置、设备及存储介质
CN112054964A (zh) * 2019-06-05 2020-12-08 中兴通讯股份有限公司 队列拥塞控制方法、装置、设备及存储介质
CN112104562A (zh) * 2019-06-17 2020-12-18 华为技术有限公司 拥塞控制方法及装置、通信网络、计算机存储介质
CN110891027A (zh) * 2019-12-06 2020-03-17 湖南大学 基于队列调度的命名数据网络传输控制方法、装置和设备
US20200280518A1 (en) * 2020-01-28 2020-09-03 Intel Corporation Congestion management techniques
CN111372284A (zh) * 2020-03-10 2020-07-03 中国联合网络通信集团有限公司 一种拥塞处理方法及装置
CN111526096A (zh) * 2020-03-13 2020-08-11 北京交通大学 智融标识网络状态预测与拥塞控制系统
CN112311688A (zh) * 2020-06-22 2021-02-02 谷歌有限责任公司 用于可靠传输协议的速率更新引擎

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG MIQING: "Switch implementation in Lossless Network", COMPUTER KNOWLEDGE AND TECHNOLOGY, CN, vol. 15, no. 34, 5 December 2019 (2019-12-05), CN , pages 50 - 52, XP055964868, ISSN: 1009-3044, DOI: 10.14004/j.cnki.ckt.2019.4038 *
WANG JIANGLONG, BO LEI, YUNPENG XIE, QI HE, YUNHE LI: "Key technology of data center network for cloud network convergence", DIANXIN KEXUE - TELECOMMUNICATIONS SCIENCE, RENMIN YOUDIAN CHUBANSHE, BEIJING, CN, no. 4, 20 April 2020 (2020-04-20), CN , pages 125 - 135, XP055964874, ISSN: 1000-0801, DOI: 10.11959/j.issn.1000−0801.2020118 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801708A (zh) * 2023-02-03 2023-03-14 中国科学技术大学 基于强化学习的ecn水线自适应配置方法
CN115801708B (zh) * 2023-02-03 2023-04-21 中国科学技术大学 基于强化学习的ecn水线自适应配置方法
CN116880770A (zh) * 2023-07-27 2023-10-13 山东溯源安全科技有限公司 一种u盘读取控制方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN115086236A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
WO2022188440A1 (zh) 调整数据转发队列的方法、装置及计算机可读存储介质
JP3548720B2 (ja) 入側速度の監視に基づくキュー管理によってデータネットワーク内のシステム性能を改善する方法
KR101623197B1 (ko) 클라이언트 디바이스 상에서의 패킷 송신을 스케줄링하기 위한 시스템 및 방법
US20230362100A1 (en) Assured related packet transmission, delivery and processing
US7916718B2 (en) Flow and congestion control in switch architectures for multi-hop, memory efficient fabrics
US10868768B1 (en) Multi-destination traffic handling optimizations in a network device
US20150286594A1 (en) Traffic-dependent adaptive interrupt moderation
JP6323107B2 (ja) スイッチ装置、情報処理システムおよびスイッチ装置の制御方法
EP3267639B1 (en) Congestion control within a communication network
CN113890857B (zh) 一种面向SDN网络的Qos等级标记方法和系统
CN109660468A (zh) 一种端口拥塞管理方法、装置和设备
CN113315720B (zh) 一种数据流控制方法、系统及设备
US20220294736A1 (en) Congestion Control Method and Related Device
Adamu et al. Flexible random early detection algorithm for queue management in routers
Adamu et al. SARED: Self-adaptive active queue management scheme for improving quality of service in network systems
JP5957318B2 (ja) ネットワークシステム、情報中継装置、及びパケット配信方法
US20140095902A1 (en) Power Saving Traffic Management Policies
CN113783794A (zh) 拥塞控制方法和装置
JP5036743B2 (ja) フロー制御方法とシステムおよびプログラム
Chang et al. Software defined backpressure mechanism for edge router
WO2021052295A1 (zh) 处理网络拥塞的方法和相关装置
CN110300069B (zh) 数据传输方法、优化装置及系统
CN109547353A (zh) 一种通过ip地址段对上下行限速的方法
WO2023284590A1 (zh) 处理大流量协议报文的方法、系统及存储介质
Gaidamaka Flexible Random Early Detection Algorithm for Queue Management in Routers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929904

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929904

Country of ref document: EP

Kind code of ref document: A1