WO2004047368A1 - Procede de commande de flux d'un dispositif de transmission man - Google Patents

Procede de commande de flux d'un dispositif de transmission man Download PDF

Info

Publication number
WO2004047368A1
WO2004047368A1 PCT/CN2003/000982 CN0300982W WO2004047368A1 WO 2004047368 A1 WO2004047368 A1 WO 2004047368A1 CN 0300982 W CN0300982 W CN 0300982W WO 2004047368 A1 WO2004047368 A1 WO 2004047368A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow control
board
channel
frame
control frame
Prior art date
Application number
PCT/CN2003/000982
Other languages
English (en)
French (fr)
Inventor
Wu Yang
Yao Liu
Original Assignee
Huawei Technologies Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co., Ltd. filed Critical Huawei Technologies Co., Ltd.
Priority to DE60316719T priority Critical patent/DE60316719T2/de
Priority to EP03811330A priority patent/EP1568173B1/en
Priority to AU2003302100A priority patent/AU2003302100A1/en
Publication of WO2004047368A1 publication Critical patent/WO2004047368A1/zh
Priority to US11/131,966 priority patent/US7593328B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L12/5602—Bandwidth control in ATM Networks, e.g. leaky bucket
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/266—Stopping or restarting the source, e.g. X-on or X-off
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/351—Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/54—Store-and-forward switching systems 
    • H04L12/56—Packet switching systems
    • H04L12/5601—Transfer mode dependent, e.g. ATM
    • H04L2012/5629—Admission control
    • H04L2012/5631—Resource management and allocation
    • H04L2012/5632—Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/50—Overload detection or protection within a single switching element

Definitions

  • the present invention relates to the field of data transmission, and in particular, to a flow control method for a metropolitan area network transmission device. Background of the invention
  • SDH synchronous digital hierarchy
  • the flow control mostly uses the Ethernet flow control mechanism based on the data transmission port defined in the IEEE standard.
  • the data transfer port buffer data exceeds the specified high threshold, the data transfer port sends a standard 802.3x flow control frame to the peer device.
  • the peer device decides whether to end the flow control state based on the flow control time carried by the flow control frame. . After the flow control time is over, data can be sent again.
  • the 802.3x standard flow control is an IEEE standard protocol. The protocol is mature and easy to implement. However, because the standard flow control is based on the flow control time carried by the flow control frame to determine whether to end the flow control state, the real-time performance is poor. On the other hand, the 802.3x standard flow control is based on the Ethernet data transmission port flow control. Flow control for transmission boards and mapping channels in Ethernet metro transmission equipment cannot be achieved. With the increase in the number of boards and logical sub-channels in metropolitan area network transmission equipment, the probability of congestion on boards or patrol sub-channels also increases.
  • the invention provides a method for controlling the flow of a metropolitan area network transmission device, based on the traditional Ethernet data transmission port flow control, expanding the implementation of board-level and logical subchannel-level flow control, so that the Ethernet metropolitan area transmission device The flow control is more perfect.
  • a flow control method for a metropolitan area network transmission device is characterized by including the following steps: judging whether the data transmission port of the transmission device on the receiving end is congested, and if so, the packet forwarding module feeds back the Ethernet flow to the transmitting device on the transmitting end. Control the frame, after the transmitting device on the sending end receives the Ethernet flow control frame, suspend sending the message; determine whether the congestion of the data transmission port is over, if so, the transmitting device on the sending end continues to send the message, otherwise the receiving end message forwarding module Continue to feed back Ethernet flow control frames to the transmitting device to form the flow control of the data transmission port;
  • the board mapping module feeds back the board-level flow control frame to the message forwarding module. After receiving the board-level flow control frame, the message forwarding module suspends the board to the board. Send a message; determine whether the board congestion of the data transmission port is over, if so, the message forwarding module continues to send messages to the board, otherwise the board mapping module continues to feed back the board-level flow control frame to the message forwarding module, Form single board flow control;
  • the logical sub-channel mapping module forwards the logical sub-channel-level flow control frame to the message forwarding module via the board mapping module, and the message forwarding module receives the logical sub-channel.
  • the message forwarding module receives the logical sub-channel.
  • pause sending packets to the logical sub-channel determine whether the logical sub-channel congestion of the board is over; if so, the message forwarding module continues to send packets to the logical sub-channel, otherwise it is mapped by the logical sub-channel
  • the module continues to feed logical sub-channel level flow control frames to the message forwarding module to form logical sub-channel flow control.
  • determining whether the data transmission port of the transmission device at the receiving end is congested includes: determining whether the number of packets in the data transmission port buffer exceeds a predetermined high threshold; the determination Whether the data transmission port congestion ends includes: the message forwarding module determines whether the number of packets in the data transmission port buffer is below a predetermined lower threshold, or the transmitting device determines the flow control time in the Ethernet flow control frame Whether to end; the Ethernet flow control frame is generated after the message forwarding module receives the backpressure signal generated by the data transmission port buffer.
  • determining whether the board of the data transmission port is congested includes: judging whether the number of packets in the board buffer exceeds a predetermined high threshold value; determining whether the board congestion of the data transmission port is ended includes: judging a board Whether the number of packets in the board buffer is lower than a predetermined low threshold; the board-level flow control frame is generated after the board mapping module receives the backpressure signal generated by the board buffer.
  • the judging whether the logical subchannel of the board is congested includes: judging whether the number of packets of the logical subchannel buffer exceeds a predetermined high threshold; the judging whether the logical subchannel congestion of the board is ended includes: judging Whether the number of packets in the logical sub-channel buffer is lower than a predetermined lower threshold.
  • the logical sub-channel mapping module forwards the logical sub-channel level flow control frame to the message forwarding module via the board mapping module.
  • the logical sub-channel mapping module generates a back pressure signal, and the logical sub-channel mapping module receives the back pressure signal and generates the back pressure signal.
  • the logical sub-channel mapping module forwards the logical sub-channel-level flow control frame to the message forwarding module via the board mapping module, and may further include: the logical sub-channel buffer generates a back pressure signal, and the logical sub-channel mapping module receives the back pressure.
  • the signal generates a logical sub-channel level flow control frame, and the board mapping module combines the logical sub-channel level flow control frame and the plate flow control frame into a board level flow control frame, and feeds back the combined plate flow control frame to the message forwarding. Module.
  • the board-level flow control frame or logical sub-channel-level flow control frame is a normal data message carrying flow control information or an empty frame carrying flow control information.
  • the board-level flow control frame or the sub-channel-level flow control frame is set to carry all the frames. Flow control information for the board.
  • the board-level flow control frame is set to include at least a frame header, a board number, a logical subchannel number, a flow control information flag, a payload, and a frame tail.
  • the flow control information includes at least 15-bit board congestion.
  • the information flag and the 1-bit frame type flag, the board number is 4 bits, and the logical subchannel number is 8 bits.
  • the logical sub-channel-level flow control frame is set to include at least a frame header, a board number, a logical sub-channel number, flow control information, a payload, and a frame tail.
  • the flow control information includes at least a 14-bit board.
  • the board number is 4 bits
  • the logical subchannel number is 8 bits.
  • the present invention utilizes a combination of a hardware backpressure mechanism and a custom flow control frame.
  • a normal data message to carry flow control information or constructing an empty frame carrying flow control information
  • traffic is performed on the board and logical subchannels.
  • Control and expansion realize the flow control strategy of metropolitan area network transmission equipment, make the metropolitan area network flow control strategy more perfect, meet the complex Ethernet metropolitan area transmission equipment flow control business requirements, and have simple hardware circuits and software traffic
  • Many advantages, such as flexible control and easy upgrade can greatly reduce costs compared with simple hardware implementation, improve the maintainability of the device, and have better real-time congestion control.
  • FIG. 1 is a schematic diagram of an overall technical solution of the present invention
  • FIG. 2 shows the 802.3x flow control frame format
  • Figure 3 is a schematic diagram of the sending status of a flow control operation
  • Figure 4 is a schematic diagram of plate flow control
  • Figure 5a is the message format received by the data transmission port
  • Figure 5b is the message format that the message forwarding module performs look-up table forwarding
  • Figure 5c is the plate flow control frame format
  • FIG. 6 is a flow control schematic diagram of a logical sub-channel
  • Figure 7 shows the format of a logical sub-channel flow control frame.
  • the present invention proposes a flow control method based on "data transmission port-level flow control + board-level flow control + channel-level flow control".
  • FIG. 1 for a schematic diagram of the overall technical solution of the present invention.
  • the thick solid line indicates the transmission of the data stream
  • the thin solid line indicates the transmission of the flow control frame.
  • a single data transmission port is connected to multiple boards, and a single board has multiple logical subchannels.
  • a message from a FE / GE (electrical / optical) data transmission port is forwarded to a logical subchannel through the following process: First, the message forwarding module 40 buffers the received message in The data transmission port buffer area 41 adds the board number and channel number information to the message according to the table lookup result, and then forwards the data message to the board mapping module 42. Then, the board mapping module 42 will The message forwarding module 40 buffers the message in the board buffer area 43, and then forwards the message to the corresponding transmission board to complete the message forwarding based on the board number. Finally, the logical subchannel mapping module 44 The message is buffered in the logical subchannel buffer area 45, and then the message is forwarded to the corresponding logical subchannel to complete the message forwarding based on the logical subchannel number.
  • the message forwarding module 40 detects the backpressure signal, generates a standard 802.3x flow control frame and sends it to the current data transmission port, and the data transmission port sends the flow control frame to the
  • the peer device After receiving the 802.3x flow control frame, the peer device temporarily suspends sending data packets to the local device, and when the local device receives the flow control frame from the peer device, it also suspends sending data packets to the peer device. Perform flow control to prevent Congestion occurs, forming flow control based on data transmission ports.
  • the above 802.3x flow control frame format includes a MAC destination address, a MAC source address, a type field, an Opcode, a flow control time, and a message length.
  • the MAC destination address is fixed at 0180c2000001, and the MAC source address is Don't care, it is set to 000000000000 when sending, the type field is fixed to 0x0001, and the flow control time can be set by the user.
  • FIG. 3 is a schematic diagram of a sending state of a flow control operation.
  • the peer device receives the 802.3x flow control frame
  • the peer device changes from the non-flow control state to the flow control state, and determines whether the flow control state should be ended based on the flow control time in the 802.3x flow control frame.
  • the time is over, a data packet is sent. If the flow control time is not over, a control frame is sent.
  • the operation of receiving the flow control frame does not affect the sending of the current data message, so as to ensure that no data message is lost during the flow control process.
  • the board mapping module 42 After the message is forwarded to the board mapping module 42, if the current number of messages in the board buffer 43 exceeds a predetermined threshold, the board buffer generates a hardware backpressure signal XON / OFF, and the board mapping module 42 generates a board level
  • the flow control frame is fed back to the message forwarding module 40.
  • the message forwarding module 40 receives the board-level flow control frame and stops sending a message to the transmission board.
  • the board buffer 43 When the message in the board buffer 43 is reported, When the text is lower than the specified lower limit value, or when the flow control time in the Ethernet flow control frame ends, the board buffer 43 generates an XON / OFF signal with a back pressure signal value of 0, and the signal is sent to the unit.
  • the board mapping module 42 stops performing flow control to form a board-level flow control.
  • the message forwarding module sends 802.3x flow control frames to the peer device, forming a data transmission port flow control, thereby achieving "data transmission port-level flow control + board” Level flow control.
  • the logical subchannel buffer 45 When the message is forwarded to the logical subchannel mapping module 44, if the current number of messages in the logical subchannel buffer 45 exceeds a predetermined threshold, the logical subchannel buffer 45 generates a back pressure signal XON / OFF, and the logical subchannel mapping Module 44 generates a channel-level stream after receiving the backpressure signal Control frame, the channel-level flow control frame is fed back to the board mapping module 42, and the board mapping module 42 transparently transmits to the message forwarding module 40, and the message forwarding module 40 stops sending a message after receiving the channel flow control frame, When the message in the logical sub-channel buffer 45 is lower than the specified low threshold, the logical sub-channel buffer 45 generates an XON / OFF signal with a back pressure signal value of 0, which is sent to the logical sub-channel mapping module 44, stop performing flow control, forming channel-level flow control.
  • the message forwarding module sends 802.3x flow control frames to the peer device to form data transmission port flow control, thereby achieving "data transmission port level flow control + channel level flow control".
  • the board mapping module 42 generates a board flow control frame, and the board mapping module combines the board flow control frame and the logic sub-channel level flow control frame, and then reports the The text forwarding module 40 sends the combined plate flow control frame to form a plate flow control, thereby implementing "data transmission port-level flow control + board-level flow control + channel-level flow control" flow control.
  • the message forwarding module 40 receives a message from the FE / GE data transmission port, and forwards the message according to the requirements of the current transmission service according to the data transmission port, user, VLAN, or message body.
  • the message format of the data transmission port is shown in FIG. 5a, which is composed of a frame header (SOF) and a payload (PAYLOAD) frame trailer (EOF).
  • SOF frame header
  • PAYLOAD payload
  • EEF payload
  • the board number and channel number obtained by the look-up table are inserted into the message to form a look-up table forwarded message, which is forwarded to the next level.
  • the table forwarding message is shown in Figure 5b.
  • the message further includes a 4-bit board number, an 8-bit channel number, and a 16-bit reserved word between the frame header and the payload. (Rev).
  • a back pressure signal XON / OFF is generated, and the board mapping module generates a plate flow control frame and feeds it back to the message forwarding module 40.
  • the plate flow control frame is shown in FIG. 5c.
  • the frame structure is based on the look-up table forwarding message, and the 16-bit reserved word in the table look-up forwarding message is set to 16-bit flow control information.
  • the flow control information includes 15-bit board congestion information flags AO ⁇ A14 and 1-bit frame type flag B, AO ⁇ A14 each represents the congestion of each board, which can reflect the 15 fast boards.
  • a value of 0 indicates no congestion and a value of 1 Indicates congestion;
  • B represents whether the current frame is an empty frame carrying only flow control information, a value of 0 is a normal data message, and a value of 1 is an empty frame carrying only flow control information.
  • the flow control information has a frame type flag
  • Data packets carry flow control information. In order to effectively use bandwidth, both of the above methods are used.
  • an empty frame is constructed to carry the flow control information.
  • each packet carries the flow control information of all the boards.
  • the frame format is shown in FIG. 7.
  • the channel-level flow control frame includes a frame header, 4-bit board number information, 8-bit channel number information, 16-bit flow control information, a payload, and a frame tail.
  • the flow control information includes 14-bit board congestion information flag AO ⁇ A13, 1-bit current communication
  • the road congestion information flag C and the 1-bit frame type flag B are similar to the flow control information in the plate flow control frame.
  • Each of AO ⁇ A14 represents the congestion of each board, and it can reflect 14 boards.
  • B represents the current board. Whether the frame is an empty frame that only carries flow control information.
  • C represents whether the channel is congested according to the board number and channel number.
  • the foregoing plate-based flow control or channel-level flow control is based on hardware backpressure, adding flow control information to the message or constructing an empty frame carrying the flow control information, and transmitting congested transmission boards or logic sub-frames.
  • the channel implements flow control. Then, through the flow control based on the data transmission port level, the standard 802.3x flow control frame is fed back to the upper-level device, and plate or channel level flow control is realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Selective Calling Equipment (AREA)
  • Communication Control (AREA)
  • General Factory Administration (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Transmitters (AREA)

Description

一种城域网传输设备的流量控制方法 技术领域
本发明涉及数据传输领域， 具体地说， 涉及城域网传输设备的流量 控制方法。 发明背景
在基于同步数字体系 （SDH ) 的城域网设备中， 用户的数据要映射 到 SDH上进行传输， 当对端设备发送的数据量超过本端设备的处理能 力时， 就会发生拥塞， 则需要进行流量控制。
目前， 城域网传输设备中， 流量控制大都是采用 IEEE标准中所定 义的基于数据传输端口的以太网流控机制。 当数据传输端口緩冲区数据 超过规定的高限阈值时，数据传输端口向对端设备发送标准的 802.3x流 控帧， 对端设备依据流控帧携带的流控时间决定是否结束流控状态。 流 控时间结束后， 又可以发送数据。
802.3x标准的流量控制是 IEEE标准的协议， 协议成熟， 易于实现， 但由于该标准的流量控制依据流控帧携带的流量控制时间来判断是否 结束流量控制状态， 因此实时性差。 另一方面， 802.3x标准的流量控制 是基于以太网数据传输端口的流量控制 , 对于以太网城域传输设备中传 输单板、 映射通道的流量控制无法实现。 随着城域网传输设备中单板和 逻辑子通道数的增加， 单板或巡辑子通道发生拥塞的几率也增加， 在单 板或逻辑子通道发生拥塞时， 数据传输端口不会暂停向单板和逻辑子通 道发送数据， 从而造成单板或映射通道崩溃， 无法满足复杂的以太网城 域传输设备的流量控制业务需求。 发明内容
本发明提供一种城域网传输设备流量控制的方法， 以在传统的以太 网数据传输端口流量控制的基础上， 扩展实现板级和逻辑子通道级的流 量控制， 使以太网城域传输设备的流量控制更加完善。
本发明通过以下具体方案实现：
一种城域网传输设备的流量控制方法， 其特征在于包括以下步驟： 判断接收端传输设备的数据传输端口是否发生拥塞， 如果是， 则由 报文转发模块向发送端传输设备反馈以太网流控帧， 发送端传输设备接 收到以太网流控帧后，暂停发送报文；判断数据传输端口拥塞是否结束， 如果是， 则发送端传输设备继续发送报文， 否则由接收端报文转发模块 继续向发送端传输设备反馈以太网流控帧， 形成数据传输端口流量控 制；
判断数据传输端口的单板是否发生拥塞， 如果是， 则由单板映射模 块向报文转发模块反馈板级流控帧， 报文转发模块接收到该板级流控帧 后， 暂停向单板发送报文； 判断数据传输端口的单板拥塞是否结束， 如 果是， 则报文转发模块继续向单板发送报文， 否则由单板映射模块继续 向报文转发模块反馈板级流控帧， 形成单板流量控制；
判断单板的逻辑子通道是否发生拥塞， 如果是， 则由逻辑子通道映 射模块将逻辑子通道級流控帧经单板映射模块转发至报文转发模块， 报 文转发模块接收到该逻辑子通道级流控帧后， 暂停向逻辑子通道发送报 文； 判断单板的逻辑子通道拥塞是否结束， 如果是， 则报文转发模块继 续向逻辑子通道发送报文， 否则由逻辑子通道映射模块继续向报文转发 模块反馈逻辑子通道级流控帧， 形成逻辑子通道流量控制。
其中，所述判断接收端传输设备的数据传输端口是否发生拥塞包括： 判断数据传输端口緩冲区的报文数是否超过预定的高限阔值； 所述判断 数据传输端口拥塞是否结束包括： 由报文转发模块判断数据传输端口緩 冲区的报文数是否低于预定的低限阈值， 或者由发送端传输设备判断以 太网流控帧中的流量控制时间是否结束； 所述以太网流控帧由报文转发 模块接收到数据传输端口緩冲区产生的反压信号后生成。
其次， 所述判断数据传输端口的单板是否发生拥塞包括： 判断单板 緩冲区的报文数是否超过预定的高限阈值； 所述判断数据传输端口的单 板拥塞是否结束包括： 判断单板緩冲区的报文数是否低于预定的低限阈 值； 所述板级流控帧由单板映射模块接收到单板緩冲区产生的反压信号 后生成。
另， 所述判断单板的逻辑子通道是否发生拥塞包括： 判断逻辑子通 道緩冲区的报文数是否超过预定的高限阈值； 所述判断单板的逻辑子通 道拥塞是否结束包括： 判断逻辑子通道緩冲区的报文数是否低于预定的 低限阔值。
所述逻辑子通道映射模块将逻辑子通道级流控帧经单板映射模块转 发至报文转发模块包括： 逻辑子通道緩冲区产生反压信号， 逻辑子通道 映射模块接收该反压信号生成逻辑子通道级流控帧， 并经单板映射模块 透传至报文转发模块；
所述逻辑子通道映射模块将逻辑子通道级流控帧经单板映射模块转 发至报文转发模块还可包括： 逻辑子通道緩冲区产生反压信号， 逻辑子 通道映射模块接收该反压信号生成逻辑子通道级流控帧， 单板映射模块 将逻辑子通道级流控帧与板极流控帧合并为板级流控帧， 将合并后的板 极流控帧反馈至报文转发模块。
较佳地， 所述的板级流控帧或逻辑子通道级流控帧为携带流量控制 信息的正常数据报文， 或者为携带流量控制信息的空帧。
较佳地， 设置所述的板級流控帧或還辑子通道级流控帧携带所有单 板的流量控制信息。
较佳地， 设置所述板级流控帧至少依次包含帧头、 单板号、 逻辑子 通道号、 流量控制信息标志、 净荷以及帧尾， 其中， 流量控制信息至少 包含 15比特单板拥塞信息标志以及 1比特帧类型标志， 单板号为 4比 特， 所述逻辑子通道号为 8比特。
较佳地，设置所述逻辑子通道级流控帧至少依次包含帧头、单板号、 逻辑子通道号、 流量控制信息、 净荷以及帧尾， 其中， 流量控制信息至 少包含 14比特单板拥塞信息标志、 1比特当前通道拥塞信息标志以及 1 比特帧类型标志， 单板号为 4比特， 所述逻辑子通道号为 8比特。
本发明利用硬件的反压机制和自定义流控帧相结合的方法, 通过采 用正常数据报文携带流量控制信息或者构建携带流量控制信息的空帧 的方式， 在单板和逻辑子通道进行流量控制， 扩展实现了城域网传输设 备的流量控制策略， 使城域网的流量控制策略更加完善， 满足了复杂的 以太网城域传输设备的流量控制业务需求， 并具有硬件电路简单、 软件 流量控制灵活、 易于升级等诸多优点， 与单纯的硬件实现相比可以极大 的降低成本， 提高了设备的可维护性， 拥塞控制实时性更好。 附图简要说明
图 1为本发明的总体技术方案示意图；
图 2为 802.3x流控帧格式；
图 3为流量控制操作发送状态示意图；
图 4为板极流量控制示意图；
图 5a为数据传输端口接收的报文格式， 图 5b为报文转发模块进行 查表转发的报文格式， 图 5c为板极流控帧格式；
图 6为逻辑子通道流量控制示意图； 图 7为逻辑子通道流控帧格式。 实施本发明的方式
下面结合附图对本发明进行详细描述。
本发明根据城域网传输设备的特点， 提出基于 "数据传输端口级流 量控制 +板级流量控制 +通道级流量控制" 的流量控制方法。
参见图 1本发明总体技术方案示意图。 图中， 粗实线为表示数据流 的传输， 细实线表示流控帧的传输。 通常， 一个数据传输端口下连有多 个单板， 一个单板上有多个逻辑子通道。
在城域网传输设备中， 来自 FE/GE (电口 /光口）数据传输端口的报 文转发到逻辑子通道需经过以下过程： 首先， 报文转发模块 40将接收 到的报文緩存于数据传输端口緩存区 41 中， 并根据查表结果， 在报文 中增加单板号、 通道号信息， 再将数据报文转发到单板映射模块 42; 接 着， 单板映射模块 42将来自报文转发模块 40的报文緩存于单板緩存区 43中，再转发报文到相应的传输单板，完成基于板号的报文转发；最后， 逻辑子通道映射模块 44将来自单板的报文緩存于逻辑子通道緩存区 45 中， 再转发报文到相应的逻辑子通道， 完成基于逻辑子通道号的报文转 发。
当数据传输端口发送报文的流量超过报文转发模块 40的处理时，导 致数据传输端口緩冲区 41 中的当前报文数超过预定的高限阈值， 数据 传输端口緩冲区 41产生反压信号值为 1的 XON/OFF信号，报文转发模 块 40检测到该反压信号， 产生一个标准的 802.3x流控帧发送到当前的 数据传输端口， 数据传输端口将该流控帧发送到对端设备， 对端设备接 收到 802.3x流控帧后暂停向本端设备发送数据报文，而本端设备收到对 端发来的流控帧时也暂停向对端发送数据报文， 以进行流量控制， 防止 拥塞发生， 形成基于数据传输端口的流量控制。
参见图 2所示， 上述 802.3x流控帧格式包括 MAC目的地址、 MAC 源地址、 类型域、 Opcode、 流量控制时间和报文长度， 其中， MAC 目 的地址固定为 0180c2000001 , MAC源地址在接收时不关心， 发送时设 置为 000000000000, 类型域固定为 0x0001 , 流量控制时间可由用户自 己设置。
参见图 3所示， 图 3为流量控制操作发送状态示意图。 当对端设备 接收到 802.3x 流控帧时， 对端设备从非流量控制状态变为流量控制状 态， 依据 802.3x流控帧中的流量控制时间， 判断是否应结束流量控制状 态， 若流量控制时间结束， 则发送数据报文， 若流量控制时间未结束， 则发送控制帧。 接收流控帧操作不影响当前数据报文的发送， 以保证在 流量控制处理过程中没有数据报文丟失。
当报文转发到单板映射模块 42后， 如果单板缓冲区 43中当前报文 数超过预定的阈值， 单板緩冲区产生硬件反压信号 XON/OFF， 单板映 射模块 42产生板级流控帧， 该流控帧反馈给报文转发模块 40, 报文转 发模块 40接收到该板级流控帧， 停止向该传输单板发送报文， 当单板 緩冲区 43 中的报文低于规定的低限阔值时， 或者， 以太网流控帧中的 流控时间结束时，单板緩冲区 43产生反压信号值为 0的 XON/OFF信号， 该信号送至单板映射模块 42, 停止执行流量控制， 形成基于板级的流量 控制。 同时， 若数据传输端口緩冲区 41 产生反压信号， 使得报文转发 模块向对端设备发送 802.3x流控帧， 形成数据传输端口流量控制， 从而 实现了 "数据传输端口级流量控制 +板级流量控制 "。
当报文转发到逻辑子通道映射模块 44, 如果逻辑子通道緩冲区 45 中当前报文数超过预定的阔值， 逻辑子通道緩冲区 45 产生反压信号 XON/OFF, 逻辑子通道映射模块 44接收到该反压信号后产生通道级流 控帧， 该通道级流控帧反馈给单板映射模块 42, 单板映射模块 42再透 传到报文转发模块 40， 报文转发模块 40接收到该通道流控帧后停止发 送报文， 当逻辑子通道緩冲区 45 中的报文低于规定的低限阈值时， 逻 辑子通道緩冲区 45产生反压信号值为 0的 XON/OFF信号，该信号送至 逻辑子通道映射模块 44, 停止执行流量控制， 形成通道级流量控制。 同 时， 若数据传输端口緩冲区产生反压信号， 使得报文转发模块向对端设 备发送 802.3x流控帧， 形成数据传输端口流量控制， 从而实现了 "数据 传输端口级流量控制 +通道级流量控制"。 进一步地， 如果单板緩冲区 产生反压信号， 使得单板映射模块 42产生板极流控帧， 单板映射模块 将板极流控帧和逻辑子通道级流控帧合并， 再向报文转发模块 40发送 合并后的板极流控帧， 形成板极流量控制， 从而实现了 "数据传输端口 级流量控制 +板级流量控制 +通道级流量控制" 的流量控制。
下面进一步结合板极流控帧和逻辑子通道级流控帧， 详细说明板极 流量控制和通道级流量控制的实现方法。
同时参见图 1、 图 4所示， 图 4中粗实线表示数据流的传输， 细实 线表示流控帧的传输。 报文转发模块 40接收到来自 FE/GE数据传输端 口的报文，根据当前传输业务的要求，按照数据传输端口、用户、 VLAN 或者报文本身进行转发。
其中， 数据传输端口报文格式如图 5a所示， 由帧头 （SOF )、 净荷 ( PAYLOAD ) 帧尾（EOF )组成。 为了使报文顺利地转发到相应的逻 辑子通道中， 把查表获得的板号、 通道号插入在报文中， 形成查表转发 报文， 该报文转发到下一级。
查表转发报文如图 5b所示，该报文在数据传输端口报文基础上，在 帧头和净荷之间进一步包括 4比特的板号、 8比特的通道号以及 16比特 的保留字（Rev )。 当发送到单板緩冲区 43中报文数超过预定的阈值时， 发生拥塞， 产生反压信号 XON/OFF, 单板映射模块产生板极流控帧反 馈至报文转发模块 40。
板极流控帧如图 5c所示，该帧结构在查表转发报文的基 上，将查 表转发报文中 16比特的保留字设置为 16比特的流量控制信息， 该流量 控制信息包括 15比特的单板拥塞信息标志 AO ~ A14和 1比特的帧类型 标志 B, AO ~ A14每位代表各个单板的拥塞情况， 可反映 15快单板， 值为 0表示无拥塞， 值为 1表示有拥塞； B代表当前帧是否为一个只携 带流量控制信息的空帧， 值为 0为正常数据报文， 值为 1为只携带流量 控制信息的空帧。 由于流量控制信息中有帧类型标志， 因此可以有两种 方式传递发生拥塞信息， 一种是 B=l时， 构建的携带流量控制信息的空 帧； 一种是 B=0时， 在正常的数据报文中携带流量控制信息。 为了有效 利用带宽， 上述两种方式都使用， 当拥塞发生且传输单板有数据报文转 发到 FE/GE数据传输端口时， 使用正常的数据报文中携带流量控制信 息， 当拥塞发生且没有数据报文转发到 FE/GE数据传输端口时， 构建携 带流量控制信息的空帧。 而且为了使板级流量控制实时性更好， 使每一 个报文都携带所有单板的流量控制信息。
参见图 6所示，与板极流量控制相似， 当逻辑子通道緩冲区 45中报 文数超过预定的阈值时， 发生拥塞， 产生反压信号 XON/OFF, 逻辑子 通道映射模块产生通道级流控帧反馈至报文转发模块 40。由于逻辑子通 道较多， 不可能在流量控制信息中表示所有通道的拥塞状态， 因此只在 流量控制信息中添加表征当前通道的拥塞状况的标志， 同时兼容传输单 板的拥塞状况。
帧格式如图 7所示， 通道级流控帧包括帧头、 4比特的板号信息、 8 比特的通道号信息、 16比特的流量控制信息、 净荷以及帧尾， 其中， 流 量控制信息包括 14比特的单板拥塞信息标志 AO ~ A13、 1比特的当前通 道拥塞信息标志 C以及 1比特的帧类型标志 B, 与板极流控帧中的流量 控制信息相似， AO ~ A14每位代表各个单板的拥塞情况， 可反映 14个 单板， B代表当前帧是否为一个只携带流量控制信息的空帧， C代表由 板号和通道号所决定的通道是否拥塞。
上述板极流量控制或通道級流量控制通道级流量控制都是基于硬件 反压基础上， 在报文中增加流量控制信息或者构建携带流量控制信息的 空帧， 对拥塞的传输单板或逻辑子通道实施流量控制。 再通过基于数据 传输端口级的流量控制， 把标准的 802.3x的流控帧反馈到上一级设备， 实现了板极或通道级流量控制。

Claims

权利要求书
1、 一种城域网传输设备的流量控制方法， 其特征在于包括以下 步骤：
判断接收端传输设备的数据传输端口是否发生拥塞， 如果是， 则由 报文转发模块向发送端传输设备反馈以太网流控帧， 发送端传输设备接 收到以太网流控帧后，暂停发送报文；判断数据传输端口拥塞是否结束， 如果是， 则发送端传输设备继续发送报文， 否则由接收端报文转发模块 继续向发送端传输设备反馈以太网流控帧， 形成数据传输端口流量控 制；
判断数据传输端口的单板是否发生拥塞， 如果是， 则由单板映射模 块向报文转发模块反馈板级流控帧， 报文转发模块接收到该板级流控帧 后， 暂停向单板发送报文； 判断数据传输端口的单板拥塞是否结束， 如 果是， 则报文转发模块继续向单板发送报文， 否则由单板映射模块继续 向报文转发模块反馈板级流控帧， 形成单板流量控制；
判断单板的逻辑子通道是否发生拥塞， 如果是， 则由逻辑子通道映 射模块将逻辑子通道级流控帧经单板映射模块转发至报文转发模块， 报 文转发模块接收到该逻辑子通道级流控帧后 , 暂停向逻辑子通道发送报 文； 判断单板的逻辑子通道拥塞是否结束， 如果是， 则报文转发模块继 续向逻辑子通道发送报文， 否则由逻辑子通道映射模块继续向报文转发 模块反馈逻辑子通道级流控帧， 形成逻辑子通道流量控制。
2、 根据权利要求 1所述的流量控制方法， 其特征在于， 所述判断接收端传输设备的数据传输端口是否发生拥塞包括： 判断 数据传输端口緩冲区的报文数是否超过预定的高限阔值；
所述判断数据传输端口拥塞是否结束包括： 由报文转发模块判断数 据传输端口緩冲区的报文数是否低于预定的低限阈值， 或者由发送端传 输设备判断以太网流控帧中的流量控制时间是否结束；
所述以太网流控帧由报文转发模块接收到数据传输端口緩冲区产生 的反压信号后生成。
3、 根据权利要求 1所述的流量控制方法， 其特征在于， 所述判断数据传输端口的单板是否发生拥塞包括： 判断单板緩冲区 的报文数是否超过预定的高限阔值；
所述判断数据传输端口的单板拥塞是否结束包括： 判断单板緩冲区 的报文数是否低于预定的低限阈值；
所述板级流控帧由单板映射模块接收到单板緩冲区产生的反压信号 后生成。
4、 根据权利要求 1所述的流量控制方法， 其特征在于， 所述判断单板的逻辑子通道是否发生拥塞包括： 判断逻辑子通道緩 冲区的报文数是否超过预定的高限阔值；
所述判断单板的逻辑子通道拥塞是否结束包括： 判断逻辑子通道緩 冲区的报文数是否低于预定的低限阈值。
5、 根据权利要求 1或 4所述的流量控制方法， 其特征在于， 所 述逻辑子通道映射模块将逻辑子通道级流控帧经单板映射模块转发至 报文转发模块包括： 逻辑子通道緩冲区产生反压信号， 逻辑子通道映射 模块接收该反压信号生成逻辑子通道级流控帧， 并经单板映射模块透传 至报文转发模块。
6、 根据权利要求 1或 4所述的流量控制方法， 其特征在于， 所 述逻辑子通道映射模块将逻辑子通道级流控帧经单板映射模块转发至 报文转发模块包括： 逻辑子通道緩冲区产生反压信号， 逻辑子通道映射 模块接收该反压信号生成逻辑子通道级流控帧， 单板映射模块将逻辑子 通道级流控帧与板极流控帧合并为板级流控帧， 将合并后的板极流控帧 反馈至报文转发模块。
7、 根据权利要求 1 所述的流量控制方法， 其特征在于， 所述的 板级流控帧或逻辑子通道级流控帧为携带流量控制信息的正常数据报 文， 或者为携带流量控制信息的空帧。
8、 根据权利要求 1 所述的流量控制方法， 其特征在于， 设置所 述的板级流控帧或逻辑子通道级流控帧携带所有单板的流量控制信息。
9、 根据权利要求 1 所述的流量控制方法， 其特征在于， 设置所 述板级流控帧至少依次包含帧头、 单板号、 逻辑子通道号、 流量控制信 息标志、 净荷以及帧尾， 其中， 流量控制信息至少包含 15 比特单板拥 塞信息标志以及 1比特帧类型标志， 单板号为 4比特， 所述逻辑子通道 号为 8比特。
10、 根据权利要求 1 所述的流量控制方法， 其特征在于， 设置所 述逻辑子通道级流控帧至少依次包含帧头、 单板号、 逻辑子通道号、 流 量控制信息、 净荷以及帧尾， 其中， 流量控制信息至少包含 14 比特单 板拥塞信息标志、 1比特当前通道拥塞信息标志以及 1比特帧类型标志， 单板号为 4比特， 所述逻辑子通道号为 8比特。
PCT/CN2003/000982 2002-11-19 2003-11-19 Procede de commande de flux d'un dispositif de transmission man WO2004047368A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE60316719T DE60316719T2 (de) 2002-11-19 2003-11-19 Flusssteuerungsverfahren einer man-übertragungseinrichtung
EP03811330A EP1568173B1 (en) 2002-11-19 2003-11-19 Flow control method of man transmission device
AU2003302100A AU2003302100A1 (en) 2002-11-19 2003-11-19 Flow control method of man transmission device
US11/131,966 US7593328B2 (en) 2002-11-19 2005-05-18 Flow control method using feedback to control flow on the network, switch and channels in large communication networks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNB021487693A CN1260915C (zh) 2002-11-19 2002-11-19 一种城域网传输设备的流量控制方法
CN02148769.3 2002-11-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/131,966 Continuation US7593328B2 (en) 2002-11-19 2005-05-18 Flow control method using feedback to control flow on the network, switch and channels in large communication networks

Publications (1)

Publication Number Publication Date
WO2004047368A1 true WO2004047368A1 (fr) 2004-06-03

Family

ID=32315217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2003/000982 WO2004047368A1 (fr) 2002-11-19 2003-11-19 Procede de commande de flux d'un dispositif de transmission man

Country Status (7)

Country Link
US (1) US7593328B2 (zh)
EP (1) EP1568173B1 (zh)
CN (1) CN1260915C (zh)
AT (1) ATE375049T1 (zh)
AU (1) AU2003302100A1 (zh)
DE (1) DE60316719T2 (zh)
WO (1) WO2004047368A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1260926C (zh) * 2002-11-08 2006-06-21 华为技术有限公司 一种城域传输设备中虚容器映射通道的流量控制方法
US7742412B1 (en) 2004-09-29 2010-06-22 Marvell Israel (M.I.S.L.) Ltd. Method and apparatus for preventing head of line blocking in an ethernet system
US9002258B2 (en) * 2006-01-18 2015-04-07 Dongju Chung Adaptable audio instruction system and method
CN1909508B (zh) * 2006-08-23 2010-08-18 华为技术有限公司 端口流控方法
CN100550852C (zh) * 2007-01-18 2009-10-14 华为技术有限公司 一种实现海量端口反压的方法及其装置
US20080313240A1 (en) * 2007-06-18 2008-12-18 Freking Ronald E Method for Creating Data Transfer Packets With Embedded Management Information
US7733805B2 (en) 2007-07-25 2010-06-08 Brocade Communications Systems, Inc. Method and apparatus for determining bandwidth-consuming frame flows in a network
JP2009159467A (ja) * 2007-12-27 2009-07-16 Fujitsu Ltd 無線通信装置、無線通信プログラム、および無線通信方法
CN101499879A (zh) * 2008-02-01 2009-08-05 华为技术有限公司 一种故障反馈方法、系统及装置
GB2459838B (en) * 2008-05-01 2010-10-06 Gnodal Ltd An ethernet bridge and a method of data delivery across a network
US9906468B2 (en) * 2011-10-27 2018-02-27 Cavium, Inc. Packet traffic control in a network processor
US9306794B2 (en) 2012-11-02 2016-04-05 Brocade Communications Systems, Inc. Algorithm for long-lived large flow identification
US9577791B2 (en) 2012-12-05 2017-02-21 Intel Corporation Notification by network element of packet drops
US9030936B2 (en) * 2013-06-12 2015-05-12 Intel Corporation Flow control with reduced buffer usage for network devices
CN103701710B (zh) 2013-12-20 2017-01-11 杭州华为数字技术有限公司 一种数据传输方法、核心转发设备以及端点转发设备
CN103763204B (zh) * 2013-12-31 2017-03-08 华为技术有限公司 一种流量控制方法及装置
CN103731363B (zh) * 2014-01-15 2019-03-01 网神信息技术（北京）股份有限公司 互联网流量控制方法和装置
CN106685847B (zh) * 2015-11-06 2020-01-17 华为技术有限公司 一种报文处理方法、装置及设备
CN107547414A (zh) * 2016-06-24 2018-01-05 中兴通讯股份有限公司 报文发送方法及装置
CN107360102B (zh) * 2017-07-17 2019-11-08 迈普通信技术股份有限公司 以太报文接收方法及数据通信设备
CN108737296B (zh) * 2017-09-27 2020-12-04 新华三技术有限公司 一种数据传输方法、装置和网络设备
CN110213168B (zh) * 2018-02-28 2022-04-22 中航光电科技股份有限公司 一种fc转以太网的数据转换流量控制方法及装置
CN113874848A (zh) 2019-05-23 2021-12-31 慧与发展有限责任合伙企业 用于促进网络接口控制器(nic)中对加速器的操作管理的系统和方法
US20240039871A1 (en) * 2022-07-29 2024-02-01 Cisco Technology, Inc. First burst emulator in a network switch

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076138A2 (en) * 2000-03-31 2001-10-11 International Business Machines Corporation Method and system for controlling flows in sub-pipes of computer networks
CN1353367A (zh) * 2000-11-02 2002-06-12 北京算通数字技术研究中心有限公司 一种基于随机早期检测的逐节拥塞控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126419A (ja) * 1996-10-23 1998-05-15 Nec Corp Ａｔｍ交換機システム
US6118761A (en) * 1997-12-18 2000-09-12 Advanced Micro Devices, Inc. Apparatus and method for generating rate control frames in a workgroup switch based on traffic contribution from a network switch port

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076138A2 (en) * 2000-03-31 2001-10-11 International Business Machines Corporation Method and system for controlling flows in sub-pipes of computer networks
CN1353367A (zh) * 2000-11-02 2002-06-12 北京算通数字技术研究中心有限公司 一种基于随机早期检测的逐节拥塞控制方法

Also Published As

Publication number Publication date
CN1260915C (zh) 2006-06-21
DE60316719D1 (de) 2007-11-15
CN1501639A (zh) 2004-06-02
US20050270976A1 (en) 2005-12-08
AU2003302100A1 (en) 2004-06-15
US7593328B2 (en) 2009-09-22
EP1568173B1 (en) 2007-10-03
EP1568173A1 (en) 2005-08-31
EP1568173A4 (en) 2006-07-26
DE60316719T2 (de) 2008-07-24
ATE375049T1 (de) 2007-10-15

Similar Documents

Publication Publication Date Title
WO2004047368A1 (fr) Procede de commande de flux d'un dispositif de transmission man
US7813285B2 (en) Method for per-port flow control of packets aggregated from multiple logical ports over a transport link
EP2132910B1 (en) Method of transmitting data in a wireless communication system
CN102316516B (zh) 一种lte上行数据传输结构构建方法
JP2002271366A (ja) パケット伝送方法及びシステム、並びにパケット送信装置、受信装置、及び送受信装置
US7912078B2 (en) Credit based flow control in an asymmetric channel environment
CN110868359B (zh) 一种网络拥塞控制方法
JP2002232479A5 (zh)
WO2008089639A1 (fr) Procédé d'application de contre-pression massique de ports, et dispositif associé
WO2008104100A1 (fr) Appareil et procédé servant à réaliser un contrôle de flux sur la base d'une vitesse restreinte pour un dispositif mstp
JPH07321842A (ja) パケット交換ネットワークを複数個のデータ端末にインタフェースする装置、フレームリレーパケットを交換するシステムに複数個のエンドポイントをインタフェースするモジュール、ならびにデータパケットを交換するシステムに端末をインタフェースする方法
JP2010518742A (ja) 制御メッセージと音声ペイロードとを分別する方法及び装置
CN101212412A (zh) 一种mpls网络的业务调度系统
WO2022247257A1 (zh) 一种pfc风暴的检测和处理方法
CN111628999A (zh) 一种基于sdn的fast-cnp数据传输方法及系统
JPH10215246A (ja) データ配布方法およびデータ配布装置
CN101304380B (zh) 一种弹性分组环的流量传输方法和弹性分组环节点
Dix et al. Access to a public switched multi-megabit data service offering
CN107820218B (zh) 报文传输方式的设定方法及设备
Havinga et al. Energy-efficient adaptive wireless network design
WO2004015923A1 (fr) Procede de commande de flux pour la transmission de services de donnees dans un reseau sdh
WO2022007829A1 (zh) 数据的传输方法、装置及设备
WO2008128464A1 (fr) Dispositif et procédé pour réaliser le transfert d'un flux unique par de multiples unités de traitement en réseau
WO2011015058A1 (zh) 一种分组数据传输系统和方法
WO2011020228A1 (zh) 在移动終端、 中继站和中继管理设备中用于下行流量控制的裝置和方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11131966

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003811330

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003811330

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWG Wipo information: grant in national office

Ref document number: 2003811330

Country of ref document: EP