TWI461032B - 電腦系統及在電腦系統的通信方法 - Google Patents
電腦系統及在電腦系統的通信方法 Download PDFInfo
- Publication number
- TWI461032B TWI461032B TW100132200A TW100132200A TWI461032B TW I461032 B TWI461032 B TW I461032B TW 100132200 A TW100132200 A TW 100132200A TW 100132200 A TW100132200 A TW 100132200A TW I461032 B TWI461032 B TW I461032B
- Authority
- TW
- Taiwan
- Prior art keywords
- flow path
- node
- switches
- controller
- item
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/44—Star or tree networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
- H04L12/462—LAN interconnection over a bridge based backbone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/38—Flow based routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/42—Centralised routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/54—Organization of routing tables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/10—Mapping addresses of different types
- H04L61/103—Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/66—Layer 2 routing, e.g. in Ethernet based MAN's
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
- Computer And Data Communications (AREA)
Description
本發明係有關於電腦系統、及在電腦系統的通信方法,尤其有關於使用開放流技術的電腦系統。
在Ethernet(註冊商標)的通信中,藉由Spanning Tree Protocol(STP),可在網路中使用的實體鏈接的靈活性會消失,而變得無法進行多重路徑通信。
為解決該問題,藉由OpenFlow所為之路徑控制已被提出(參照非專利文獻1)。關於利用OpenFlow技術的電腦系統,係記載於例如日本特開2003-229913(參照專利文獻1)。與該技術相對應的網路交換器(以下稱為可程式流道交換器(PFS,Programmable Flow Switch))係可將通信協定類別或埠編號等詳細資訊保持在流道表(flow table),而進行流道的控制。其中,PFS亦稱為開放流交換器。
第1圖係顯示利用OpenFlow技術之電腦系統之構成之一例圖。參照第1圖,可程式流道控制器(亦稱為PFC,開放流控制器)100係對單一的子網路(P-Flow Network)內的PFS200、300設定流道項目(flow entry),藉此進行該子網路內的流道控制。
PFS200、300係參照本身所保持的流道表,執行以與收訊封包的標頭資訊相對應的流道項目所規定的行為(action)(例如封包資料的中繼或廢除)。詳而言之,PFS200、300係當接收到在HOST400間所轉送的封包時,收訊封包的標頭資訊適合(一致)於本身的流道表所設定的流道項目(內的規則)時,執行以該流道項目所規定的行為。另一方面,收訊封包的標頭資訊不適合(一致)於流道表所設定的流道項目(內的規則)時,PFS200、300係將收訊封包辨識為最初封包,對PFC100通知該最初封包的收訊,並且將該封包的標頭資訊傳送至PFC100。PFC100係將與所被通知的標頭資訊相對應的流道項目(流道(flow)+行為(action))設定在屬於最初封包之通知源的PFS。
如上所示,在習知的開放流技術中,在PFS200、300接收到在HOST400間所被轉送的封包之後,藉由PFC100,進行對在該HOST400間所被傳送接收的封包的轉送控制。
(專利文獻1)日本特開2003-229913
(非專利文獻1)OpenFlow Switch Specification Version 1.0.0(Wire Protocol 0x01)December 31,2009
藉由習知之OpenFlow技術所為之PFC係設定所被轉送的封包的目的地終端機與送訊源終端機之間的路徑,且在該路徑上的交換器設定流道項目。此外,即使目的地相同,在每次發生送訊源不同的封包時,必須進行收送訊終端機間的路徑及流道項目的設定。因此,若利用OpenFlow技術時,會有大量耗費系統全體的資源(流道項目數)之虞。
本發明之電腦系統係包括:控制器;複數交換器,各個對適合於藉由控制器所被設定的流道項目的收訊封包,進行以流道項目所規定的中繼動作;及複數節點,透過複數交換器的各個進行通信。控制器係設定目的地位址作為流道項目的規則。此外,控制器係設定對目的地裝置的轉送處理作為流道項目的行為。複數交換器的各個係按照本身所設定的流道項目,將包含目的地位址的收訊封包,無關於該收訊封包的送訊源位址而轉送至流道項目所設定的目的地裝置。
此外,較佳為控制器係在複數節點間被轉送封包之前,對複數交換器的各個設定流道項目。
此外,較佳為控制器係藉由來自複數節點之中的第1節點的第1ARP要求,取得第1節點的第1MAC位址,將第1MAC位址作為流道項目的規則而設定在節點複數的交換器的各個。
此外,較佳為控制器係將以其他節點的MAC位址作為送訊源的ARP響應傳送至第1節點,作為對由第1節點至其他節點的第1ARP要求的響應。
此外,控制器係藉由來自複數節點之中的第1節點的第1ARP(Address Resolution Protocol)要求,取得第1節點(VM1)的第1MAC(Media Access Control)位址,將第1MAC位址作為流道項目的規則而設定在節點複數的交換器的各個。此外,較佳為控制器係發行第2ARP要求,將根據對第2ARP要求的響應所取得的第2節點的第2MAC位址作為流道項目的規則而設定在複數交換器的各個。
此外,控制器係將以其他節點的MAC位址作為送訊源的ARP響應傳送至第1節點,作為對由第1節點至其他節點的第1ARP要求的響應。此外,較佳為控制器係將對由其他節點所被傳送之至第1節點的第3ARP要求的ARP響應傳送至其他節點。
此外,較佳為複數交換器係包括與複數節點直接連接的複數第1交換器。此時,較佳為控制器係在複數第1交換器之中,在任意選擇的交換器設定流道項目,在其他交換器並未設定。
此外,較佳為控制器係將使收訊封包作ECMP(Equal Cost Multipath)路由的流道項目設定在複數交換器的各個。
本發明之通信方法係包括:控制器對複數交換器的各個設定流道項目的步驟;複數交換器的各個對適合於藉由控制器所設定的流道項目的收訊封包,進行以流道項目所規定的中繼動作的步驟;及複數節點的各個透過複數交換器的各個進行通信的步驟。設定流道項目的步驟係包括:控制器設定目的地位址來作為流道項目的規則的步驟;及設定對目的地裝置的轉送處理來作為流道項目的行為的步驟。接著,進行通信的步驟係包括:複數交換器的各個將包含該目的地位址的收訊封包,無關於收訊封包的送訊源位址而轉送至目的地裝置的步驟。
此外,較佳為上述設定流道項目的步驟係在複數節點間被轉送封包之前進行。
藉由本發明,可減低在利用OpenFlow技術之電腦系統全體的資源耗費量。
上述發明之目的、效果、特徵係連同所附圖示而由實施形態的記述更為清楚可知。
以下一面參照所附圖示,一面說明本發明之實施形態。在圖示中,相同或類似的元件符號係表示相同、類似、或等效的構成要素。
參照第2圖,說明本發明之電腦系統之構成。第2圖係顯示本發明之電腦系統之構成之一例圖。本發明之電腦系統係包括透過通信網路而相連接之可程式流道控制器10(以下稱為PFC10)、複數可程式流道交換器20-1~20-3、30-1~30-3(以下稱為PFS20-1~20-3、30-1~30-3)、實體伺服器40-1~40-5(以下稱為SV40-1~40-5)、存儲體50。其中,若未區別PFS20-1~20-3、30-1~30-3來作說明時,分別稱為PFS20、PFS30。此外,若未區別SV40-1~40-5來作說明時,分別稱為SV40。
SV40或存儲體50係包括未圖示的CPU、主記憶裝置、及外部記憶裝置的電腦裝置,藉由執行被儲放在外部記憶裝置的程式,在與其他SV40之間進行通信。SV40間的通信係透過PFS20、30來進行。SV40係按照所執行的程式,實現Web伺服器、檔案伺服器、應用伺服器、或用戶終端機等所例示的功能。例如,若SV40作為Web伺服器而發揮功能時,按照未圖示的用戶終端機的要求,將記憶裝置(未圖示)內的HTML文書或畫像資料轉送至其他SV40(例示:用戶終端機)。
SV40係包括藉由將CPU(未圖示)或記憶裝置(未圖示)的使用領域作邏輯分割或實體分割而予以實現的虛擬機器VM。在第2圖所示之一例中,在SV40-1中實現虛擬機器VM1、VM2,在SV40-2中實現虛擬機器VM3、VM4,在SV40-3中實現虛擬機器VM5、VM6,在SV40-4中實現虛擬機器VM7、VM8。虛擬機器VM1~VM8亦可藉由在各自的伺服器上的主操作系統(HOS)上所被仿擬的客戶操作系統(GOS)或GOS上進行動作的軟體予以實現。
虛擬機器VM係透過藉由虛擬機器監視器所被管理的虛擬交換器(未圖示)及實體NIC(未圖示)而與其他裝置(例如外部網路上的電腦裝置、或其他實體伺服器40內的虛擬機器VM)進行資料的傳送接收。在本實施形態中,以一例而言,進行按照TCP/IP(Transmission Control Protocol/Internet Protocol)的封包通信。
此外,本發明之虛擬交換器(未圖示)係可藉由後述的開放流技術予以控制,亦可進行如習知技術的切換動作(分層2)。此外,虛擬機器VM1~VM8的各個與實體伺服器外部係相橋接。亦即,可藉由虛擬機器VM1~VM8的MAC位址或IP位址而由外部直接通信。
PFC10係藉由開放流技術來控制系統內的通信。開放流技術係指控制器(在此為PFC10)按照路由策略(流道項目:流道+行為),將多層及流道單位的路徑資訊設定在PFS20、30,進行路徑控制或節點控制的技術。藉此,路徑控制功能由路由器或交換器分離,藉由利用控制器所為之集中控制,可進行最適的路由、訊務(traffic)管理。適用開放流技術的PFS20、30係如習知的路由器或交換器般,並非為HOP單位的通信,而是作為END2END的流道來處理通信。
PFC10係藉由包括未圖示的CPU及記憶裝置的電腦予以實現。在PFC10的流道控制處理係藉由執行被儲放在未圖示的記憶裝置的程式予以實現,藉由在PFS20、30的各個設定流道項目(流道+行為),來控制該PFS20、30的動作(例如封包資料的中繼動作)。
此外,在本發明之PFC10中,係在終端機間(例如虛擬機器VM間)進行封包轉送之前,設定HOST終端機(SV40或存儲體50)或虛擬機器VM的MAC位址。例如,PFC10係藉由ARP(Address Resolution Protocol)而事先取得HOST終端機或虛擬機器VM的MAC位址。
PFC10係作成以所取得的MAC位址為規則的流道項目,將該流道項目設定在網路內的所有PFS20、30。例如,PFC10係指定將虛擬機器VM1的MAC位址作為目的地的封包轉送目的地裝置,並且按每個PFS作成使該封包轉送的流道項目,且設定在網路內的所有交換器PFS20、30。在本發明中,由於僅以目的地MAC位址來控制流道,因此無關於送訊源而決定適合於流道項目所設定的規則(目的地MAC位址)的封包轉送目的地。因此,無須辨識封包的送訊源,即可進行流道控制。亦即,藉由本發明,藉由設定按照目的地終端機的最適路徑而形成供封包轉送之用的多重路徑,因此可進行最適的多重路徑運用。此外,如習知技術般,不用等待在PFS的最初封包的接收,即可設定流道項目,因此可提升網路的流通量(throughput)。此外,在本發明中,在終端機間進行封包轉送之前,亦即在進行系統運用之前,先進行流道項目的生成及設定,因此供運用中的流道控制之用的處理負載係比以往更為減輕。
此外,PFC10亦可作成以所取得的MAC位址作為規則的流道項目,將該流道項目設定在網路內的PFS20、30中被任意選擇的PFS20、30,而未設定在其他PFS。例如,以虛擬機器VM1的MAC位址為規則的流道項目係被設定在與HOST終端機(SV40或存儲體50)直接連接的PFS30之中所被選擇的一部分。此時,未設定流道項目的PFS30接收到至虛擬機器VM1的封包時,該封包未被轉送至任何地方而被廢除。藉此,由於可邏輯性區分封包的轉送目的地,因此可將1個實體網路分割為複數邏輯網路來加以運用。其中,在將規定出廢除至特定MAC位址的封包的流道項目設定在特定PFS的情形下亦可得同樣的效果。
PFS20、30係保持供設定流道項目的流道表(未圖示),按照所設定的流道項目,進行對收訊封包的處理(例如中繼處理或廢除)。PFS30係與HOST終端機(SV40或存儲體50)直接連接的第1段交換器,例如以機架頂端(Top-of-Rack,TOR)交換器等較為適合。此外,PFS20係以與由HOST終端機來看為第2段以後相連接的L2交換器或L3交換器,例如CORE交換器較為適合。
PFS20、30係參照本身所保持的流道表(未圖示),執行以與收訊封包的標頭資訊(尤其目的地MAC位址)相對應的流道項目所規定的行為(例如封包資料的中繼或廢除)。詳而言之,PFS20、30係當收訊封包的標頭資訊適合(一致)於以本身的流道表所設定的流道項目所規定的流道時,執行以該流道項目所規定的行為。此外,PFS20、30係當收訊封包的標頭資訊未適合(一致)於以流道表所設定的流道項目所規定的流道時,不進行對該封包的處理。此時,PFS20、30可對PFC10通知已接收到該封包,亦可廢除該封包。
在流道項目,以用以特定流道(封包資料)的資訊(以下稱為規則)而言,規定有例如在TCP/IP的封包資料的標頭資訊所包含的OSI(Open Systems Interconnection)參照模型的分層1至分層4的位址或識別子的組合。例如,分層1的實體埠、分層2的MAC位址、分層3的IP位址、分層4的埠編號、VLAN標籤的各個的組合作為規則而被設定在流道項目。但是,在本發明中,送訊源的MAC位址或IP位址並未被設定在流道項目,目的地MAC位址必定被設定在流道項目。在此,被設定在流道項目的埠編號等識別子或位址等亦可設定預定範圍。例如,亦可將虛擬機器VM1、VM2的MAC位址作為目的地MAC位址而設定在流道項目的規則。
在流道項目所規定的行為係規定例如處理TCP/IP之封包資料的方法。例如,設定表示是否中繼收訊封包資料的資訊、或中繼時設定其送訊目的地。此外,行為亦可設定指示封包資料複製、或廢除的資訊。
接著,參照第3A圖~第3J圖,說明本發明之在電腦系統的流道設定方法及通信方法的詳細內容。在以下,以一例而言,說明至虛擬機器VM1的流道設定及至虛擬機器VM5的流道設定。此外,若未區別虛擬機器VM1~VM8、實體伺服器40-1~40-5、存儲體50的各個時,則統稱為節點加以說明。
PFC10係在系統之構成已結束的時點(或系統構成已變更的時點)中,藉由與習知的流道控制器相同的方法來掌握系統內的拓樸。在此所掌握的拓樸資訊係包含關於PFS20、30、節點(虛擬機器VM1~VM8、實體伺服器40-1~40-5、存儲體50)、未圖示的外部網路(例如網際網路)等的連接狀況的資訊。具體而言,以拓樸資訊而言,該裝置的埠數或埠連接目的地資訊與用以特定PFS20、30、節點的裝置識別子產生對應而被記錄在PFC10的記憶裝置。埠連接先資訊係包含有:特定連接對象的連接類別(交換器/節點/外部網路)或特定連接目的地的資訊(若為交換器為交換器ID,若為節點為MAC位址,若為外部網路為外部網路ID)。
參照第3A圖,PFC10係捕集來自節點的ARP請求而取得(學習)請求源節點的位置(MAC位址)。例如,由虛擬機器VM1至虛擬機器VM5的ARP請求被傳送至PFC10。PFC10係由所接收到的ARP請求抽出作為送訊源節點的虛擬機器VM1的MAC位址。PFC10係規定以該MAC位址作為目的地的規則而作成流道項目。此時,作成對系統內的所有PFS20、30的流道項目。其中,對MAC位址的流道項目亦可預先設定在PFC10的記憶裝置。
參照第3B圖,已學習節點位置(MAC位址)的PFC10係註冊至該節點的路徑。例如,PFC10係將規定出以虛擬機器VM1的MAC位址作為目的地的封包的轉送及其轉送目的地裝置的流道項目設定在所有PFS20、30。此時,較佳為在PFS30-1設定有以與虛擬機器VM1相連接的實體埠作為輸出目的地的流道項目,在該PFS30-1以外的第1段PFS30係設定有相對第2段以後的PFS20作負載平衡的流道項目。例如,在PFS30係以設定朝向PFS30作ECMP(Equal Cost Multi path)路由的流道項目為較為適合。
在一般之藉由分層2所為之學習(L2 learning)中,會有因FLOODING而發生LOOP的情形、或因負載平衡而無法進行如期的學習的情形。但是,在本發明中,由於利用開放流技術,如上所示之問題並不會發生。
參照第3C圖,設定有流道項目的PFC10係將在取得(學習)MAC位址時由節點所被請求之對目的地的ARP請求,對除了該節點以外的所有節點傳送ARP請求。例如,PFC10係將至在第3A圖所示之屬於ARP請求之目的地的虛擬機器VM5的ARP請求,傳送至除了請求源的虛擬機器VM1以外的所有節點(虛擬機器VM2~VM8、SV40-5、存儲體50)。
參照第3D圖。PFC10藉由對以第3C圖所示ARP請求的響應(ARP答覆),取得(學習)目的地節點的位置(MAC位址)。在本一例中,由虛擬機器VM5被傳送ARP答覆,藉由捕集此,PFC10係取得虛擬機器VM5的位置(MAC位址)。
參照第3E圖,已取得(學習)節點之位置(MAC位址)的PFC10係註冊至該節點的路徑。在此,PFC10係將規定出以虛擬機器VM5的MAC位址作為目的地的封包的轉送及其轉送目的地裝置的流道項目設定在所有PFS20、30。此時,與上述同樣地,在由HOST終端機觀看為第1段的PFS30,較佳為設定有相對第2段以後的PFS20作負載平衡的流道項目。
參照第3F圖,PFC10係進行對以第3A圖所示之來自節點的ARP請求的代理響應。在此,PFC10係將送訊源作為虛擬機器VM5的MAC位址,發行以目的地作為虛擬機器VM1的ARP答覆。虛擬機器VM1係藉由接收對本身所傳送的ARP請求的ARP答覆,來取得所請求的虛擬機器VM5的MAC位址。
藉由以上動作,對於將ARP請求的目的地節點與請求源的節點的各個作為目的地的封包的處理內容(流道項目)係被設定在系統內的所有PFS20、30。在第3G圖所示之一例中。藉由上述動作,對至虛擬機器VM1、VM5的封包的流道項目被設定在所有PFS20、30。藉此,至虛擬機器VM1的通信、及至虛擬機器VM5的通信正常進行。此時,被傳送至各自的封包並無關於送訊源,通過按照藉由目的地MAC位址所規定的流道項目的路徑來送訊。
此外,在習知的Ethernet(註冊商標)的Spanning Tree Protocol中,為了構成單一的樹形構造,而作出未使用的實體鏈接。因此,在Ethernet(註冊商標)中,並無法在特定的節點間具有複數路徑,但是在本發明中,藉由按每個PFS設定與目的地相對應的封包轉送目的地而形成多重路徑,而實現負載分散。例如,若為上述之一例,在適合虛擬機器VM1的通信、及適合虛擬機器VM5的通信的各個中,形成按照流道項目的多重路徑而實現負載分散。
在上述之一例中,係利用藉由以流道項目所規定的ECMP所致的負載平衡,惟非侷限於此,亦可為Link Aggregation、或按每個流道項目作負載分散的方法。
另一方面,由於可進行傳送出ARP請求的請求源節點及其目的地節點的雙向通信,因此該目的地節點係由PFC10取得(學習)該請求源的位置(MAC位址)。詳而言之,參照第3H圖,由虛擬機器VM5至虛擬機器VM1的ARP請求被傳送至PFC10。參照第31圖,已經保持有虛擬機器VM1之位置(MAC位址)的PFC10係對虛擬機器VM5傳送將送訊源作為虛擬機器VM1之MAC位址的ARP答覆。虛擬機器VM5係藉由捕集此而取得虛擬機器VM1的位置(MAC位址)。藉此,如第3J圖所示,虛擬機器VM5係可對虛擬機器VM1傳送封包資料。其中,至虛擬機器V1的流道項目與至虛擬機器V5的流道項目係分別獨立設定,因此由虛擬機器V1朝向虛擬機器V5的通信路徑、及其相反方向的通信路徑並非侷限於相同的路徑。
藉由如以上所示之動作,虛擬機器VM1、VM5的二者係取得(學習)相互的位置(MAC位址),並且對送至虛擬機器VM1、VM5的各個的封包的轉送目的地被設定在所有PFS20、30。藉此,可在虛擬機器VM1與虛擬機器VM5之間進行雙向通信。
在本發明中,係以目的地MAC位址基礎來設定流道項目,因此在設定流道項目時,並不需要有送訊源的位置。因此,可在開始節點間的通信前設定流道項目。此外,如習知技術般,不需要對節點間的通信路徑設定流道項目,若按每個PFS來設定目的地MAC位址所相對的流道項目即可,因此可減低在電腦系統全體的資源耗費量。
接著,參照第4圖,說明本發明之電腦系統之應用例。在上述之例中,係將對至節點的封包的流道項目設定在所有PFS20、30,但是並非侷限於此,亦可將設定流道項目的節點形成為與節點直接連接的PFS30之中的一部分。
第4圖所示之電腦系統係包括:與網路500相連接的上位交換器(PFS20-1、20-2)、與未圖示的HOST終端機(例如SV40)直接連接的PFS30-1、30-2、30-3、及節點S、A。在此,節點A係透過PFS30-2而與該系統相連接,節點S係透過PFS30-3而與該系統相連接。
在本一例中,係藉由未圖示的PFC10,控制至節點S的流道的流道項目被設定在PFS20-1、20-2、30-3,控制至節點A的流道的流道項目被設定在PFS20-1、20-2、30-1、30-2。此時,至節點S的封包係經由通過PFS20-1、20-2、30-3之任一者的通信路徑而到達節點S,至節點A的封包係經由通過PFS20-1、20-2、30-1、30-2之任一者的通信路徑而到達節點A。亦即,節點S係被收容在以PFS20-1、20-2、30-3所建構的邏輯網路,節點A係被收容在以PFS20-1、20-2、30-1、30-2所建構的邏輯網路。
如以上所示,第4圖所示之電腦系統係構成1個實體網路,但是藉由選擇性進行流道項目的設定而被分割為2個邏輯網路。藉此,可將1個實體拓樸作為複數VLAN來處理。
以上詳述本發明之實施形態,惟具體構成並非侷限於上述實施形態,即使有未脫離本發明之要旨的範圍的變更,亦包含在本發明中。在第2圖中係以包括2段構成的PFS群的系統為一例,惟非侷限於此,亦可另外包括多數段的PFS群。此外,在PFS20亦可與習知技術相同地透過分層3(L3)交換器而連接有外部網路。
其中,本申請案係根據日本申請號2010-202468,在日本申請號2010-202468的揭示內容係藉由引用而編排在本申請案中。
10、100...可程式流道控制器(PFC)
20-1~20-3、30-1~30-3、200、300...可程式流道交換器(PFS)
40-1~40-5...實體伺服器(SV)
50...存儲體
400...HOST
500...網路
A、S...節點
VM1~8...虛擬機器
第1圖係顯示利用開放流技術之電腦系統之構成之一例圖。
第2圖係顯示本發明之電腦系統之構成之一例圖。
第3A圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3B圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3C圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3D圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3E圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3F圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3G圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3H圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3I圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第3J圖係顯示本發明之在電腦系統的流道設定方法及通信方法之一例圖。
第4圖係顯示藉由本發明之流道控制而被分割為複數個的邏輯網路之構成圖。
10...可程式流道控制器(PFC)
20-1~20-3、30-1~30-3...可程式流道交換器(PFS)
40-1~40-5...實體伺服器(SV)
50...存儲體
Claims (8)
- 一種電腦系統,包括:控制器;複數交換器,各個對適合於藉由前述控制器所被設定的流道項目的收訊封包,進行以前述流道項目所規定的中繼動作;及複數節點,透過前述複數交換器的各個進行通信,其中,前述控制器係設定目的地位址作為前述流道項目的規則,設定對目的地裝置的轉送處理作為前述流道項目的行為,前述複數交換器的各個係按照本身所設定的流道項目,將包含前述目的地位址的收訊封包,無關於前述收訊封包的送訊源位址而轉送至前述目的地裝置;其中該控制器係在前述複數節點間被轉送封包之前,對前述複數交換器的各個設定前述流道項目,前述控制器係藉由來自前述複數節點之中的第1節點的第1ARP(Address Resolution Protocol)要求,取得前述第1節點的第1MAC(Media Access Control)位址,將前述第1MAC位址作為流道項目的規則而設定在前述複數交換器的各個。
- 如申請專利範圍第1項所述的電腦系統,其中,前述控制器係將以前述其他節點的MAC位址作為送訊源的ARP響應傳送至前述第1節點,作為對由前述第1節點至其他節點的前述第1ARP要求的響應。
- 如申請專利範圍第1項所述的電腦系統,其中,前述控制器係發行第2ARP要求,將根據對前述第2ARP要求的響應所取得的第2節點的第2MAC(Media Access Control)位址作為前述流道項目的規則而設定在前述複數交換器的各個。
- 如申請專利範圍第2項所述的電腦系統,其中,前述控制器係將對由前述其他節點所被傳送之至前述第1節點的第3ARP要求的ARP響應傳送至前述其他節點。
- 如申請專利範圍第1項所述的電腦系統,其中,前述複數交換器係包括與前述複數節點直接連接的複數第1交換器,前述控制器係在前述複數第1交換器之中,在任意選擇的交換器設定前述流道項目,在其他交換器並未設定。
- 如申請專利範圍第1至5項中任一項所述的電腦系統,其中,前述控制器係將使收訊封包作ECMP(Equal Cost Multipath)路由的前述流道項目設定在前述複數交換器的各個。
- 一種通信方法,包括:控制器對複數交換器的各個設定流道項目的步驟;前述複數交換器的各個對適合於藉由前述控制器所設定的流道項目的收訊封包,進行以前述流道項目所規定的中繼動作的步驟;及前述複數節點的各個透過前述複數交換器的各個進行通信的步驟, 其中,前述設定流道項目的步驟係包括:前述控制器設定目的地位址來作為前述流道項目的規則的步驟;及設定對目的地裝置的轉送處理來作為前述流道項目的行為的步驟,前述進行通信的步驟係包括:前述複數交換器的各個將包含前述目的地位址的收訊封包,無關於前述收訊封包的送訊源位址而轉送至前述目的地裝置的步驟;其中,前述控制器係藉由來自前述複數節點之中的第1節點的第1ARP(Address Resolution Protocol)要求,取得前述第1節點的第1MAC(Media Access Control)位址,將前述第1MAC位址作為流道項目的規則而設定在前述複數交換器的各個。
- 如申請專利範圍第7項所述的通信方法,其中,設定前述流道項目的步驟係在前述複數節點間轉送封包之前進行。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010202468 | 2010-09-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201225586A TW201225586A (en) | 2012-06-16 |
TWI461032B true TWI461032B (zh) | 2014-11-11 |
Family
ID=45810642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100132200A TWI461032B (zh) | 2010-09-09 | 2011-09-07 | 電腦系統及在電腦系統的通信方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9215175B2 (zh) |
EP (1) | EP2615782A4 (zh) |
JP (1) | JP5477603B2 (zh) |
KR (1) | KR101478475B1 (zh) |
CN (1) | CN103081418B (zh) |
CA (1) | CA2810660C (zh) |
TW (1) | TWI461032B (zh) |
WO (1) | WO2012033041A1 (zh) |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104221335A (zh) * | 2012-03-23 | 2014-12-17 | 日本电气株式会社 | 控制设备、通信设备、通信系统、通信方法和程序 |
EP2852112A4 (en) * | 2012-05-15 | 2016-01-13 | Nec Corp | SYSTEM, SWITCH, CONTROL, AND PACKET TRANSMISSION PROCESS FOR SEVERAL PARTICIPANTS |
US10387201B2 (en) * | 2012-06-26 | 2019-08-20 | Vmware, Inc. | Storage performance-based virtual machine placement |
CN103905577A (zh) * | 2012-12-28 | 2014-07-02 | 中兴通讯股份有限公司 | 一种地址解析协议报文的处理方法和系统 |
CN104113474B (zh) * | 2013-04-22 | 2017-08-29 | 华为技术有限公司 | 转发路径的生成方法、控制器和系统 |
US9210074B2 (en) * | 2013-05-03 | 2015-12-08 | Alcatel Lucent | Low-cost flow matching in software defined networks without TCAMs |
CN104283756B (zh) * | 2013-07-02 | 2017-12-15 | 新华三技术有限公司 | 一种实现分布式多租户虚拟网络的方法和装置 |
CN104283814B (zh) * | 2013-07-05 | 2018-03-30 | 中兴通讯股份有限公司 | 控制数据转发的方法及逻辑交换机 |
US10454714B2 (en) | 2013-07-10 | 2019-10-22 | Nicira, Inc. | Method and system of overlay flow control |
US9231863B2 (en) * | 2013-07-23 | 2016-01-05 | Dell Products L.P. | Systems and methods for a data center architecture facilitating layer 2 over layer 3 communication |
JP6221501B2 (ja) * | 2013-08-19 | 2017-11-01 | 富士通株式会社 | ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム |
CN103441931B (zh) * | 2013-08-23 | 2017-06-20 | 华为技术有限公司 | 一种报文发送方法及装置 |
CN104683231A (zh) * | 2013-11-29 | 2015-06-03 | 英业达科技有限公司 | 路由控制方法与装置 |
US9397957B2 (en) * | 2013-12-23 | 2016-07-19 | Google Inc. | Traffic engineering for large scale data center networks |
CN103763121B (zh) * | 2013-12-24 | 2018-01-09 | 新华三技术有限公司 | 一种网络配置信息快速下发的方法及装置 |
JP6260310B2 (ja) | 2014-02-03 | 2018-01-17 | 富士通株式会社 | ネットワークスイッチ、ネットワークシステム及びネットワークシステムの制御方法 |
CN105122740B (zh) * | 2014-02-26 | 2018-07-20 | 华为技术有限公司 | 一种分流上报的方法、交换机、控制器及系统 |
CN104954281B (zh) * | 2014-03-31 | 2018-08-03 | 中国移动通信集团公司 | 通信方法、系统、资源池管理系统、交换机和控制装置 |
WO2015161416A1 (zh) * | 2014-04-21 | 2015-10-29 | 华为技术有限公司 | 一种报文传输方法、设备及通信系统 |
JPWO2015194534A1 (ja) | 2014-06-17 | 2017-04-20 | 日本電気株式会社 | スイッチ装置とコンピュータシステムと方法並びにプログラム |
KR102385707B1 (ko) * | 2014-11-25 | 2022-04-12 | 한국전자통신연구원 | 호스트 추상화를 이용한 sdn 네트워크 시스템 및 그 구현방법 |
CN104506408B (zh) * | 2014-12-31 | 2018-02-06 | 新华三技术有限公司 | 基于sdn的数据传输的方法及装置 |
JP2016139908A (ja) * | 2015-01-27 | 2016-08-04 | 日本電気株式会社 | 通信システム、通信ノード、制御装置、通信制御方法、及び、プログラム |
US10498652B2 (en) | 2015-04-13 | 2019-12-03 | Nicira, Inc. | Method and system of application-aware routing with crowdsourcing |
US10425382B2 (en) | 2015-04-13 | 2019-09-24 | Nicira, Inc. | Method and system of a cloud-based multipath routing protocol |
US10135789B2 (en) | 2015-04-13 | 2018-11-20 | Nicira, Inc. | Method and system of establishing a virtual private network in a cloud service for branch networking |
TWI543566B (zh) | 2015-05-12 | 2016-07-21 | 財團法人工業技術研究院 | 基於軟體定義網路的資料中心網路系統及其封包傳送方法、位址解析方法與路由控制器 |
JP6525256B2 (ja) * | 2015-05-29 | 2019-06-05 | Necプラットフォームズ株式会社 | 仮想ネットワークシステムおよび仮想ネットワーク経路設定方法 |
CN106385365B (zh) | 2015-08-07 | 2019-09-06 | 新华三技术有限公司 | 基于开放流Openflow表实现云平台安全的方法和装置 |
CN108028831A (zh) * | 2015-09-22 | 2018-05-11 | 慧与发展有限责任合伙企业 | 加密的数据包 |
CN105281960A (zh) * | 2015-11-20 | 2016-01-27 | 英业达科技有限公司 | 软件定义网络中流量项目的管理方法 |
US20180219765A1 (en) | 2017-01-31 | 2018-08-02 | Waltz Networks | Method and Apparatus for Network Traffic Control Optimization |
US11706127B2 (en) | 2017-01-31 | 2023-07-18 | Vmware, Inc. | High performance software-defined core network |
US20200036624A1 (en) | 2017-01-31 | 2020-01-30 | The Mode Group | High performance software-defined core network |
US10992568B2 (en) | 2017-01-31 | 2021-04-27 | Vmware, Inc. | High performance software-defined core network |
US10778528B2 (en) | 2017-02-11 | 2020-09-15 | Nicira, Inc. | Method and system of connecting to a multipath hub in a cluster |
US10523539B2 (en) | 2017-06-22 | 2019-12-31 | Nicira, Inc. | Method and system of resiliency in cloud-delivered SD-WAN |
US11115480B2 (en) | 2017-10-02 | 2021-09-07 | Vmware, Inc. | Layer four optimization for a virtual network defined over public cloud |
US10594516B2 (en) | 2017-10-02 | 2020-03-17 | Vmware, Inc. | Virtual network provider |
US10999100B2 (en) | 2017-10-02 | 2021-05-04 | Vmware, Inc. | Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider |
US11223514B2 (en) | 2017-11-09 | 2022-01-11 | Nicira, Inc. | Method and system of a dynamic high-availability mode based on current wide area network connectivity |
CN110912825B (zh) | 2018-09-18 | 2022-08-02 | 阿里巴巴集团控股有限公司 | 一种报文的转发方法、装置、设备及系统 |
JP2019092233A (ja) * | 2019-03-26 | 2019-06-13 | Necプラットフォームズ株式会社 | 仮想ネットワークシステムおよび仮想ネットワーク経路設定方法 |
US11153230B2 (en) | 2019-08-27 | 2021-10-19 | Vmware, Inc. | Having a remote device use a shared virtual network to access a dedicated virtual network defined over public clouds |
US11044190B2 (en) | 2019-10-28 | 2021-06-22 | Vmware, Inc. | Managing forwarding elements at edge nodes connected to a virtual network |
CN114500378B (zh) * | 2019-11-25 | 2023-07-14 | 华为技术有限公司 | 用于处理转发表项的方法和装置 |
US11489783B2 (en) | 2019-12-12 | 2022-11-01 | Vmware, Inc. | Performing deep packet inspection in a software defined wide area network |
US11394640B2 (en) | 2019-12-12 | 2022-07-19 | Vmware, Inc. | Collecting and analyzing data regarding flows associated with DPI parameters |
US11153261B2 (en) | 2020-01-22 | 2021-10-19 | Cisco Technology, Inc. | Routing traffic for virtualized/containerized network functions |
US11722925B2 (en) | 2020-01-24 | 2023-08-08 | Vmware, Inc. | Performing service class aware load balancing to distribute packets of a flow among multiple network links |
CN111600811A (zh) * | 2020-04-14 | 2020-08-28 | 新华三信息安全技术有限公司 | 一种报文处理方法和装置 |
US11477127B2 (en) | 2020-07-02 | 2022-10-18 | Vmware, Inc. | Methods and apparatus for application aware hub clustering techniques for a hyper scale SD-WAN |
US11709710B2 (en) | 2020-07-30 | 2023-07-25 | Vmware, Inc. | Memory allocator for I/O operations |
US11575591B2 (en) | 2020-11-17 | 2023-02-07 | Vmware, Inc. | Autonomous distributed forwarding plane traceability based anomaly detection in application traffic for hyper-scale SD-WAN |
US11575600B2 (en) | 2020-11-24 | 2023-02-07 | Vmware, Inc. | Tunnel-less SD-WAN |
US11601356B2 (en) | 2020-12-29 | 2023-03-07 | Vmware, Inc. | Emulating packet flows to assess network links for SD-WAN |
US11792127B2 (en) | 2021-01-18 | 2023-10-17 | Vmware, Inc. | Network-aware load balancing |
US11979325B2 (en) | 2021-01-28 | 2024-05-07 | VMware LLC | Dynamic SD-WAN hub cluster scaling with machine learning |
US12009987B2 (en) | 2021-05-03 | 2024-06-11 | VMware LLC | Methods to support dynamic transit paths through hub clustering across branches in SD-WAN |
US11388086B1 (en) | 2021-05-03 | 2022-07-12 | Vmware, Inc. | On demand routing mesh for dynamically adjusting SD-WAN edge forwarding node roles to facilitate routing through an SD-WAN |
US11729065B2 (en) | 2021-05-06 | 2023-08-15 | Vmware, Inc. | Methods for application defined virtual network service among multiple transport in SD-WAN |
US12015536B2 (en) | 2021-06-18 | 2024-06-18 | VMware LLC | Method and apparatus for deploying tenant deployable elements across public clouds based on harvested performance metrics of types of resource elements in the public clouds |
US11489720B1 (en) | 2021-06-18 | 2022-11-01 | Vmware, Inc. | Method and apparatus to evaluate resource elements and public clouds for deploying tenant deployable elements based on harvested performance metrics |
US12047282B2 (en) | 2021-07-22 | 2024-07-23 | VMware LLC | Methods for smart bandwidth aggregation based dynamic overlay selection among preferred exits in SD-WAN |
US11375005B1 (en) | 2021-07-24 | 2022-06-28 | Vmware, Inc. | High availability solutions for a secure access service edge application |
US11943146B2 (en) | 2021-10-01 | 2024-03-26 | VMware LLC | Traffic prioritization in SD-WAN |
US11909815B2 (en) | 2022-06-06 | 2024-02-20 | VMware LLC | Routing based on geolocation costs |
US12034587B1 (en) | 2023-03-27 | 2024-07-09 | VMware LLC | Identifying and remediating anomalies in a self-healing network |
US12057993B1 (en) | 2023-03-27 | 2024-08-06 | VMware LLC | Identifying and remediating anomalies in a self-healing network |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056340A (ja) * | 2002-07-18 | 2004-02-19 | Nec Corp | Ipフロー多段ハッシュ装置、ipフロー多段ハッシュ方法、ipフロー多段ハッシュプログラム及びその記録媒体 |
JP2004126959A (ja) * | 2002-10-02 | 2004-04-22 | Fujitsu Ltd | 通信管理装置、情報処理装置、プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19803397A1 (de) | 1998-01-29 | 1999-08-05 | Volkswagen Ag | Gießform zum Herstellen von Gußstücken |
US20020109879A1 (en) * | 2000-08-23 | 2002-08-15 | Wing So John Ling | Co-channel modulation |
JP3797937B2 (ja) | 2002-02-04 | 2006-07-19 | 株式会社日立製作所 | ネットワーク接続システム、ネットワーク接続方法、および、それらに用いられるネットワーク接続装置 |
KR100432675B1 (ko) * | 2003-09-19 | 2004-05-27 | 주식회사 아이앤아이맥스 | 네트워크상의 장비들 간의 통신제어방법 및 이를 위한 장치 |
JP5100626B2 (ja) * | 2008-12-12 | 2012-12-19 | 三菱電機株式会社 | レイヤ2スイッチ |
JP5365265B2 (ja) | 2009-03-05 | 2013-12-11 | 日東紡績株式会社 | ガラス繊維及びそれを用いたポリカーボネート樹脂成形体 |
US9077590B2 (en) * | 2009-06-22 | 2015-07-07 | Citrix Systems, Inc. | Systems and methods for providing link management in a multi-core system |
-
2011
- 2011-09-05 KR KR1020137006024A patent/KR101478475B1/ko not_active IP Right Cessation
- 2011-09-05 CN CN201180039555.1A patent/CN103081418B/zh not_active Expired - Fee Related
- 2011-09-05 JP JP2012532967A patent/JP5477603B2/ja not_active Expired - Fee Related
- 2011-09-05 EP EP11823516.7A patent/EP2615782A4/en not_active Withdrawn
- 2011-09-05 CA CA2810660A patent/CA2810660C/en not_active Expired - Fee Related
- 2011-09-05 WO PCT/JP2011/070137 patent/WO2012033041A1/ja active Application Filing
- 2011-09-05 US US13/821,926 patent/US9215175B2/en not_active Expired - Fee Related
- 2011-09-07 TW TW100132200A patent/TWI461032B/zh not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056340A (ja) * | 2002-07-18 | 2004-02-19 | Nec Corp | Ipフロー多段ハッシュ装置、ipフロー多段ハッシュ方法、ipフロー多段ハッシュプログラム及びその記録媒体 |
JP2004126959A (ja) * | 2002-10-02 | 2004-04-22 | Fujitsu Ltd | 通信管理装置、情報処理装置、プログラム |
Non-Patent Citations (1)
Title |
---|
OpenFlow Enabling Innovation in Campus Networks 2008/03/14 OpenFlow Switch Specification v0.8.9 2008/12/02 * |
Also Published As
Publication number | Publication date |
---|---|
CA2810660A1 (en) | 2012-03-15 |
EP2615782A4 (en) | 2016-11-30 |
CN103081418B (zh) | 2015-07-08 |
TW201225586A (en) | 2012-06-16 |
RU2013110287A (ru) | 2014-10-20 |
US20130170354A1 (en) | 2013-07-04 |
WO2012033041A1 (ja) | 2012-03-15 |
JP5477603B2 (ja) | 2014-04-23 |
CN103081418A (zh) | 2013-05-01 |
JPWO2012033041A1 (ja) | 2014-01-20 |
KR101478475B1 (ko) | 2014-12-31 |
KR20130060291A (ko) | 2013-06-07 |
CA2810660C (en) | 2016-04-26 |
US9215175B2 (en) | 2015-12-15 |
EP2615782A1 (en) | 2013-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI461032B (zh) | 電腦系統及在電腦系統的通信方法 | |
US10924352B2 (en) | Data center network topology discovery | |
EP3304815B1 (en) | Operations, administration and management (oam) in overlay data center environments | |
JP6781266B2 (ja) | 輻輳を考慮したロードバランシングのための仮想トンネルエンドポイント | |
CN102857416B (zh) | 一种实现虚拟网络的方法、控制器和虚拟网络 | |
US10009267B2 (en) | Method and system for controlling an underlying physical network by a software defined network | |
EP2874359B1 (en) | Extended ethernet fabric switches | |
EP3240250B1 (en) | Virtual router terminating an overlay tunnel in a storage area network | |
JP5991424B2 (ja) | パケット書換装置、制御装置、通信システム、パケット送信方法及びプログラム | |
JP5497244B2 (ja) | スイッチング・ネットワークにおいてフロー制御を実施するための方法、マスタ・スイッチ、スイッチング・ネットワーク、プログラム、装置、システム | |
US20160248669A1 (en) | Systems and methods of inter data center out-bound traffic management | |
CN104937885A (zh) | 用于结构交换机的全局vlan | |
EP2920926B1 (en) | Virtual link aggregations across multiple fabric switches | |
EP3038296B1 (en) | Pool element status information synchronization method, pool register and pool element | |
WO2018042230A1 (en) | Configurable selective packet-in mechanism for openflow switches | |
JP4011528B2 (ja) | ネットワーク仮想化システム | |
Shahrokhkhani | An Analysis on Network Virtualization Protocols and Technologies | |
Hadas et al. | Virtual network services for federated cloud computing | |
RU2574350C2 (ru) | Компьютерная система и способ осуществления связи в компьютерной системе | |
KR102701639B1 (ko) | Srv6 및 bgp를 이용한 멀티클라우드 접속 | |
JP4255863B2 (ja) | 広域ネットワークシステム及び通信方法 | |
EP3701686B1 (en) | Optimized datapath troubleshooting | |
KR100772182B1 (ko) | 라우터 및 그의 외부 트래픽과 내부 트래픽을 구분한IPv4 패킷 처리 방법 | |
JP2018182418A (ja) | 転送装置および転送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |