JP6116072B2 - ネットワークフローを処理リソースにアライメントするための技術 - Google Patents
ネットワークフローを処理リソースにアライメントするための技術 Download PDFInfo
- Publication number
- JP6116072B2 JP6116072B2 JP2015141757A JP2015141757A JP6116072B2 JP 6116072 B2 JP6116072 B2 JP 6116072B2 JP 2015141757 A JP2015141757 A JP 2015141757A JP 2015141757 A JP2015141757 A JP 2015141757A JP 6116072 B2 JP6116072 B2 JP 6116072B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- processing node
- computing device
- information
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 552
- 238000000034 method Methods 0.000 title claims description 122
- 230000015654 memory Effects 0.000 claims description 275
- 238000012546 transfer Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 66
- 238000004891 communication Methods 0.000 description 34
- 238000013500 data storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006855 networking Effects 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/33—Flow control; Congestion control using forward notification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/321—Interlayer communication protocols or service data unit [SDU] definitions; Interfaces between layers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/35—Flow control; Congestion control by embedding flow control information in regular packets, e.g. piggybacking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
コンピューティングデバイスは、アーキテクチャ情報をネットワークコントローラへ送信するアーキテクチャ通知モジュールを備え、
アーキテクチャ情報は、コンピューティングデバイスの複数の処理ノードの各処理ノードのアーキテクチャを規定しており、
各処理ノードはプロセッサと、メモリと、ネットワークアダプタとを有し、
コンピューティングデバイスは、ローカルフロー管理モジュールを備え、
ローカルフロー管理モジュールは、(i)ネットワークコントローラからネットワークフロー情報を受信し、
ネットワークフロー情報はネットワークパケットと関連付けられ、複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
ローカルフロー管理モジュールは、(ii)ネットワークフロー情報に少なくとも基づき、ターゲットの処理ノードのネットワークアダプタにおいてフローフィルタを、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定するようプログラミングし、
ターゲットの処理ノードのネットワークアダプタは、ネットワークスイッチからネットワークパケットを受信し、ネットワークパケットは、ターゲットの処理ノードにより実行されるアプリケーションにより処理される。
各処理ノードのプロセッサは複数の処理コアを含み、
アーキテクチャ情報は、各処理ノードの各プロセッサの各処理コアにより実行される複数のアプリケーションを示すデータを含み、
ネットワークフロー情報を受信することは、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき、ネットワークパケットを処理するターゲットの処理ノードを識別するネットワークフロー情報をネットワークコントローラから受信することを含む。
ターゲットの処理ノードのネットワークアダプタはさらに、(i)ターゲットの処理ノードのメモリにおけるメモリキューをネットワークアダプタのポートに割り当て、
ネットワークスイッチからネットワークパケットを受信することは、ネットワークアダプタのポートを介しネットワークスイッチからネットワークパケットを受信することを含み、
ターゲットの処理ノードのネットワークアダプタはさらに、(ii)受信されたネットワークパケットを、ネットワークアダプタのポートに割り当てられたターゲットの処理ノードのメモリにおけるメモリキューにコピーする。
ターゲットの処理ノードにより実行されるアプリケーションは、(i)受信されたネットワークパケットが、ターゲットの処理ノードのメモリにおけるメモリキューから取得されるべく利用可能であるか決定し、(ii)受信されたネットワークパケットがメモリキューから取得されるべく利用可能であるとの決定に応答して、ターゲットの処理ノードのメモリにおけるメモリキューから受信されたネットワークパケットを取得する。
ネットワークパケットがメモリキューから取得されるべく利用可能であるか決定することは、(i)リファレンスポーリングインターバルの関数としてターゲットの処理ノードのメモリにおけるメモリキューをポーリングすること、または、(ii)ネットワークパケットがメモリキューから取得されるべく利用可能であることを示す割込みを受信することのうち少なくとも1つを含む。
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューはターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
ローカルフロー管理モジュールはさらに、(i)ネットワークコントローラから第2ネットワークフロー情報を受信し、
第2ネットワークフロー情報は第2ネットワークパケットと関連付けられ、複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
ローカルフロー管理モジュールはさらに、(ii)第2ネットワークフロー情報に少なくとも基づき、異なる処理ノードの第2ネットワークアダプタにおいて第2フローフィルタを、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定するようプログラミングし、
異なる処理ノードの第2ネットワークアダプタはネットワークスイッチから第2ネットワークパケットを受信し、
第2ネットワークパケットは、異なる処理ノードにより実行される他のアプリケーションにより処理される。
アーキテクチャ情報は、各処理ノードのアーキテクチャを規定しており、
各処理ノードはプロセッサと、メモリと、ネットワークアダプタとを含み、
方法は、コンピューティングデバイスにより、ネットワークコントローラからネットワークフロー情報を受信する段階を備え、
ネットワークフロー情報はネットワークパケットと関連付けられ、複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
方法は、
コンピューティングデバイスにより、ネットワークフロー情報に少なくとも基づき、ターゲットの処理ノードのネットワークアダプタにおいてフローフィルタを、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定するようプログラミングする段階と、
ターゲットの処理ノードのネットワークアダプタにより、ネットワークスイッチからネットワークパケットを受信する段階と
を備え、
ネットワークパケットは、ターゲットの処理ノードにより実行されるアプリケーションにより処理される。
各処理ノードのプロセッサは複数の処理コアを含み、
アーキテクチャ情報は、各処理ノードの各プロセッサの各処理コアにより実行される複数のアプリケーションを示すデータを含み、
ネットワークフロー情報を受信する段階は、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき、ネットワークパケットを処理するターゲットの処理ノードを識別するネットワークフロー情報をネットワークコントローラから受信する段階を含む。
ターゲットの処理ノードのネットワークアダプタにより、ターゲットの処理ノードのメモリにおけるメモリキューをネットワークアダプタのポートに割り当てる段階をさらに備え、
ネットワークスイッチからネットワークパケットを受信する段階は、ネットワークアダプタのポートを介しネットワークスイッチからネットワークパケットを受信する段階を有し、
方法は、ターゲットの処理ノードのネットワークアダプタにより、受信されたネットワークパケットを、ネットワークアダプタのポートに割り当てられたターゲットの処理ノードのメモリにおけるメモリキューへコピーする段階をさらに備える。
ターゲットの処理ノードにより実行されるアプリケーションにより、受信されたネットワークパケットが、ターゲットの処理ノードのメモリにおけるメモリキューから取得されるべく利用可能であるか決定する段階と、
ターゲットの処理ノードにより実行されるアプリケーションにより、受信されたネットワークパケットがメモリキューから取得されるべく利用可能であるとの決定に応答して、ターゲットの処理ノードのメモリにおけるメモリキューから受信されたネットワークパケットを取得する段階と
をさらに備える。
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューはターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
コンピューティングデバイスにより、ネットワークコントローラから第2ネットワークフロー情報を受信する段階をさらに備え、
第2ネットワークフロー情報は第2ネットワークパケットと関連付けられ、複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
方法は、
コンピューティングデバイスにより、第2ネットワークフロー情報に少なくとも基づき、異なる処理ノードの第2ネットワークアダプタにおいて第2フローフィルタを、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定するようプログラミングする段階と、
異なる処理ノードの第2ネットワークアダプタにより、ネットワークスイッチから第2ネットワークパケットを受信する段階と
をさらに備え、
第2ネットワークパケットは、異なる処理ノードにより実行される他のアプリケーションにより処理される。
コンピューティングデバイスの複数の処理ノードのうち1または複数により、ネットワークコントローラから受信された複数の命令に少なくとも基づき他のアプリケーションを実行する段階をさらに備える。
コンピューティングデバイスは、プロセッサと、複数の命令を格納したメモリとを含み、複数の命令はプロセッサにより実行されたときにコンピューティングデバイスに、例9から16のいずれかに記載の方法を実行させる。
コンピューティングデバイスは、アーキテクチャ情報をネットワークコントローラへ送信するための手段を備え、
アーキテクチャ情報は、コンピューティングデバイスの複数の処理ノードの各処理ノードのアーキテクチャを規定しており、
各処理ノードはプロセッサと、メモリと、ネットワークアダプタとを有し、
コンピューティングデバイスは、ネットワークコントローラからネットワークフロー情報を受信するための手段を備え、
ネットワークフロー情報はネットワークパケットと関連付けられ、複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
コンピューティングデバイスは、ネットワークフロー情報に少なくとも基づき、ターゲットの処理ノードのネットワークアダプタにおいてフローフィルタを、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定するようプログラミングするための手段を備え、
コンピューティングデバイスは、ターゲットの処理ノードのネットワークアダプタにより、ネットワークスイッチからネットワークパケットを受信するための手段を備え、
ネットワークパケットは、ターゲットの処理ノードにより実行されるアプリケーションにより処理される。
各処理ノードのプロセッサは複数の処理コアを含み、
アーキテクチャ情報は、各処理ノードの各プロセッサの各処理コアにより実行される複数のアプリケーションを示すデータを含み、
ネットワークフロー情報を受信するための手段は、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき、ネットワークパケットを処理するターゲットの処理ノードを識別するネットワークフロー情報をネットワークコントローラから受信するための手段を含む。
ターゲットの処理ノードのネットワークアダプタにより、ターゲットの処理ノードのメモリにおけるメモリキューをネットワークアダプタのポートに割り当てるための手段をさらに備え、
ネットワークスイッチからネットワークパケットを受信することは、ネットワークアダプタのポートを介しネットワークスイッチからネットワークパケットを受信することを有し、
ターゲットの処理ノードのネットワークアダプタにより、受信されたネットワークパケットを、ネットワークアダプタのポートに割り当てられたターゲットの処理ノードのメモリにおけるメモリキューへコピーするための手段をさらに備える。
ターゲットの処理ノードにより実行されるアプリケーションにより、受信されたネットワークパケットが、ターゲットの処理ノードのメモリにおけるメモリキューから取得されるべく利用可能であるか決定するための手段と、
ターゲットの処理ノードにより実行されるアプリケーションにより、受信されたネットワークパケットがメモリキューから取得されるべく利用可能であるとの決定に応答して、ターゲットの処理ノードのメモリにおけるメモリキューから受信されたネットワークパケットを取得するための手段と
をさらに備える。
ネットワークパケットがメモリキューから取得されるべく利用可能であるか決定するための手段は、(i)リファレンスポーリングインターバルの関数としてターゲットの処理ノードのメモリにおけるメモリキューをポーリングするための手段と、(ii)ネットワークパケットがメモリキューから取得されるべく利用可能であることを示す割込みを受信するための手段とのうち少なくとも1つを含む。
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューはターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
ネットワークコントローラから第2ネットワークフロー情報を受信するための手段をさらに備え、
第2ネットワークフロー情報は第2ネットワークパケットと関連付けられ、複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
第2ネットワークフロー情報に少なくとも基づき、異なる処理ノードの第2ネットワークアダプタにおいて第2フローフィルタを、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定するようプログラミングするための手段と、
異なる処理ノードの第2ネットワークアダプタにより、ネットワークスイッチから第2ネットワークパケットを受信するための手段と
をさらに備え、
第2ネットワークパケットは、異なる処理ノードにより実行される他のアプリケーションにより処理される。
コンピューティングデバイスの複数の処理ノードのうち1または複数により、ネットワークコントローラから受信された複数の命令に少なくとも基づき他のアプリケーションを実行するための手段をさらに備える。
ネットワークコントローラは、
コンピューティングデバイスからアーキテクチャ情報を受信するアーキテクチャ管理モジュールを備え、
アーキテクチャ情報は、コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定しており、
ネットワークコントローラは、フロー管理モジュールを備え、
フロー管理モジュールは、(i)ネットワークスイッチから、ネットワークパケットと関連付けられた転送情報のリクエストを受信し、(ii)アーキテクチャ情報に少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定し、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
フロー管理モジュールは、(iii)決定されたネットワークフロー情報をコンピューティングデバイスへ送信して、ネットワークフロー情報に少なくとも基づきターゲットの処理ノードのネットワークアダプタにおいてフローフィルタをプログラミングし、
フローフィルタは、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定し、
フロー管理モジュールは、(iv)ネットワークパケットと関連付けられた転送情報を決定し、
転送情報は、コンピューティングデバイスのターゲットの処理ノードのネットワークアダプタに通信可能に結合された、ネットワークパケットが転送されることになるネットワークスイッチのポートを識別し、
フロー管理モジュールは、(v)決定された転送情報をネットワークスイッチへ送信し、
ネットワークパケットは、転送情報に少なくとも基づきネットワークスイッチにより転送される。
コンピューティングデバイスからアーキテクチャ情報を受信することは、各処理ノードにより実行される複数のアプリケーションを示すアプリケーションデータ、複数の処理ノードのそれぞれのプロセッサを示すプロセッサデータ、複数の処理ノードのそれぞれのプロセッサの複数の処理コアを示すプロセッサコアデータ、複数の処理ノードのそれぞれにおける割り当てられた複数のメモリキューを示すメモリキューデータ、または、複数の処理ノードのそれぞれの複数のネットワークアダプタの複数のポートを示すポートデータのうち少なくとも1つを受信することを含む。
コンピューティングデバイスからアーキテクチャ情報を受信することは、複数の処理ノードのそれぞれのプロセッサの各処理コアにより実行される複数のアプリケーションを示すアプリケーション実行データを受信することを含み、
ネットワークフロー情報を決定することは、アプリケーション実行データに少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定することを含み、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき識別する。
転送情報は第1転送情報を含み、
転送情報のリクエストは第1転送情報のリクエストを含み、
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューは、ターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
フロー管理モジュールはさらに、(i)ネットワークスイッチから、第2ネットワークパケットと関連付けられた第2転送情報の第2リクエストを受信し、(ii)アーキテクチャ情報に少なくとも基づき、第2ネットワークパケットと関連付けられた第2ネットワークフロー情報を決定し、
第2ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
フロー管理モジュールはさらに、(iii)決定された第2ネットワークフロー情報をコンピューティングデバイスへ送信して、第2ネットワークフロー情報に少なくとも基づき異なる処理ノードの第2ネットワークアダプタにおける第2フローフィルタをプログラミングし、
第2フローフィルタは、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定し、
フロー管理モジュールはさらに、(iv)第2ネットワークパケットと関連付けられた第2転送情報を決定し、
第2転送情報は、コンピューティングデバイスの異なる処理ノードの第2ネットワークアダプタへ通信可能に結合される、第2ネットワークパケットが転送されることになるネットワークスイッチの第2ポートを識別し、
フロー管理モジュールはさらに、(v)決定された第2転送情報をネットワークスイッチへ送信し、
第2ネットワークパケットは、第2転送情報に少なくとも基づき、ネットワークスイッチにより転送される。
フロー管理モジュールはさらに、命令メッセージをコンピューティングデバイスへ送信し、
命令メッセージは、コンピューティングデバイスに、コンピューティングデバイスの複数の処理ノードのうち1または複数により他のアプリケーションを実行するよう命令する。
ネットワークコントローラにより、コンピューティングデバイスからアーキテクチャ情報を受信する段階を備え、
アーキテクチャ情報は、コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定しており、
方法は、
ネットワークコントローラにより、およびネットワークスイッチから、ネットワークパケットと関連付けられた転送情報のリクエストを受信する段階と、
ネットワークコントローラにより、アーキテクチャ情報に少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定する段階と
を備え、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
方法は、ネットワークコントローラにより、決定されたネットワークフロー情報をコンピューティングデバイスへ送信して、ネットワークフロー情報に少なくとも基づきターゲットの処理ノードのネットワークアダプタにおいてフローフィルタをプログラミングする段階を備え、
フローフィルタは、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定し、
方法は、ネットワークコントローラにより、ネットワークパケットと関連付けられた転送情報を決定し、
転送情報は、コンピューティングデバイスのターゲットの処理ノードのネットワークアダプタに通信可能に結合された、ネットワークパケットが転送されることになるネットワークスイッチのポートを識別し、
方法は、ネットワークコントローラにより、決定された転送情報をネットワークスイッチへ送信する段階を備え、
ネットワークパケットは、転送情報に少なくとも基づきネットワークスイッチにより転送される。
コンピューティングデバイスからアーキテクチャ情報を受信する段階は、各処理ノードにより実行される複数のアプリケーションを示すアプリケーションデータ、複数の処理ノードのそれぞれのプロセッサを示すプロセッサデータ、複数の処理ノードのそれぞれのプロセッサの複数の処理コアを示すプロセッサコアデータ、複数の処理ノードのそれぞれにおける割り当てられた複数のメモリキューを示すメモリキューデータ、または、複数の処理ノードのそれぞれの複数のネットワークアダプタの複数のポートを示すポートデータのうち少なくとも1つを受信する段階を含む。
コンピューティングデバイスからアーキテクチャ情報を受信する段階は、複数の処理ノードのそれぞれのプロセッサの各処理コアにより実行される複数のアプリケーションを示すアプリケーション実行データを受信する段階を含み、
ネットワークフロー情報を決定する段階は、アプリケーション実行データに少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定する段階を含み、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき識別する。
転送情報は第1転送情報を含み、
転送情報のリクエストは第1転送情報のリクエストを含み、
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューは、ターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
方法は、
ネットワークコントローラにより、およびネットワークスイッチから、第2ネットワークパケットと関連付けられた第2転送情報の第2リクエストを受信する段階と、
ネットワークコントローラにより、アーキテクチャ情報に少なくとも基づき、第2ネットワークパケットと関連付けられた第2ネットワークフロー情報を決定する段階と
をさらに備え、
第2ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
方法は、ネットワークコントローラにより、決定された第2ネットワークフロー情報をコンピューティングデバイスへ送信して、第2ネットワークフロー情報に少なくとも基づき異なる処理ノードの第2ネットワークアダプタにおける第2フローフィルタをプログラミングする段階をさらに備え、
第2フローフィルタは、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定し、
方法は、ネットワークコントローラにより、第2ネットワークパケットと関連付けられた第2転送情報を決定する段階をさらに備え、
第2転送情報は、コンピューティングデバイスの異なる処理ノードの第2ネットワークアダプタへ通信可能に結合される、第2ネットワークパケットが転送されることになるネットワークスイッチの第2ポートを識別し、
方法は、ネットワークコントローラにより、決定された第2転送情報をネットワークスイッチへ送信する段階をさらに備え、
第2ネットワークパケットは、第2転送情報に少なくとも基づき、ネットワークスイッチにより転送される。
命令メッセージは、コンピューティングデバイスに、コンピューティングデバイスの複数の処理ノードのうち1または複数により他のアプリケーションを実行するよう命令する。
ネットワークコントローラは、プロセッサと、複数の命令を格納したメモリとを含み、複数の命令はプロセッサにより実行されたときにネットワークコントローラに、例32から36のいずれかに記載の方法を実行させる。
ネットワークコントローラは、
コンピューティングデバイスからアーキテクチャ情報を受信するための手段を備え、
アーキテクチャ情報は、コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定しており、
ネットワークコントローラは、
ネットワークスイッチから、ネットワークパケットと関連付けられた転送情報のリクエストを受信するための手段と、
アーキテクチャ情報に少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定するための手段と
を備え、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
ネットワークコントローラは、決定されたネットワークフロー情報をコンピューティングデバイスへ送信して、ネットワークフロー情報に少なくとも基づきターゲットの処理ノードのネットワークアダプタにおいてフローフィルタをプログラミングするための手段を備え
フローフィルタは、ターゲットの処理ノードのメモリにおける、ネットワークパケットを受信するメモリキューを指定し、
ネットワークコントローラは、ネットワークパケットと関連付けられた転送情報を決定するための手段を備え、
転送情報は、コンピューティングデバイスのターゲットの処理ノードのネットワークアダプタに通信可能に結合された、ネットワークパケットが転送されることになるネットワークスイッチのポートを識別し、
ネットワークコントローラは、決定された転送情報をネットワークスイッチへ送信するための手段を備え、
ネットワークパケットは、転送情報に少なくとも基づきネットワークスイッチにより転送される。
コンピューティングデバイスからアーキテクチャ情報を受信するための手段は、各処理ノードにより実行される複数のアプリケーションを示すアプリケーションデータ、複数の処理ノードのそれぞれのプロセッサを示すプロセッサデータ、複数の処理ノードのそれぞれのプロセッサの複数の処理コアを示すプロセッサコアデータ、複数の処理ノードのそれぞれにおける割り当てられた複数のメモリキューを示すメモリキューデータ、または、複数の処理ノードのそれぞれの複数のネットワークアダプタの複数のポートを示すポートデータのうち少なくとも1つを受信するための手段を含む。
コンピューティングデバイスからアーキテクチャ情報を受信するための手段は、複数の処理ノードのそれぞれのプロセッサの各処理コアにより実行される複数のアプリケーションを示すアプリケーション実行データを受信するための手段を含み、
ネットワークフロー情報を決定するための手段は、アプリケーション実行データに少なくとも基づきネットワークパケットと関連付けられたネットワークフロー情報を決定するための手段を含み、
ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうちネットワークパケットを処理するターゲットの処理ノードを、ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき識別する。
転送情報は第1転送情報を含み、
転送情報のリクエストは第1転送情報のリクエストを含み、
ネットワークパケットは第1ネットワークパケットを含み、
ネットワークフロー情報は第1ネットワークフロー情報を含み、
フローフィルタは第1フローフィルタを含み、
ターゲットの処理ノードのメモリは第1メモリを含み、
ターゲットの処理ノードのメモリにおけるメモリキューは、ターゲットの処理ノードの第1メモリにおける第1メモリキューを含み、
ターゲットの処理ノードのネットワークアダプタはターゲットの処理ノードの第1ネットワークアダプタを含み、
ネットワークスイッチから、第2ネットワークパケットと関連付けられた第2転送情報の第2リクエストを受信するための手段と、
アーキテクチャ情報に少なくとも基づき、第2ネットワークパケットと関連付けられた第2ネットワークフロー情報を決定するための手段と
をさらに備え、
第2ネットワークフロー情報は、コンピューティングデバイスの複数の処理ノードのうち第2ネットワークパケットを処理する異なる処理ノードを、異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
決定された第2ネットワークフロー情報をコンピューティングデバイスへ送信して、第2ネットワークフロー情報に少なくとも基づき異なる処理ノードの第2ネットワークアダプタにおける第2フローフィルタをプログラミングするための手段と
を備え、
第2フローフィルタは、異なる処理ノードの第2メモリにおける、第2ネットワークパケットを受信する第2メモリキューを指定し、
ネットワークコントローラにより、第2ネットワークパケットと関連付けられた第2転送情報を決定するための手段を備え、
第2転送情報は、コンピューティングデバイスの異なる処理ノードの第2ネットワークアダプタへ通信可能に結合される、第2ネットワークパケットが転送されることになるネットワークスイッチの第2ポートを識別し、
決定された第2転送情報をネットワークスイッチへ送信するための手段を備え、
第2ネットワークパケットは、第2転送情報に少なくとも基づき、ネットワークスイッチにより転送される。
命令メッセージは、コンピューティングデバイスに、コンピューティングデバイスの複数の処理ノードのうち1または複数により他のアプリケーションを実行するよう命令する。
ネットワークスイッチは、パケット転送モジュールを備え、
パケット転送モジュールは、(i)リモートコンピューティングデバイスからネットワークスイッチの第1ポートを介しネットワークパケットを受信し、(ii)受信されたネットワークパケットと関連付けられた転送情報のリクエストをネットワークコントローラへ送信し、(iii)ネットワークコントローラから転送情報を受信し、
転送情報は、受信されたネットワークパケットが転送されることになるネットワークスイッチの第2ポートを示しており、
パケット転送モジュールは、(iv)受信されたネットワークパケットをコンピューティングデバイスへの送信のために第2ポートへ転送し、
受信されたネットワークパケットは、コンピューティングデバイスの複数の処理ノードのうちのターゲットの処理ノードにより実行されるアプリケーションにより処理される。
接続情報をネットワークコントローラへ送信する接続管理モジュールをさらに備え、
接続情報は、ネットワークスイッチと、コンピューティングデバイスまたはリモートコンピューティングデバイスのうち少なくとも1つとの間のネットワークスイッチの1または複数のポートを介した1または複数のネットワーク接続を示す。
方法は、
ネットワークスイッチにより、ネットワークスイッチの第1ポートを介しリモートコンピューティングデバイスからネットワークパケットを受信する段階と、
ネットワークスイッチにより、受信されたネットワークパケットと関連付けられた転送情報のリクエストをネットワークコントローラへ送信する段階と、
ネットワークスイッチにより、ネットワークコントローラから転送情報を受信する段階と
を備え、
転送情報は、受信されたネットワークパケットが転送されることになるネットワークスイッチの第2ポートを示し、
方法は、ネットワークスイッチにより、受信されたネットワークパケットをコンピューティングデバイスへの送信のために第2ポートへ転送する段階を備え、
受信されたネットワークパケットは、コンピューティングデバイスの複数の処理ノードのうちのターゲットの処理ノードにより実行されるアプリケーションにより処理される。
ネットワークスイッチにより、接続情報をネットワークコントローラへ送信する段階をさらに備え、
接続情報は、ネットワークスイッチと、コンピューティングデバイスまたはリモートコンピューティングデバイスのうち少なくとも1つとの間のネットワークスイッチの1または複数のポートを介した1または複数のネットワーク接続を示す。
ネットワークスイッチは、プロセッサと、複数の命令を格納したメモリとを含み、複数の命令はプロセッサにより実行されたときにネットワークスイッチに、例46または47のいずれかに記載の方法を実行させる。
ネットワークスイッチは、
リモートコンピューティングデバイスからネットワークスイッチの第1ポートを介しネットワークパケットを受信するための手段と、
受信されたネットワークパケットと関連付けられた転送情報のリクエストをネットワークコントローラへ送信するための手段と、
ネットワークコントローラから転送情報を受信するための手段と
を備え
転送情報は、受信されたネットワークパケットが転送されることになるネットワークスイッチの第2ポートを示しており、
ネットワークスイッチは、受信されたネットワークパケットをコンピューティングデバイスへの送信のために第2ポートへ転送するための手段を備え、
受信されたネットワークパケットは、コンピューティングデバイスの複数の処理ノードのうちのターゲットの処理ノードにより実行されるアプリケーションにより処理される。
接続情報をネットワークコントローラへ送信するための手段をさらに備え、
接続情報は、ネットワークスイッチと、コンピューティングデバイスまたはリモートコンピューティングデバイスのうち少なくとも1つとの間のネットワークスイッチの1または複数のポートを介した1または複数のネットワーク接続を示す。
Claims (25)
- 複数のネットワークフローを複数の処理リソースにアライメントするためのコンピューティングデバイスであり、
アーキテクチャ情報をネットワークコントローラへ送信するアーキテクチャ通知モジュールを備え、
前記アーキテクチャ情報は、前記コンピューティングデバイスの複数の処理ノードの各処理ノードのアーキテクチャを規定しており、
各処理ノードはプロセッサと、メモリと、ネットワークアダプタとを有し、
前記コンピューティングデバイスは、ローカルフロー管理モジュールを備え、
前記ローカルフロー管理モジュールは、(i)前記ネットワークコントローラからネットワークフロー情報を受信し、
前記ネットワークフロー情報はネットワークパケットと関連付けられ、前記複数の処理ノードのうち前記ネットワークパケットを処理するターゲットの処理ノードを、前記ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
前記ローカルフロー管理モジュールは、(ii)前記ネットワークフロー情報に少なくとも基づき、前記ターゲットの処理ノードの前記ネットワークアダプタにおいてフローフィルタを、前記ターゲットの処理ノードの前記メモリにおける、前記ネットワークパケットを受信するメモリキューを指定するようプログラミングし、
前記ターゲットの処理ノードの前記ネットワークアダプタはネットワークスイッチから前記ネットワークパケットを受信し、前記ネットワークパケットは、前記ターゲットの処理ノードにより実行される前記アプリケーションにより処理される、コンピューティングデバイス。 - 前記アーキテクチャ情報は、前記複数の処理ノードの各処理ノードにより実行される複数のアプリケーションを示す、請求項1に記載のコンピューティングデバイス。
- 各処理ノードの前記プロセッサは複数の処理コアを含み、
前記アーキテクチャ情報は、各処理ノードの各プロセッサの各処理コアにより実行される前記複数のアプリケーションを示すデータを含み、
前記ネットワークフロー情報を受信することは、前記ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき、前記ネットワークパケットを処理する前記ターゲットの処理ノードを識別するネットワークフロー情報を前記ネットワークコントローラから受信することを含む、請求項2に記載のコンピューティングデバイス。 - 前記ターゲットの処理ノードの前記ネットワークアダプタはさらに、(i)前記ターゲットの処理ノードの前記メモリにおける前記メモリキューを前記ネットワークアダプタのポートに割り当て、
前記ネットワークスイッチから前記ネットワークパケットを受信することは、前記ネットワークアダプタの前記ポートを介し前記ネットワークスイッチから前記ネットワークパケットを受信することを含み、
前記ターゲットの処理ノードの前記ネットワークアダプタはさらに、(ii)受信された前記ネットワークパケットを、前記ネットワークアダプタの前記ポートに割り当てられた前記ターゲットの処理ノードの前記メモリにおける前記メモリキューにコピーする、請求項1から3のいずれか一項に記載のコンピューティングデバイス。 - 前記ターゲットの処理ノードにより実行される前記アプリケーションは、(i)前記受信されたネットワークパケットが、前記ターゲットの処理ノードの前記メモリにおける前記メモリキューから取得されるべく利用可能であるか決定し、(ii)前記受信されたネットワークパケットが前記メモリキューから取得されるべく利用可能であるとの決定に応答して、前記ターゲットの処理ノードの前記メモリにおける前記メモリキューから前記受信されたネットワークパケットを取得する、請求項4に記載のコンピューティングデバイス。
- 前記ネットワークパケットが前記メモリキューから取得されるべく利用可能であるか決定することは、(i)リファレンスポーリングインターバルの関数として前記ターゲットの処理ノードの前記メモリにおける前記メモリキューをポーリングすること、または、(ii)前記ネットワークパケットが前記メモリキューから取得されるべく利用可能であることを示す割込みを受信することのうち少なくとも1つを含む、請求項5に記載のコンピューティングデバイス。
- 前記ネットワークパケットは第1ネットワークパケットを含み、
前記ネットワークフロー情報は第1ネットワークフロー情報を含み、
前記フローフィルタは第1フローフィルタを含み、
前記ターゲットの処理ノードの前記メモリは第1メモリを含み、
前記ターゲットの処理ノードの前記メモリにおける前記メモリキューは前記ターゲットの処理ノードの前記第1メモリにおける第1メモリキューを含み、
前記ターゲットの処理ノードの前記ネットワークアダプタは前記ターゲットの処理ノードの第1ネットワークアダプタを含み、
前記ローカルフロー管理モジュールはさらに、(i)前記ネットワークコントローラから第2ネットワークフロー情報を受信し、
前記第2ネットワークフロー情報は第2ネットワークパケットと関連付けられ、前記複数の処理ノードのうち前記第2ネットワークパケットを処理する異なる処理ノードを、前記異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
前記ローカルフロー管理モジュールはさらに、(ii)前記第2ネットワークフロー情報に少なくとも基づき、前記異なる処理ノードの第2ネットワークアダプタにおいて第2フローフィルタを、前記異なる処理ノードの第2メモリにおける、前記第2ネットワークパケットを受信する第2メモリキューを指定するようプログラミングし、
前記異なる処理ノードの前記第2ネットワークアダプタは前記ネットワークスイッチから前記第2ネットワークパケットを受信し、
前記第2ネットワークパケットは、前記異なる処理ノードにより実行される前記他のアプリケーションにより処理される、請求項4に記載のコンピューティングデバイス。 - 前記ターゲットの処理ノードは、前記ネットワークコントローラから受信された複数の命令に少なくとも基づき他のアプリケーションを実行する、請求項1から3のいずれか一項に記載のコンピューティングデバイス。
- 複数のネットワークフローを複数の処理リソースにアライメントするための方法であり、
複数の処理ノードを有するコンピューティングデバイスにより、アーキテクチャ情報をネットワークコントローラへ送信する段階を備え、
前記アーキテクチャ情報は、各処理ノードのアーキテクチャを規定しており、
各処理ノードはプロセッサと、メモリと、ネットワークアダプタとを含み、
前記方法は、前記コンピューティングデバイスにより、前記ネットワークコントローラからネットワークフロー情報を受信する段階を備え、
前記ネットワークフロー情報はネットワークパケットと関連付けられ、前記複数の処理ノードのうち前記ネットワークパケットを処理するターゲットの処理ノードを、前記ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
前記方法は、
前記コンピューティングデバイスにより、前記ネットワークフロー情報に少なくとも基づき、前記ターゲットの処理ノードの前記ネットワークアダプタにおいてフローフィルタを、前記ターゲットの処理ノードの前記メモリにおける、前記ネットワークパケットを受信するメモリキューを指定するようプログラミングする段階と、
前記ターゲットの処理ノードの前記ネットワークアダプタにより、ネットワークスイッチから前記ネットワークパケットを受信する段階と
を備え、
前記ネットワークパケットは、前記ターゲットの処理ノードにより実行される前記アプリケーションにより処理される、方法。 - 前記アーキテクチャ情報は、前記複数の処理ノードの各処理ノードにより実行される複数のアプリケーションを示す、請求項9に記載の方法。
- 前記ターゲットの処理ノードの前記ネットワークアダプタにより、前記ターゲットの処理ノードの前記メモリにおける前記メモリキューを前記ネットワークアダプタのポートに割り当てる段階をさらに備え、
前記ネットワークスイッチから前記ネットワークパケットを受信する段階は、前記ネットワークアダプタの前記ポートを介し前記ネットワークスイッチから前記ネットワークパケットを受信する段階を有し、
前記方法は、前記ターゲットの処理ノードの前記ネットワークアダプタにより、受信された前記ネットワークパケットを、前記ネットワークアダプタの前記ポートに割り当てられた前記ターゲットの処理ノードの前記メモリにおける前記メモリキューへコピーする段階をさらに備える、請求項9に記載の方法。 - 前記ターゲットの処理ノードにより実行される前記アプリケーションにより、前記受信されたネットワークパケットが、前記ターゲットの処理ノードの前記メモリにおける前記メモリキューから取得されるべく利用可能であるか決定する段階と、
前記ターゲットの処理ノードにより実行される前記アプリケーションにより、前記受信されたネットワークパケットが前記メモリキューから取得されるべく利用可能であるとの決定に応答して、前記ターゲットの処理ノードの前記メモリにおける前記メモリキューから前記受信されたネットワークパケットを取得する段階と
をさらに備える、請求項11に記載の方法。 - 前記ネットワークパケットは第1ネットワークパケットを含み、
前記ネットワークフロー情報は第1ネットワークフロー情報を含み、
前記フローフィルタは第1フローフィルタを含み、
前記ターゲットの処理ノードの前記メモリは第1メモリを含み、
前記ターゲットの処理ノードの前記メモリにおける前記メモリキューは前記ターゲットの処理ノードの前記第1メモリにおける第1メモリキューを含み、
前記ターゲットの処理ノードの前記ネットワークアダプタは前記ターゲットの処理ノードの第1ネットワークアダプタを含み、
前記方法は、
前記コンピューティングデバイスにより、前記ネットワークコントローラから第2ネットワークフロー情報を受信する段階をさらに備え、
前記第2ネットワークフロー情報は第2ネットワークパケットと関連付けられ、前記複数の処理ノードのうち前記第2ネットワークパケットを処理する異なる処理ノードを、前記異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
前記方法は、
前記コンピューティングデバイスにより、前記第2ネットワークフロー情報に少なくとも基づき、前記異なる処理ノードの第2ネットワークアダプタにおいて第2フローフィルタを、前記異なる処理ノードの第2メモリにおける、前記第2ネットワークパケットを受信する第2メモリキューを指定するようプログラミングする段階と、
前記異なる処理ノードの前記第2ネットワークアダプタにより、前記ネットワークスイッチから前記第2ネットワークパケットを受信する段階と
をさらに備え、
前記第2ネットワークパケットは、前記異なる処理ノードにより実行される前記他のアプリケーションにより処理される、請求項11に記載の方法。 - コンピューティングデバイスに、請求項9から13のいずれか一項に記載の方法を実行させるプログラム。
- 複数のネットワークフローを複数の処理リソースにアライメントするためのネットワークコントローラであり、
コンピューティングデバイスからアーキテクチャ情報を受信するアーキテクチャ管理モジュールを備え、
前記アーキテクチャ情報は、前記コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定しており、
前記ネットワークコントローラは、フロー管理モジュールを備え、
前記フロー管理モジュールは、(i)ネットワークスイッチから、ネットワークパケットと関連付けられた転送情報のリクエストを受信し、(ii)前記アーキテクチャ情報に少なくとも基づき前記ネットワークパケットと関連付けられたネットワークフロー情報を決定し、
前記ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記ネットワークパケットを処理するターゲットの処理ノードを、前記ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
前記フロー管理モジュールは、(iii)決定された前記ネットワークフロー情報を前記コンピューティングデバイスへ送信して、前記ネットワークフロー情報に少なくとも基づき前記ターゲットの処理ノードのネットワークアダプタにおいてフローフィルタをプログラミングし、
前記フローフィルタは、前記ターゲットの処理ノードのメモリにおける、前記ネットワークパケットを受信するメモリキューを指定し、
前記フロー管理モジュールは、(iv)前記ネットワークパケットと関連付けられた前記転送情報を決定し、
前記転送情報は、前記コンピューティングデバイスの前記ターゲットの処理ノードの前記ネットワークアダプタに通信可能に結合された、前記ネットワークパケットが転送されることになる前記ネットワークスイッチのポートを識別し、
前記フロー管理モジュールは、(v)決定された前記転送情報を前記ネットワークスイッチへ送信し、
前記ネットワークパケットは、前記転送情報に少なくとも基づき前記ネットワークスイッチにより転送される、ネットワークコントローラ。 - 前記コンピューティングデバイスから前記アーキテクチャ情報を受信することは、各処理ノードにより実行される複数のアプリケーションを示すアプリケーションデータ、前記複数の処理ノードのそれぞれのプロセッサを示すプロセッサデータ、前記複数の処理ノードのそれぞれの前記プロセッサの複数の処理コアを示すプロセッサコアデータ、前記複数の処理ノードのそれぞれにおける割り当てられた複数のメモリキューを示すメモリキューデータ、または前記複数の処理ノードのそれぞれの複数のネットワークアダプタの複数のポートを示すポートデータのうち少なくとも1つを受信することを含む、請求項15に記載のネットワークコントローラ。
- 前記コンピューティングデバイスから前記アーキテクチャ情報を受信することは、前記複数の処理ノードのそれぞれのプロセッサの各処理コアにより実行される複数のアプリケーションを示すアプリケーション実行データを受信することを含み、
前記ネットワークフロー情報を決定することは、前記アプリケーション実行データに少なくとも基づき前記ネットワークパケットと関連付けられたネットワークフロー情報を決定することを含み、
前記ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記ネットワークパケットを処理する前記ターゲットの処理ノードを、前記ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき識別する、請求項15に記載のネットワークコントローラ。 - 前記転送情報は第1転送情報を含み、
転送情報の前記リクエストは前記第1転送情報のリクエストを含み、
前記ネットワークパケットは第1ネットワークパケットを含み、
前記ネットワークフロー情報は第1ネットワークフロー情報を含み、
前記フローフィルタは第1フローフィルタを含み、
前記ターゲットの処理ノードの前記メモリは第1メモリを含み、
前記ターゲットの処理ノードの前記メモリにおける前記メモリキューは、前記ターゲットの処理ノードの前記第1メモリにおける第1メモリキューを含み、
前記ターゲットの処理ノードの前記ネットワークアダプタは前記ターゲットの処理ノードの第1ネットワークアダプタを含み、
前記フロー管理モジュールはさらに、(i)前記ネットワークスイッチから、第2ネットワークパケットと関連付けられた第2転送情報の第2リクエストを受信し、(ii)前記アーキテクチャ情報に少なくとも基づき、前記第2ネットワークパケットと関連付けられた第2ネットワークフロー情報を決定し、
前記第2ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記第2ネットワークパケットを処理する異なる処理ノードを、前記異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
前記フロー管理モジュールはさらに、(iii)決定された前記第2ネットワークフロー情報を前記コンピューティングデバイスへ送信して、前記第2ネットワークフロー情報に少なくとも基づき前記異なる処理ノードの第2ネットワークアダプタにおける第2フローフィルタをプログラミングし、
前記第2フローフィルタは、前記異なる処理ノードの第2メモリにおける、前記第2ネットワークパケットを受信する第2メモリキューを指定し、
前記フロー管理モジュールはさらに、(iv)前記第2ネットワークパケットと関連付けられた前記第2転送情報を決定し、
前記第2転送情報は、前記コンピューティングデバイスの前記異なる処理ノードの前記第2ネットワークアダプタへ通信可能に結合される、前記第2ネットワークパケットが転送されることになる前記ネットワークスイッチの第2ポートを識別し、
前記フロー管理モジュールはさらに、(v)決定された前記第2転送情報を前記ネットワークスイッチへ送信し、
前記第2ネットワークパケットは、前記第2転送情報に少なくとも基づき、前記ネットワークスイッチにより転送される、請求項15から17のいずれか一項に記載のネットワークコントローラ。 - 前記フロー管理モジュールはさらに、命令メッセージを前記コンピューティングデバイスへ送信し、
前記命令メッセージは、前記コンピューティングデバイスに、前記コンピューティングデバイスの前記複数の処理ノードのうち1または複数により他のアプリケーションを実行するよう命令する、請求項15から17のいずれか一項に記載のネットワークコントローラ。 - 複数のネットワークフローを複数の処理リソースにアライメントするための方法であり、
ネットワークコントローラにより、コンピューティングデバイスからアーキテクチャ情報を受信する段階を備え、
前記アーキテクチャ情報は、前記コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定しており、
前記方法は、
前記ネットワークコントローラにより、およびネットワークスイッチから、ネットワークパケットと関連付けられた転送情報のリクエストを受信する段階と、
前記ネットワークコントローラにより、前記アーキテクチャ情報に少なくとも基づき前記ネットワークパケットと関連付けられたネットワークフロー情報を決定する段階と
を備え、
前記ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記ネットワークパケットを処理するターゲットの処理ノードを、前記ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
前記方法は、前記ネットワークコントローラにより、決定された前記ネットワークフロー情報を前記コンピューティングデバイスへ送信して、前記ネットワークフロー情報に少なくとも基づき前記ターゲットの処理ノードのネットワークアダプタにおいてフローフィルタをプログラミングする段階を備え、
前記フローフィルタは、前記ターゲットの処理ノードのメモリにおける、前記ネットワークパケットを受信するメモリキューを指定し、
前記方法は、前記ネットワークコントローラにより、前記ネットワークパケットと関連付けられた前記転送情報を決定し、
前記転送情報は、前記コンピューティングデバイスの前記ターゲットの処理ノードの前記ネットワークアダプタに通信可能に結合された、前記ネットワークパケットが転送されることになる前記ネットワークスイッチのポートを識別し、
前記方法は、前記ネットワークコントローラにより、決定された前記転送情報を前記ネットワークスイッチへ送信する段階を備え、
前記ネットワークパケットは、前記転送情報に少なくとも基づき前記ネットワークスイッチにより転送される、方法。 - 前記コンピューティングデバイスから前記アーキテクチャ情報を受信する段階は、前記複数の処理ノードのそれぞれのプロセッサの各処理コアにより実行される複数のアプリケーションを示すアプリケーション実行データを受信する段階を含み、
前記ネットワークフロー情報を決定する段階は、前記アプリケーション実行データに少なくとも基づき前記ネットワークパケットと関連付けられたネットワークフロー情報を決定する段階を含み、
前記ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記ネットワークパケットを処理する前記ターゲットの処理ノードを、前記ターゲットの処理ノードの処理コアにより実行されるアプリケーションに少なくとも基づき識別する、請求項20に記載の方法。 - 前記転送情報は第1転送情報を含み、
転送情報の前記リクエストは前記第1転送情報のリクエストを含み、
前記ネットワークパケットは第1ネットワークパケットを含み、
前記ネットワークフロー情報は第1ネットワークフロー情報を含み、
前記フローフィルタは第1フローフィルタを含み、
前記ターゲットの処理ノードの前記メモリは第1メモリを含み、
前記ターゲットの処理ノードの前記メモリにおける前記メモリキューは、前記ターゲットの処理ノードの前記第1メモリにおける第1メモリキューを含み、
前記ターゲットの処理ノードの前記ネットワークアダプタは前記ターゲットの処理ノードの第1ネットワークアダプタを含み、
前記方法は、
前記ネットワークコントローラにより、および前記ネットワークスイッチから、第2ネットワークパケットと関連付けられた第2転送情報の第2リクエストを受信する段階と、
前記ネットワークコントローラにより、前記アーキテクチャ情報に少なくとも基づき、前記第2ネットワークパケットと関連付けられた第2ネットワークフロー情報を決定する段階と
をさらに備え、
前記第2ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記第2ネットワークパケットを処理する異なる処理ノードを、前記異なる処理ノードにより実行される他のアプリケーションに少なくとも基づき識別し、
前記方法は、前記ネットワークコントローラにより、決定された前記第2ネットワークフロー情報を前記コンピューティングデバイスへ送信して、前記第2ネットワークフロー情報に少なくとも基づき前記異なる処理ノードの第2ネットワークアダプタにおける第2フローフィルタをプログラミングする段階をさらに備え、
前記第2フローフィルタは、前記異なる処理ノードの第2メモリにおける、前記第2ネットワークパケットを受信する第2メモリキューを指定し、
前記方法は、前記ネットワークコントローラにより、前記第2ネットワークパケットと関連付けられた前記第2転送情報を決定する段階をさらに備え、
前記第2転送情報は、前記コンピューティングデバイスの前記異なる処理ノードの前記第2ネットワークアダプタへ通信可能に結合される、前記第2ネットワークパケットが転送されることになる前記ネットワークスイッチの第2ポートを識別し、
前記方法は、前記ネットワークコントローラにより、決定された前記第2転送情報を前記ネットワークスイッチへ送信する段階をさらに備え、
前記第2ネットワークパケットは、前記第2転送情報に少なくとも基づき、前記ネットワークスイッチにより転送される、請求項20に記載の方法。 - ネットワークコントローラに、請求項20から22のいずれか一項に記載の方法を実行させるプログラム。
- 複数のネットワークフローを複数の処理リソースにアライメントするためのネットワークスイッチであり、
パケット転送モジュールを備え、
前記パケット転送モジュールは、(i)リモートコンピューティングデバイスから前記ネットワークスイッチの第1ポートを介しネットワークパケットを受信し、(ii)受信された前記ネットワークパケットと関連付けられた転送情報のリクエストをネットワークコントローラへ送信し、(iii)前記ネットワークコントローラから前記転送情報を受信し、
前記ネットワークコントローラは、コンピューティングデバイスの複数の処理ノードのそれぞれのアーキテクチャを規定するアーキテクチャ情報に少なくとも基づいて、前記ネットワークパケットと関連付けられたネットワークフロー情報を決定し、前記ネットワークフロー情報に少なくとも基づいて、前記ネットワークパケットと関連付けられた前記転送情報を決定して前記ネットワークスイッチに送信し、
前記ネットワークフロー情報は、前記コンピューティングデバイスの前記複数の処理ノードのうち前記ネットワークパケットを処理するターゲットの処理ノードを、前記ターゲットの処理ノードにより実行されるアプリケーションに少なくとも基づき識別し、
前記ネットワークフロー情報は前記コンピューティングデバイスへ送信されて、前記ターゲットの処理ノードのメモリにおける、前記ネットワークパケットを受信するメモリキューを指定するフローフィルタを、前記ターゲットの処理ノードのネットワークアダプタにおいてプログラミングするのに用いられ、
前記転送情報は、前記受信されたネットワークパケットが転送されることになる前記ネットワークスイッチの第2ポートを示しており、
前記パケット転送モジュールは、(iv)前記受信されたネットワークパケットをコンピューティングデバイスへの送信のために前記第2ポートへ転送し、
前記受信されたネットワークパケットは、前記コンピューティングデバイスの複数の処理ノードのうちのターゲットの処理ノードにより実行されるアプリケーションにより処理される、ネットワークスイッチ。 - 接続情報を前記ネットワークコントローラへ送信する接続管理モジュールをさらに備え、
前記接続情報は、前記ネットワークスイッチと、前記コンピューティングデバイスまたは前記リモートコンピューティングデバイスのうち少なくとも1つとの間の前記ネットワークスイッチの1または複数のポートを介した1または複数のネットワーク接続を示す、請求項24に記載のネットワークスイッチ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/467,917 | 2014-08-25 | ||
US14/467,917 US10200292B2 (en) | 2014-08-25 | 2014-08-25 | Technologies for aligning network flows to processing resources |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016046806A JP2016046806A (ja) | 2016-04-04 |
JP6116072B2 true JP6116072B2 (ja) | 2017-04-19 |
Family
ID=53716332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015141757A Active JP6116072B2 (ja) | 2014-08-25 | 2015-07-16 | ネットワークフローを処理リソースにアライメントするための技術 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10200292B2 (ja) |
EP (1) | EP2991306B1 (ja) |
JP (1) | JP6116072B2 (ja) |
KR (1) | KR101724552B1 (ja) |
CN (1) | CN105391648B (ja) |
TW (1) | TWI589136B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11324022B1 (en) | 2014-10-06 | 2022-05-03 | Sprint Spectrum L.P. | Method and system for selecting a carrier on which to schedule communications of a type of bearer traffic |
US9807766B1 (en) * | 2015-01-30 | 2017-10-31 | Sprint Spectrum L.P. | Method and system for component carrier selection based on content type |
KR20170056879A (ko) * | 2015-11-16 | 2017-05-24 | 한국전자통신연구원 | Sdn 다중 오케스트레이터 |
CN106936739B (zh) * | 2015-12-30 | 2020-02-11 | 新华三技术有限公司 | 一种报文转发方法及装置 |
KR20170087602A (ko) * | 2016-01-21 | 2017-07-31 | 현대자동차주식회사 | 네트워크에서 동작 모드의 전환 방법 |
US10142231B2 (en) * | 2016-03-31 | 2018-11-27 | Intel Corporation | Technologies for network I/O access |
US10237169B2 (en) * | 2016-04-01 | 2019-03-19 | Intel Corporation | Technologies for quality of service based throttling in fabric architectures |
TWI646805B (zh) * | 2016-11-23 | 2019-01-01 | 財團法人資訊工業策進會 | 網路通訊協定轉譯系統及方法 |
KR102078744B1 (ko) * | 2018-03-13 | 2020-02-19 | (주) 시스메이트 | 멀티 코어 프로세서 및 범용 네트워크 컨트롤러 하이브리드 구조의 네트워크 인터페이스 카드 |
US11042416B2 (en) * | 2019-03-06 | 2021-06-22 | Google Llc | Reconfigurable computing pods using optical networks |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6865160B1 (en) * | 1998-05-04 | 2005-03-08 | Hewlett-Packard Development Company, L.P. | Broadcast tree determination in load balancing switch protocols |
US6338078B1 (en) | 1998-12-17 | 2002-01-08 | International Business Machines Corporation | System and method for sequencing packets for multiprocessor parallelization in a computer network system |
US8180918B2 (en) * | 2003-03-07 | 2012-05-15 | Tria Network Systems, LLC | Multiplexing and congestion control |
US7765405B2 (en) | 2005-02-25 | 2010-07-27 | Microsoft Corporation | Receive side scaling with cryptographically secure hashing |
JP2007265089A (ja) * | 2006-03-29 | 2007-10-11 | Fujitsu Ltd | ソフトウェア保守支援プログラム,処理方法および装置 |
US7756027B1 (en) * | 2007-06-13 | 2010-07-13 | Juniper Networks, Inc. | Automatic configuration of virtual network switches |
CN101689158B (zh) | 2007-07-09 | 2012-06-06 | 惠普发展公司,有限责任合伙企业 | 用于多核处理器的数据分组处理方法 |
US20090300209A1 (en) * | 2008-06-03 | 2009-12-03 | Uri Elzur | Method and system for path based network congestion management |
US8355337B2 (en) * | 2009-01-28 | 2013-01-15 | Headwater Partners I Llc | Network based service profile management with user preference, adaptive policy, network neutrality, and user privacy |
US20110004597A1 (en) * | 2009-03-16 | 2011-01-06 | Yehiel Engel | System and method for content aware routing of data within a platform hub |
US9098335B2 (en) * | 2009-12-23 | 2015-08-04 | Citrix Systems, Inc. | Systems and methods for managing spillover limits in a multi-core system |
US8295305B2 (en) * | 2009-12-30 | 2012-10-23 | International Business Machines Corporation | Dual scheduling of work from multiple sources to multiple sinks using source and sink attributes to achieve fairness and processing efficiency |
US9680750B2 (en) * | 2010-07-06 | 2017-06-13 | Nicira, Inc. | Use of tunnels to hide network addresses |
JP5808700B2 (ja) | 2012-03-05 | 2015-11-10 | 株式会社Nttドコモ | 通信制御装置、通信制御システム、仮想化サーバ管理装置、スイッチ装置および通信制御方法 |
US9143557B2 (en) * | 2012-06-27 | 2015-09-22 | Juniper Networks, Inc. | Feedback loop for service engineered paths |
US8929220B2 (en) * | 2012-08-24 | 2015-01-06 | Advanced Micro Devices, Inc. | Processing system using virtual network interface controller addressing as flow control metadata |
US20140162903A1 (en) | 2012-10-31 | 2014-06-12 | Purdue Research Foundation | Metabolite Biomarkers For Forecasting The Outcome of Preoperative Chemotherapy For Breast Cancer Treatment |
TWI487331B (zh) | 2012-12-18 | 2015-06-01 | Wistron Corp | 管理網路傳輸順序之方法及其非揮發性電腦可讀媒體 |
US10057387B2 (en) * | 2012-12-26 | 2018-08-21 | Realtek Singapore Pte Ltd | Communication traffic processing architectures and methods |
US9450817B1 (en) * | 2013-03-15 | 2016-09-20 | Juniper Networks, Inc. | Software defined network controller |
US9485187B2 (en) * | 2013-07-08 | 2016-11-01 | Futurewei Technologies, Inc. | Intelligent software-defined networking based service paths |
US9787586B2 (en) * | 2013-10-24 | 2017-10-10 | University Of Houston System | Location-based network routing |
US10009287B2 (en) * | 2013-12-26 | 2018-06-26 | Huawei Technologies Co., Ltd. | Hierarchical software-defined network traffic engineering controller |
US9588923B2 (en) * | 2014-01-24 | 2017-03-07 | Applied Micro Circuits Corporation | Flow pinning in a server on a chip |
US9825860B2 (en) * | 2014-05-30 | 2017-11-21 | Futurewei Technologies, Inc. | Flow-driven forwarding architecture for information centric networks |
US20170318082A1 (en) * | 2016-04-29 | 2017-11-02 | Qualcomm Incorporated | Method and system for providing efficient receive network traffic distribution that balances the load in multi-core processor systems |
-
2014
- 2014-08-25 US US14/467,917 patent/US10200292B2/en active Active
-
2015
- 2015-07-14 EP EP15176666.4A patent/EP2991306B1/en active Active
- 2015-07-16 JP JP2015141757A patent/JP6116072B2/ja active Active
- 2015-07-17 TW TW104123265A patent/TWI589136B/zh not_active IP Right Cessation
- 2015-07-23 KR KR1020150104443A patent/KR101724552B1/ko active IP Right Grant
- 2015-07-24 CN CN201510440535.5A patent/CN105391648B/zh active Active
-
2019
- 2019-01-28 US US16/258,852 patent/US10757031B2/en active Active
-
2020
- 2020-08-24 US US17/001,499 patent/US11792132B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190158412A1 (en) | 2019-05-23 |
US20160057066A1 (en) | 2016-02-25 |
JP2016046806A (ja) | 2016-04-04 |
EP2991306B1 (en) | 2017-08-23 |
CN105391648B (zh) | 2019-06-04 |
US20200389408A1 (en) | 2020-12-10 |
TW201630384A (zh) | 2016-08-16 |
KR20160024747A (ko) | 2016-03-07 |
US11792132B2 (en) | 2023-10-17 |
US10757031B2 (en) | 2020-08-25 |
EP2991306A1 (en) | 2016-03-02 |
CN105391648A (zh) | 2016-03-09 |
TWI589136B (zh) | 2017-06-21 |
US10200292B2 (en) | 2019-02-05 |
KR101724552B1 (ko) | 2017-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6116072B2 (ja) | ネットワークフローを処理リソースにアライメントするための技術 | |
US9838300B2 (en) | Temperature sensitive routing of data in a computer system | |
US10257066B2 (en) | Interconnect congestion control in a storage grid | |
US9473415B2 (en) | QoS in a system with end-to-end flow control and QoS aware buffer allocation | |
CN107005484B (zh) | 一种用于进行自适应数据分组路由的方法和网络设备 | |
US9276760B2 (en) | Directed route load/store packets for distributed switch initialization | |
US9455916B2 (en) | Method and system for changing path and controller thereof | |
US20140258577A1 (en) | Wire Level Virtualization Over PCI-Express | |
US10091063B2 (en) | Technologies for directed power and performance management | |
US20220045969A1 (en) | Mapping nvme-over-fabric packets using virtual output queues | |
CN107786448B (zh) | 建立业务流的转发路径的方法和装置 | |
US10715437B2 (en) | Deadline driven packet prioritization for IP networks | |
US20130262735A1 (en) | Data processing apparatus, computation device, control method for data processing apparatus | |
US10560527B2 (en) | Network service chains using hardware logic devices in an information handling system | |
US11271897B2 (en) | Electronic apparatus for providing fast packet forwarding with reference to additional network address translation table | |
WO2020184381A1 (ja) | 処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP2012142824A (ja) | ネットワーク装置、通信システム及びそれらに用いるデータ転送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6116072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |