JP5869099B2 - オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース - Google Patents
オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース Download PDFInfo
- Publication number
- JP5869099B2 JP5869099B2 JP2014502782A JP2014502782A JP5869099B2 JP 5869099 B2 JP5869099 B2 JP 5869099B2 JP 2014502782 A JP2014502782 A JP 2014502782A JP 2014502782 A JP2014502782 A JP 2014502782A JP 5869099 B2 JP5869099 B2 JP 5869099B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- user data
- offload device
- data packet
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 109
- 238000000034 method Methods 0.000 claims description 130
- 230000008569 process Effects 0.000 claims description 59
- 238000005538 encapsulation Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 19
- 230000003863 physical function Effects 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 description 26
- 238000003860 storage Methods 0.000 description 22
- 230000009471 action Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 14
- 239000000758 substrate Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 11
- 230000006855 networking Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000005641 tunneling Effects 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004581 coalescence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011010 flushing procedure Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 208000035217 Ring chromosome 1 syndrome Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/166—IP fragmentation; TCP segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/509—Offload
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
L2 MAC送信元アドレス:ホスト1(サブネットA)VFオフロードデバイスのMACアドレス
L2 MAC送信先アドレス:サブネットAゲートウェイのMACアドレス
進出時には、少なくとも一部の実施形態において、以下の実施例のように見えるように、内部L2ヘッダを動的にマングリングすることができる(それにより、パケットが標的上で脱カプセル化される時、内部L2ヘッダは、2つの仮想機械間に実ルータ(複数を含む)が存在した場合に予期されるもののように見える)ことが望ましい可能性がある。
L2 MAC送信元アドレス:サブネットBゲートウェイのMACアドレス
L2 MAC送信先アドレス:ホスト2(サブネットB)VFオフロードデバイスのMACアドレス
オプションの内部IP TTLデクリメントフィールドもまた、使用することができる。例えば、「ファントムルータ」をサポートするために、内部IP TTL(該当する場合)を任意に自動デクリメントする能力が必要とされ得る。TTLがゼロに到達する場合、パケットは、信頼されるルートパーティションへトラップされるべきである。
付記1. マルチテナント環境において、データパケットを処理するためのフレームワークであって、
少なくとも1つのプロセッサと、
プロセッサによって実行される時、フレームワークが、
1つ以上のテナントごとのネットワーク仕様をロードするように、1つ以上の分散サービスと通信することと、
ロードされたテナントごとのネットワーク仕様を実行するように、少なくとも1つのオフロードデバイスに命令することと、
少なくとも1つのオフロードデバイスが、一組の規則の全てを同時に記憶することができない時、少なくとも1つのオフロードデバイスに対する一組の規則を管理することと、
複数のトラフィックタイプの各々に対する適切な送信先に、データパケットを配信することと、を可能にする、命令を含む、メモリと、を備える、フレームワーク。
付記2. フレームワークは、信頼されるホストドメインにおいて実行するように動作可能なソフトウェア管理インターフェースを提供する、付記1に記載のフレームワーク。
付記3. ソフトウェア管理インターフェースは、特別な処理を必要とするパケットを管理するようにさらに動作可能である、付記2に記載のフレームワーク。
付記4. 特別な処理を必要とするパケットは、マルチキャストパケット、ブロードキャストパケット、およびアドレス解決プロトコル(ARP)パケットを含む、付記3に記載のフレームワーク。
付記5. ソフトウェア管理インターフェースは、ドメイン名サービス(DNS)、セキュリティインターフェーシング、およびウェブサーバインターフェーシングのうちの少なくとも1つを含む機能性を管理するようにさらに動作可能である、付記2に記載のフレームワーク。
付記6. ソフトウェア管理インターフェースは、オフロードデバイスによって収集されることが必要なネットワーク統計、および維持されるべき統計を構成するように動作可能である、付記2に記載のフレームワーク。
付記7. テナントごとのネットワーク仕様は、データパケットのスロットリング、セキュリティグループの動作、およびパートナ構成要素間の通信のうちの少なくとも1つに対する仕様を含む、付記1に記載のフレームワーク。
付記8. テナントごとのネットワーク仕様は、SR−IOVネットワーク仕様である、付記1に記載のフレームワーク。
付記9. テナントごとのネットワーク仕様は、仕様が変化する際、リアルタイムで処理される、付記1に記載のフレームワーク。
付記10. 少なくとも1つのオフロードデバイスに対する一組の規則の管理は、オフロードデバイスにおいて、規則の第1のサブセットをロードする一方で、ソフトウェアストラッピングを使用して、規則の第2のサブセットを処理することを含む、付記1に記載のフレームワーク。
付記11. 規則の第1のサブセットは、規則の第2のサブセットよりもしばしば利用される、付記10に記載のフレームワーク。
付記12. テナントごとの仕様は、ハードウェアベンダが、複数のプロトコルに関する特定の情報を入手することなく、それらの複数のプロトコルをサポートすることを可能にする、付記1に記載のフレームワーク。
付記13. トラフィックタイプは、信頼されるホストプラットフォームに対するトラフィック、および仮想テナントに対するトラフィックのうちの少なくとも1つを含む、付記1に記載のフレームワーク。
付記14. オフロードデバイスであって、
プロセッサと、
プロセッサによって実行される時、オフロードデバイスが、
ハードウェアデバイスとしてオフロードデバイスを露出することと、
オフロードハードウェアデバイスと関連付けられる物理的機能に対して受信されるユーザデータパケットの処理の少なくとも一部分を実施することであって、処理は、少なくとも、データパケットの内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、ユーザデータパケットを内部仮想機能へ転送することと、を含み、内部仮想機能は、ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、を可能にする、命令を記憶するメモリと、を備える、オフロードデバイス。
付記15. 処理は、少なくとも1つの外部カプセル化ヘッダをユーザデータパケットから除去することを含む、付記14に記載のオフロードデバイス。
付記16. オフロードデバイスは、ネットワークインターフェースカード(NIC)である、付記14に記載のオフロードデバイス。
付記17. オフロードデバイスは、複数のプロトコルに関する特定の情報を入手することなく、それらの複数のプロトコルをサポートするように動作可能である、付記14に記載のオフロードデバイス。
付記18. マルチテナント環境において、データパケットを処理するための方法であって、
1つ以上のテナントごとのネットワーク仕様をロードするように、1つ以上の分散サービスと通信することと、
ロードされたテナントごとのネットワーク仕様を実行するように、少なくとも1つのオフロードデバイスに命令することと、
少なくとも1つのオフロードデバイスが、一組の規則の全てを同時に記憶することができない時、少なくとも1つのオフロードデバイスに対する一組の規則を管理することと、
複数のトラフィックタイプの各々に対する適切な送信先に、データパケットを配信することと、を含む、方法。
付記19. 信頼されるホストドメインにおいて実行するように動作可能なソフトウェア管理インターフェースを露出することと、をさらに含む、付記18に記載の方法。
付記20. ソフトウェア管理インターフェースは、ドメイン名サービス(DNS)、セキュリティインターフェーシング、およびウェブサーバインターフェーシングのうちの少なくとも1つを含む機能性を管理するようにさらに動作可能である、付記19に記載の方法。
付記21. オフロードデバイスは、SR−IOVネットワーク仕様に従って動作する、付記19に記載の方法。
付記22. 電子環境において、データパケットを処理するためのコンピュータ実装方法であって、
実行可能な命令とともに構成される1つ以上のコンピュータシステムの制御下で、
ユーザに対する仮想ネットワークと関連付けられる仮想機能に対するユーザデータパケットを受信することと、
ユーザデータパケットを処理するための少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
規則表からのトラップ規則の判断に応答して、信頼されるドメインにおいてユーザデータパケットのソフトウェアベースの処理を実施することと、
規則表からのドロップ規則の判断に応答して、ユーザデータパケットのさらなる処理を実施しないことと、
規則表からの転送規則の判断に応答して、オフロードデバイスを使用して、ユーザデータパケットの処理の少なくとも一部分を実施することであって、処理は、少なくとも、外部ヘッダをユーザデータパケットに追加することと、ユーザデータパケットを物理的ネットワーク上へ送信することと、を含み、外部ヘッダは、少なくとも1つの不明瞭なフィールドを含み、かつプロトコル固有の情報を含む、実施することと、を含む、コンピュータ実装方法。
付記23. ルックアップを実施する前に、ユーザデータパケットに対して、少なくとも1つの一般チェックを実施することをさらに含む、付記22に記載のコンピュータ実装方法。
付記24. 少なくとも1つの一般チェックは、少なくとも1つのタイプのパケットに対するレベル2(L2)またはレベル3(L3)アンチスプーフィング、またはトラッピングのうちの少なくとも1つを含む、付記23に記載のコンピュータ実装方法。
付記25. ルックアップは、オフロードデバイスによって実施される、付記22に記載のコンピュータ実装方法。
付記26. オフロードデバイスは、シングルルートI/O仮想化(SR−IOV)プロトコルに基づく、仮想化されたオーバーレイネットワークを提供する、付記25に記載のコンピュータ実装方法。
付記27. ルックアップを実施する前に、ユーザデータパケットにおいて、少なくとも1つのメトリック更新を実施することをさらに含む、付記22に記載のコンピュータ実装方法。
付記28. オフロードデバイスを使用する処理は、ユーザデータパケットのスロットリング、またはサービスの質行為の実施のうちの少なくとも1つをさらに含む、付記22に記載のコンピュータ実装方法。
付記29. ユーザデータパケットを物理的ネットワークに送信することは、セグメント化オフロードプロセスの一部として実施される、付記22に記載のコンピュータ実装方法。
付記30. オフロードデバイスを使用する処理は、ユーザデータパケットのヘッダフィールドを更新することをさらに含み、ヘッダフィールドは、内部および外部パケットの長さ、ならびに内部および外部チェックサム、送信元および送信先アドレス、ならびに有効時間(TTL)値のうちの少なくとも1つを含む、付記22に記載のコンピュータ実装方法。
付記31. オフロードデバイスを使用する処理は、少なくとも部分的に送信元仮想機械に基づいて、各進出パケットにおいて、パケット送信元チェックを実施することを含む、付記22に記載のコンピュータ実装方法。
付記32. ソフトウェアベースの処理は、Dom−0制御ソフトウェアによる処理を含む、付記22に記載のコンピュータ実装方法。
付記33. 処理は、ルックアップキーのパラメータの変更を通じて、いかなる適切なプロトコルもサポートすることができるように、一般形式を利用する、付記22に記載のコンピュータ実装方法。
付記34. 適切なプロトコルを、ステートレストンネリングプロトコルにマップすることができる、付記33に記載のコンピュータ実装方法。
付記35. 電子環境において、データパケットを処理するためのコンピュータ実装方法であって、
実行可能な命令とともに構成される1つ以上のコンピュータシステムの制御下で、
オフロードデバイスと関連付けられる物理的機能に対するユーザデータパケットを受信することと、
オフロードデバイスを使用して、ユーザデータパケットに対するルックアップキーを構築することと、
ルックアップキーを使用してユーザデータパケットを処理するための少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
規則表からのトラップ規則の判断に応答して、信頼されるドメインにおいてユーザデータパケットのソフトウェアベースの処理を実施することと、
規則表からのドロップ規則の判断に応答して、ユーザデータパケットのさらなる処理を実施しないことと、
規則表からの転送規則の判断に応答して、オフロードデバイスを使用して、ユーザデータパケットの処理の少なくとも一部分を実施することであって、処理は、少なくとも、内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、ユーザデータパケットを内部仮想機能へ転送することとを含み、内部仮想機能は、ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、を含む、コンピュータ実装方法。
付記36. オフロードデバイスを使用する処理は、少なくとも1つの外部カプセル化ヘッダをユーザデータパケットから除去することを含む、付記35に記載のコンピュータ実装方法。
付記37. 内部仮想機能は、転送規則によって識別される、付記35に記載のコンピュータ実装方法。
付記38. オフロードデバイスを使用する処理は、事前定義されたオフセットにおいて、事前定義されたプロトコルの形式を使用してカプセル化されているとして、ユーザデータパケットを識別するように動作可能である、付記35に記載のコンピュータ実装方法。
付記39. ユーザデータパケットがカプセル化されない時、ソフトウェアベースの処理を使用して、ユーザデータパケットを処理することをさらに含む、付記35に記載のコンピュータ実装方法。
付記40. オフロードデバイスは、ネットワークインターフェースカード(NIC)である、付記35に記載のコンピュータ実装方法。
付記41. ユーザデータパケット内の既定のオフセットにおける不明瞭なビット内の固定長フィールドを使用して、ユーザデータパケットに対応する仮想機械を判断することをさらに含む、付記35に記載のコンピュータ実装方法。
付記42. 各物理的機能は、一組の進入規則を有し、各規則は、少なくとも部分的に、カプセル化された進入パケットの不明瞭なビットと適合されることが可能である、一組の不明瞭なビットから成る、付記35に記載のコンピュータ実装方法。
付記43. 他のトラフィックは、規則表からの通過規則の判断に応答して、処理を伴わずに通過される、付記35に記載のコンピュータ実装方法。
付記44. 顧客がカプセル化したトラフィックおよび制御トラフィックは、規則表からの通過規則の判断から独立してトラップされる、付記35に記載のコンピュータ実装方法。
付記45. 電子環境において、データパケットを処理するためのシステムであって、
プロセッサと、
プロセッサによって実行される時、プロセッサに、
ユーザに対する仮想ネットワークと関連付けられる仮想機能に対するユーザデータパケットを受信することと、
ユーザデータパケットを処理するための少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
規則表からのトラップ規則の判断に応答して、信頼されるドメインにおいてユーザデータパケットのソフトウェアベースの処理を実施することと、
規則表からのドロップ規則の判断に応答して、ユーザデータパケットのさらなる処理を実施しないことと、
規則表からの転送規則の判断に応答して、オフロードデバイスを使用して、ユーザデータパケットの処理の少なくとも一部分を実施することであって、処理は、少なくとも、外部ヘッダをユーザデータパケットに追加することと、ユーザデータパケットを物理的ネットワーク上へ送信することと、を含み、外部ヘッダは、少なくとも1つの不明瞭なフィールドを含み、かつプロトコル固有の情報を含む、実施することと、を行わせる、命令を含むメモリデバイスと、を備える、システム。
付記46. ルックアップを実施するように動作可能な、少なくとも1つのオフロードデバイスをさらに備える、付記46に記載のシステム。
付記47. オフロードデバイスは、シングルルートI/O仮想化(SR−IOV)プロトコルに基づく、仮想化されたオーバーレイネットワークを提供する、付記46に記載のシステム。
付記48. 電子環境において、データパケットを処理するためのシステムであって、
プロセッサと、
プロセッサによって実行される時、プロセッサに、
オフロードデバイスと関連付けられる物理的機能に対するユーザデータパケットを受信することと、
オフロードデバイスを使用して、ユーザデータパケットに対するルックアップキーを構築することと、
ルックアップキーを使用してユーザデータパケットを処理するための少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
規則表からのトラップ規則の判断に応答して、信頼されるドメインにおいてユーザデータパケットのソフトウェアベースの処理を実施することと、
規則表からのドロップ規則の判断に応答して、ユーザデータパケットのさらなる処理を実施しないことと、
規則表からの転送規則の判断に応答して、オフロードデバイスを使用して、ユーザデータパケットの処理の少なくとも一部分を実施することであって、処理は、少なくとも、内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、ユーザデータパケットを内部仮想機能へ転送することとを含み、内部仮想機能は、ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、を行わせる、命令を含むメモリデバイスと、を備える、システム。
付記49. オフロードデバイスを使用する処理は、少なくとも1つの外部カプセル化ヘッダをユーザデータパケットから除去することを含む、付記48に記載のシステム。
付記50. オフロードデバイスは、ネットワークインターフェースカード(NIC)である、付記48に記載のシステム。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]オフロードデバイスであって、
プロセッサと、
前記プロセッサによって実行される時、前記オフロードデバイスが、
ハードウェアデバイスとして前記オフロードデバイスを露出することと、
前記オフロードハードウェアデバイスと関連付けられる物理的機能に対して受信されるユーザデータパケットの処理の少なくとも一部分を実施することとであって、前記処理は、少なくとも、前記データパケットの内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、前記ユーザデータパケットを、内部仮想機能へ転送することと、を含み、前記内部仮想機能は、前記ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、
を可能にする、命令を記憶するメモリと、を備える、オフロードデバイス。
[2]前記処理は、少なくとも1つの外部カプセル化ヘッダを前記ユーザデータパケットから除去することを含む、[1]に記載のオフロードデバイス。
[3]前記オフロードデバイスは、ネットワークインターフェースカード(NIC)である、[1]に記載のオフロードデバイス。
[4]前記オフロードデバイスは、複数のプロトコルに関する特定の情報を入手することなく、それらの複数のプロトコルをサポートするように、動作可能である、[1]に記載のオフロードデバイス。
[5]電子環境において、データパケットを処理するためのコンピュータ実装方法であって、
実行可能な命令とともに構成される1つ以上のコンピュータシステムの制御下で、
オフロードデバイスと関連付けられる物理的機能に対するユーザデータパケットを受信することと、
前記オフロードデバイスを使用して、前記ユーザデータパケットのためのルックアップキーを構築することと、
前記ルックアップキーを使用して、前記ユーザデータパケットを処理するために、少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
前記規則表からのトラップ規則の判断に応答して、信頼されるドメインにおいて、前記ユーザデータパケットのソフトウェアベースの処理を実施することと、
前記規則表からのドロップ規則の判断に応答して、前記ユーザデータパケットのさらなる処理を実施しないことと、
前記規則表からの転送規則の判断に応答して、前記オフロードデバイスを使用して、前記ユーザデータパケットの前記処理の少なくとも一部分を実施することであって、前記処理は、少なくとも、内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、前記ユーザデータパケットを、内部仮想機能へ転送することとを含み、前記内部仮想機能は、前記ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、を含む、コンピュータ実装方法。
[6]前記オフロードデバイスを使用する前記処理は、前記ユーザデータパケットから少なくとも1つの外部カプセル化ヘッダを除去することを含む、[5]に記載のコンピュータ実装方法。
[7]前記内部仮想機能は、前記転送規則によって識別される、[5]に記載のコンピュータ実装方法。
[8]前記オフロードデバイスを使用する前記処理は、事前定義されたオフセットにおいて、事前定義されたプロトコルの形式を使用してカプセル化されているとして、前記ユーザデータパケットを識別するように動作可能である、[5]に記載のコンピュータ実装方法。
[9]オフロードデバイスを使用する前記処理は、前記ユーザデータパケットのヘッダフィールドを更新することをさらに含み、前記ヘッダフィールドは、内部および外部パケットの長さ、ならびに内部および外部チェックサム、送信元および送信先アドレス、ならびに有効時間(time−to−live:TTL)値のうちの少なくとも1つを含む、[5]に記載のコンピュータ実装方法。
[10]前記ユーザデータパケットがカプセル化されない時、ソフトウェアベースの処理を使用して、前記ユーザデータパケットを処理することをさらに含む、[5]に記載のコンピュータ実装方法。
[11]前記オフロードデバイスは、ネットワークインターフェースカード(NIC)である、[5]に記載のコンピュータ実装方法。
[12]前記ユーザデータパケット内の既定のオフセットにおける不明瞭なビット内の固定長フィールドを使用して、前記ユーザデータパケットに対応する仮想機械を判断することをさらに含む、[5]に記載のコンピュータ実装方法。
[13]各物理的機能は、一組の進入規則を有し、各規則は、少なくとも部分的に、カプセル化された進入パケットの前記不明瞭なビットと適合されることが可能である、一組の不明瞭なビットから成る、[5]に記載のコンピュータ実装方法。
[14]他のトラフィックは、前記規則表からの通過規則の判断に応答して、処理を伴わずに通過される、[5]に記載のコンピュータ実装方法。
[15]顧客がカプセル化したトラフィックおよび制御トラフィックは、前記規則表からの通過規則の判断から独立してトラップされる、[5]に記載のコンピュータ実装方法。
Claims (13)
- オフロードデバイスにおいて、
プロセッサと、
前記プロセッサによって実行されるとき、前記オフロードデバイスが、
ハードウェアデバイスとして前記オフロードデバイスを露出することと、
前記オフロードデバイスに関係付けられている物理的機能に対して受信されるユーザデータパケットの処理の少なくとも一部分を実施することにおいて、前記処理は、少なくとも、前記ユーザデータパケットの内部および外部ヘッダをストリップすることと、任意のパケット修正を実施することと、前記ユーザデータパケットを、内部仮想機能へ転送することと、を含み、前記内部仮想機能は、前記ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、実施することと、
を可能にする命令を記憶するメモリと、を具備する、オフロードデバイス。 - 前記処理は、少なくとも1つの外部カプセル化ヘッダを前記ユーザデータパケットから除去することを含む、請求項1に記載のオフロードデバイス。
- 前記オフロードデバイスは、ネットワークインターフェースカード(NIC)である、請求項1に記載のオフロードデバイス。
- 前記オフロードデバイスは、複数のプロトコルについての特定の情報を取得することなく、それらの複数のプロトコルをサポートするように、動作可能である、請求項1に記載のオフロードデバイス。
- 電子環境において、データパケットを処理するための、コンピュータにより実現される方法において、
実行可能な命令を有するように構成されている1つ以上のコンピュータシステムの制御下で、
オフロードデバイスに関係付けられている物理的機能に対するユーザデータパケットを受信することと、
前記オフロードデバイスを使用して、前記ユーザデータパケットに対してルックアップキーを構築することと、
前記ルックアップキーを使用して、前記ユーザデータパケットを処理するための少なくとも1つの規則に対して、規則表においてルックアップを実施することと、
前記少なくとも1つの規則がトラップ規則であると決定されたとき、信頼されるドメインにおいて、前記ユーザデータパケットのソフトウェアベースの処理が実施されるようにすることと、
前記少なくとも1つの規則がドロップ規則であると決定されたとき、前記ユーザデータパケットのさらなる処理が実施されないようにすることと、
前記少なくとも1つの規則が転送規則であると決定されたとき、前記オフロードデバイスに、前記ユーザデータパケットを少なくとも部分的に処理させることにおいて、前記処理させることは、前記オフロードデバイスに、少なくとも、内部ヘッダおよび外部ヘッダをストリップさせることと、任意のパケット修正を実施させることと、前記ユーザデータパケットを内部仮想機能へ転送させることとを含み、前記内部仮想機能は、前記ユーザデータパケットをゲスト仮想機械へ配信するように動作可能である、処理させることと、を含む、コンピュータにより実現される方法。 - 前記オフロードデバイスを使用する前記処理は、前記ユーザデータパケットから少なくとも1つの外部カプセル化ヘッダを除去することを含む、請求項5に記載のコンピュータにより実現される方法。
- 前記内部仮想機能は、前記転送規則によって識別される、請求項5に記載のコンピュータにより実現される方法。
- 前記オフロードデバイスを使用する前記処理は、事前定義されたオフセットにおいて、事前定義されたプロトコルの形式を使用してカプセル化されているとして、前記ユーザデータパケットを識別するように動作可能である、請求項5に記載のコンピュータにより実現される方法。
- オフロードデバイスを使用する前記処理は、前記ユーザデータパケットのヘッダフィールドを更新することをさらに含み、前記ヘッダフィールドは、内部および外部パケットの長さと、内部および外部チェックサムと、発信元および宛先アドレスと、有効時間(time−to−live:TTL)値とのうちの少なくとも1つを含む、請求項5に記載のコンピュータにより実現される方法。
- 前記ユーザデータパケットがカプセル化されていないとき、ソフトウェアベースの処理を使用して、前記ユーザデータパケットを処理することをさらに含む、請求項5に記載のコンピュータにより実現される方法。
- 前記オフロードデバイスは、ネットワークインターフェースカード(NIC)である、請求項5に記載のコンピュータにより実現される方法。
- 前記ユーザデータパケット内の既定のオフセットにおける不明瞭なビット内の固定長フィールドを使用して、前記ユーザデータパケットに対応する仮想機械を決定することをさらに含む、請求項5に記載のコンピュータにより実現される方法。
- 各物理的機能は、一組の進入規則を有し、各規則は、少なくとも部分的に、カプセル化された進入パケットの不明瞭なビットと適合することが可能である、一組の不明瞭なビットから成る、請求項5に記載のコンピュータにより実現される方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/076,339 | 2011-03-30 | ||
US13/076,339 US8462780B2 (en) | 2011-03-30 | 2011-03-30 | Offload device-based stateless packet processing |
US13/076,347 US8774213B2 (en) | 2011-03-30 | 2011-03-30 | Frameworks and interfaces for offload device-based packet processing |
US13/076,347 | 2011-03-30 | ||
PCT/US2012/031121 WO2012135442A1 (en) | 2011-03-30 | 2012-03-29 | Frameworks and interfaces for offload device-based packet processing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015177553A Division JP6207559B2 (ja) | 2011-03-30 | 2015-09-09 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014512760A JP2014512760A (ja) | 2014-05-22 |
JP5869099B2 true JP5869099B2 (ja) | 2016-02-24 |
Family
ID=46931909
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014502782A Active JP5869099B2 (ja) | 2011-03-30 | 2012-03-29 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
JP2015177553A Active JP6207559B2 (ja) | 2011-03-30 | 2015-09-09 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
JP2017029175A Active JP6360576B2 (ja) | 2011-03-30 | 2017-02-20 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
JP2017169938A Active JP6487979B2 (ja) | 2011-03-30 | 2017-09-05 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015177553A Active JP6207559B2 (ja) | 2011-03-30 | 2015-09-09 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
JP2017029175A Active JP6360576B2 (ja) | 2011-03-30 | 2017-02-20 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
JP2017169938A Active JP6487979B2 (ja) | 2011-03-30 | 2017-09-05 | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース |
Country Status (8)
Country | Link |
---|---|
EP (2) | EP2691865A4 (ja) |
JP (4) | JP5869099B2 (ja) |
CN (2) | CN107450966B (ja) |
AU (1) | AU2012236513B2 (ja) |
BR (1) | BR112013024883B8 (ja) |
CA (4) | CA2951970C (ja) |
SG (1) | SG194017A1 (ja) |
WO (1) | WO2012135442A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8774213B2 (en) | 2011-03-30 | 2014-07-08 | Amazon Technologies, Inc. | Frameworks and interfaces for offload device-based packet processing |
US9935841B2 (en) | 2013-01-28 | 2018-04-03 | Intel Corporation | Traffic forwarding for processing in network environment |
US9384025B2 (en) * | 2013-01-28 | 2016-07-05 | Intel Corporation | Traffic and/or workload processing |
US9426154B2 (en) * | 2013-03-14 | 2016-08-23 | Amazon Technologies, Inc. | Providing devices as a service |
US9747249B2 (en) | 2014-12-29 | 2017-08-29 | Nicira, Inc. | Methods and systems to achieve multi-tenancy in RDMA over converged Ethernet |
CN110262933B (zh) * | 2015-09-10 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 测试方法、测试装置和存储介质 |
US10419772B2 (en) | 2015-10-28 | 2019-09-17 | Qualcomm Incorporated | Parallel arithmetic coding techniques |
CN107291525B (zh) * | 2016-04-01 | 2021-06-01 | 华为技术有限公司 | 一种部署虚拟机的方法、宿主机及系统 |
CN106411872B (zh) * | 2016-09-21 | 2019-09-17 | 杭州迪普科技股份有限公司 | 一种基于数据报文分类的报文压缩的方法和装置 |
US10785020B2 (en) * | 2018-01-19 | 2020-09-22 | Microsoft Technology Licensing, Llc | Hardware offload for QUIC connections |
CN109847342B (zh) * | 2019-03-19 | 2021-03-12 | Oppo广东移动通信有限公司 | 网络检测方法及相关装置 |
CN112243046B (zh) | 2019-07-19 | 2021-12-14 | 华为技术有限公司 | 通信方法和网卡 |
KR102524540B1 (ko) | 2020-04-17 | 2023-04-24 | 한국전자통신연구원 | 멀티 클라우드 서비스 플랫폼 장치 및 방법 |
KR102217114B1 (ko) * | 2020-07-24 | 2021-02-18 | 넷록스 주식회사 | 엣지 플랫폼 네트워크의 가속화 제어 방법 및 이를 사용하는 전자 장치 |
CN114070755B (zh) * | 2020-07-29 | 2023-08-01 | 中移(苏州)软件技术有限公司 | 虚拟机网络流量确定方法、装置、电子设备和存储介质 |
US11290380B2 (en) | 2020-07-30 | 2022-03-29 | S.C Correct Networks S.R.L. | Method for transferring information across a data center network |
KR102479757B1 (ko) * | 2020-11-24 | 2022-12-22 | 한국과학기술원 | 네트워크 및 파일 입출력 연산 오프로딩 방법, 연산 오프로딩 시스템 및 컴퓨터 판독 가능 기록매체 |
CN112600826B (zh) * | 2020-12-10 | 2022-02-22 | 中国科学院深圳先进技术研究院 | 一种虚拟化安全网关系统 |
CN113497765B (zh) * | 2021-09-08 | 2021-11-30 | 中兴通讯股份有限公司 | 一种路由管理的方法、装置、电子设备和存储介质 |
US11968115B2 (en) | 2021-10-31 | 2024-04-23 | Avago Technologies International Sales Pte. Limited | Method for verifying data center network performance |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802258A (en) * | 1996-05-03 | 1998-09-01 | International Business Machines Corporation | Loosely coupled system environment designed to handle a non-disruptive host connection switch after detection of an error condition or during a host outage or failure |
US7269663B2 (en) * | 2001-09-28 | 2007-09-11 | Intel Corporation | Tagging packets with a lookup key to facilitate usage of a unified packet forwarding cache |
JP2003303053A (ja) * | 2002-04-11 | 2003-10-24 | Nec Corp | ディスクアレイ装置及びこれによるデータ処理方法 |
US7496689B2 (en) * | 2002-04-22 | 2009-02-24 | Alacritech, Inc. | TCP/IP offload device |
US7701963B2 (en) * | 2002-10-15 | 2010-04-20 | Qualcomm Incorporated | Method and apparatus for the use of micro-tunnels in a communications system |
US7620070B1 (en) * | 2003-06-24 | 2009-11-17 | Nvidia Corporation | Packet processing with re-insertion into network interface circuitry |
ATE528897T1 (de) * | 2003-09-10 | 2011-10-15 | Microsoft Corp | Mehrfachabladung von netzstatusobjekten mit unterstützung von failoverereignissen |
US20050060538A1 (en) * | 2003-09-15 | 2005-03-17 | Intel Corporation | Method, system, and program for processing of fragmented datagrams |
US7961683B2 (en) * | 2004-09-30 | 2011-06-14 | Alcatel-Lucent Usa Inc. | Active session mobility solution for point-to-point protocol |
US7957379B2 (en) * | 2004-10-19 | 2011-06-07 | Nvidia Corporation | System and method for processing RX packets in high speed network applications using an RX FIFO buffer |
US7783880B2 (en) * | 2004-11-12 | 2010-08-24 | Microsoft Corporation | Method and apparatus for secure internet protocol (IPSEC) offloading with integrated host protocol stack management |
US7797460B2 (en) * | 2005-03-17 | 2010-09-14 | Microsoft Corporation | Enhanced network system through the combination of network objects |
JP4616732B2 (ja) * | 2005-09-02 | 2011-01-19 | 株式会社日立製作所 | パケット転送装置 |
US8069153B2 (en) * | 2005-12-02 | 2011-11-29 | Salesforce.Com, Inc. | Systems and methods for securing customer data in a multi-tenant environment |
JP5022691B2 (ja) * | 2006-12-12 | 2012-09-12 | キヤノン株式会社 | 通信装置、その制御方法及びプログラム |
CN101207604B (zh) * | 2006-12-20 | 2012-03-28 | 联想(北京)有限公司 | 一种虚拟机系统及其通信处理方法 |
US7715321B2 (en) * | 2007-01-30 | 2010-05-11 | International Business Machines Corporation | Network interface card transmission control protocol acceleration offload failure detection and recovery mechanism |
US8412809B2 (en) * | 2007-10-24 | 2013-04-02 | International Business Machines Corporation | Method, apparatus and computer program product implementing multi-tenancy for network monitoring tools using virtualization technology |
CN101179509A (zh) * | 2007-12-10 | 2008-05-14 | 中兴通讯股份有限公司 | 基于点对点协议的mac地址与接入电路绑定方法和装置 |
US20090199290A1 (en) * | 2008-02-01 | 2009-08-06 | Secure Computing Corporation | Virtual private network system and method |
JP2009278261A (ja) * | 2008-05-13 | 2009-11-26 | Toshiba Corp | 情報処理装置および通信制御方法 |
CN101753546B (zh) * | 2008-12-16 | 2012-10-31 | 中国移动通信集团公司 | 一种数据包传送方法及装置 |
CN101459618B (zh) * | 2009-01-06 | 2011-01-19 | 北京航空航天大学 | 虚拟机网络的数据包转发方法和装置 |
US8589919B2 (en) * | 2009-04-28 | 2013-11-19 | Cisco Technology, Inc. | Traffic forwarding for virtual machines |
EP2509000A4 (en) * | 2009-12-04 | 2017-09-20 | Nec Corporation | Server and flow control program |
WO2012011218A1 (en) * | 2010-07-21 | 2012-01-26 | Nec Corporation | Computer system and offloading method in computer system |
CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
-
2012
- 2012-03-29 CA CA2951970A patent/CA2951970C/en active Active
- 2012-03-29 EP EP12763168.7A patent/EP2691865A4/en not_active Ceased
- 2012-03-29 BR BR112013024883A patent/BR112013024883B8/pt active IP Right Grant
- 2012-03-29 JP JP2014502782A patent/JP5869099B2/ja active Active
- 2012-03-29 CA CA2831705A patent/CA2831705C/en active Active
- 2012-03-29 EP EP22172249.9A patent/EP4106301A1/en active Pending
- 2012-03-29 WO PCT/US2012/031121 patent/WO2012135442A1/en active Application Filing
- 2012-03-29 CN CN201710709078.4A patent/CN107450966B/zh active Active
- 2012-03-29 CA CA2951952A patent/CA2951952C/en active Active
- 2012-03-29 CN CN201280015987.3A patent/CN104054067B/zh active Active
- 2012-03-29 CA CA2951949A patent/CA2951949C/en active Active
- 2012-03-29 SG SG2013073291A patent/SG194017A1/en unknown
- 2012-03-29 AU AU2012236513A patent/AU2012236513B2/en active Active
-
2015
- 2015-09-09 JP JP2015177553A patent/JP6207559B2/ja active Active
-
2017
- 2017-02-20 JP JP2017029175A patent/JP6360576B2/ja active Active
- 2017-09-05 JP JP2017169938A patent/JP6487979B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CA2951952C (en) | 2019-01-15 |
EP2691865A4 (en) | 2016-05-25 |
BR112013024883A2 (pt) | 2016-12-20 |
JP2016028479A (ja) | 2016-02-25 |
BR112013024883B1 (pt) | 2021-06-29 |
AU2012236513A1 (en) | 2013-10-31 |
AU2012236513A8 (en) | 2013-12-05 |
CN107450966B (zh) | 2021-08-06 |
CA2951970A1 (en) | 2012-10-04 |
CA2951949A1 (en) | 2012-10-04 |
CN104054067B (zh) | 2017-09-08 |
JP2014512760A (ja) | 2014-05-22 |
JP2017126998A (ja) | 2017-07-20 |
SG194017A1 (en) | 2013-11-29 |
BR112013024883B8 (pt) | 2021-11-03 |
CA2951970C (en) | 2018-02-13 |
JP6487979B2 (ja) | 2019-03-20 |
CA2951949C (en) | 2019-01-15 |
EP4106301A1 (en) | 2022-12-21 |
CA2951952A1 (en) | 2012-10-04 |
CA2831705C (en) | 2017-10-03 |
JP6360576B2 (ja) | 2018-07-18 |
EP2691865A1 (en) | 2014-02-05 |
AU2012236513B2 (en) | 2015-02-05 |
JP6207559B2 (ja) | 2017-10-04 |
CN107450966A (zh) | 2017-12-08 |
CA2831705A1 (en) | 2012-10-04 |
WO2012135442A1 (en) | 2012-10-04 |
CN104054067A (zh) | 2014-09-17 |
JP2018011331A (ja) | 2018-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941427B2 (en) | Frameworks and interfaces for offload device-based packet processing | |
JP6487979B2 (ja) | オフロードデバイスベースのパケット処理のためのフレームワークおよびインターフェース | |
US9042403B1 (en) | Offload device for stateless packet processing | |
US9602636B1 (en) | Stateless packet segmentation and processing | |
US8155146B1 (en) | Stateless packet segmentation and processing | |
US9385912B1 (en) | Framework for stateless packet tunneling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5869099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |