JP5469081B2 - 制御パス入出力仮想化方法 - Google Patents
制御パス入出力仮想化方法 Download PDFInfo
- Publication number
- JP5469081B2 JP5469081B2 JP2010536539A JP2010536539A JP5469081B2 JP 5469081 B2 JP5469081 B2 JP 5469081B2 JP 2010536539 A JP2010536539 A JP 2010536539A JP 2010536539 A JP2010536539 A JP 2010536539A JP 5469081 B2 JP5469081 B2 JP 5469081B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pointer
- descriptor
- server
- proxy controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 3
- 239000000872 buffer Substances 0.000 claims description 42
- 238000013507 mapping Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 125000003636 chemical group Chemical group 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 150000001875 compounds Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Chemical group 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/70—Virtual switches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3009—Header conversion, routing tables or routing tags
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/45—Arrangements for providing or supporting expansion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
1.VMware(登録商標)、Xen(登録商標)、及びマイクロソフト・バーチャルサーバー(Microsoft Virtual Server)(登録商標)のようなサーバー仮想化ソフトウェアによる仮想装置のエミュレーション。これは、単一の物理的サーバー上の複数の仮想マシンが、単一の物理的I/O装置を共用することを可能にする。複数の物理的サーバー間でI/Oリソースを共用する能力は存在しない。
2.イーサネット(登録商標)またはインフィニバンド(Infiniband)(登録商標)のような、I/Oネットワークと組み合わされた高レベルのI/O仮想化。これは、複数のサーバーが、特化したI/Oゲートウェイ機器によって提供される抽象化されたI/Oサービスへのアクセスを共用することを可能にする。
3.PCI-SIG IOV規格によって規定される低レベル、PCIベースのI/O仮想化。これは、普遍的なPCIプロトコルへの拡張を規定して、複数のサーバーがコモディティ(標準品)のI/O装置を共用することを可能にする。
4.PCI IOV的な特徴を既存の装置に追加する、帯域内仮想化装置の追加による、レガシー(旧式的)I/O装置の低レベル、PCIベースのI/O仮想化。これは、2005年に見られたNextIOの非営利技術デモンストレータを代表例とする。
i) パケットヘッダーを検査することによって、異なる種類のトラフィックを区別し;
ii) データトラフィックは、少なくとも1つのI/O装置と少なくとも1つのサーバーとの間で直接ルーティング(経路設定)し;
iii) 制御トラフィックは、プロキシコントローラを経由してルーティングする
ように構成されている。
i) パケットヘッダーを検査することによって、異なる種類のトラフィックを区別し;
ii) データトラフィックは、少なくとも1つのI/O装置と少なくとも1つのサーバーとの間で直接ルーティング(経路設定)し;
iii) 制御トラフィックは、プロキシコントローラを経由してルーティングする
ように構成されている。
i) サーバーからI/O装置へのコマンド。
ii) サーバーによるI/O装置内のリソースの状態読出し。
iii) I/O装置が、サーバーメモリ内のコマンド記述子を読出し中。
iv) I/O装置が、状態記述子をサーバーメモリに書込み中。
v) I/O装置が、サーバーメモリ内のデータバッファを読出し/書込み中。
I/O動作を開始するために、サーバーは:
1.一組のデータバッファをメモリ内に生成し、
2.コマンド/状態記述子のリストをメモリ内に作成することができる。これらの記述子は、データバッファへのポインタ、及び「次の」コマンド/状態記述子へのポインタも有する。
3.サーバーは、最初のコマンド記述子へのポインタを有するI/O装置に直接、コマンドを送信する(型i)のトランザクション)。従来は、I/O装置がこのことを利用して、最初のコマンド記述子をメモリから読み出していたが、今度は、スイッチがこのコマンドをプロキシコントローラにリダイレクトする。
4.プロキシコントローラは、コマンド記述子を読み込む。プロキシコントローラは、記述子のフォーマットを理解し、従って、どれがデータバッファへのポインタであり、どれが次の記述子へのポインタであるかを知る。プロキシコントローラは、他の記述子へのポインタが(例えば最上位ビットを設定することによって)アドレス空間の上位領域内にマッピングされるように、当該プロキシコントローラが有する記述子のコピーを修正する。データバッファポインタは、各サーバーのバッファが連続領域内にマッピングされるように修正される。
5.プロキシコントローラは、サーバーからの元の直接的なコマンドを、今度は第1記述子の新たな位置を指示(ポイント)するように修正して、このコマンドをI/O装置に転送する。
6.I/O装置は、このコマンド中のポインタを用いて、最初のコマンド記述子をフェッチする。スイッチは、これが上位アドレスからの記述子クセスであることを識別して、要求をプロキシコントローラにリダイレクトし、プロキシコントローラは、修正した記述子の内容で応答する。
7.I/O装置がデータバッファにアクセスすると、スイッチは下位アドレスによってこのことを識別して、トランザクションを適切なサーバーに直接ルーティングする。
8.I/O動作が完了すると、I/O装置は「割込み(インタラプト)」によってサーバーに信号通知し、この「割込み」は、単にサーバーメモリ内の所定位置へのメモリ書込みである。コマンド/状態記述子と同様に、この「割込み」は、初期化中に、プロキシコントローラによって上位アドレス領域内に再マッピングされており、これにより、スイッチは、この「割込み」を容易にプロキシコントローラにリダイレクトすることができる。
ことができる。
・I/O装置4を仮想化して、最大16台のサーバー2、3間で共用する。
・コプロセッサ8は、64ビットサーバーのアドレス空間の上位5ビットが未使用である(すべて「0」である)ものと仮定する。
・コプロセッサ8は、記述子及びデータバッファを、ビット59〜62がサーバーIDを含むように修正する。
・コプロセッサ8は、ビット「63」=1となるように記述子ポインタを修正する。
・スイッチ1は、ビット63=「1」では、I/O装置4からのすべてのメモリアクセスを、コプロセッサ8にリダイレクトする。
・スイッチ1は、ビット63=「0」では、I/O装置4からのすべてのメモリアクセスを、ビット59:62によって指示されるサーバー2、3にルーティングすると共に、これらのビットをクリアする。
Claims (9)
- プロキシコントローラと組み合わされるデータスイッチであって、少なくとも1つの入力/出力(I/O)装置と、メモリを含む少なくとも1つのサーバーとの間で、データトラフィック及び制御トラフィックをルーティングするように構成され、前記メモリは、一組のデータバッファ、及びコマンド/状態記述子のリストを含むアドレス空間を有するデータスイッチにおいて、このデータスイッチが、
i) パケットヘッダーを検査することによって、異なる種類のトラフィックを区別し;
ii) データトラフィックは、前記少なくとも1つのI/O装置と前記少なくとも1つのサーバーとの間で直接ルーティングし;
iii) 制御トラフィックのみを、前記プロキシコントローラを経由してルーティングする
ように構成され、
前記プロキシコントローラが、前記記述子を読み込むことによってコピーし、前記記述子内のポインタが、前記データバッファへのポインタである第1クラスのポインタであるか、後続する記述子へのポインタである第2クラスのポインタであるかを示すように、前記記述子のコピーを修正することを特徴とするデータスイッチ。 - 前記プロキシコントローラが、前記第1クラスのポインタと前記第2クラスのポインタとが前記データスイッチによって互いに区別可能になるように、当該プロキシコントローラが有する前記記述子のコピーを修正することを特徴とする請求項1に記載のデータスイッチ。
- 前記プロキシコントローラが、前記第1クラスのポインタ中の1つ以上の非上位ビットを第1設定値に設定し、前記第2クラスのポインタ中の1つ以上の非上位ビットを第2設定値に設定するように構成されていることを特徴とする請求項2に記載のデータスイッチ。
- 前記第1クラスのポインタ及び/または前記第2クラスのポインタ中の、前記1つ以上の非上位ビット以外の追加的な非上位ビットを、複数のサーバーのうち、元の未修正の前記記述子及び/または前記データバッファを含むサーバーを識別するように設定することを特徴とする請求項3に記載のデータスイッチ。
- 前記プロキシコントローラが、前記サーバーの前記アドレス空間を、前記プロキシコントローラの仮想アドレス空間内にマッピングするように構成されていることを特徴とする請求項1〜4のいずれかに記載のデータスイッチ。
- 前記記述子を、前記仮想空間の第1組の領域内にマッピングし、前記データバッファを、前記仮想アドレス空間の第2組の領域内にマッピングすることを特徴とする請求項5に記載のデータスイッチ。
- 前記第1組の領域と前記第2組の領域とが、不連続な領域であることを特徴とする請求項6に記載のデータスイッチ。
- 前記第1組の領域及び前記第2組の領域の各々が、それぞれ単一の第1領域及び単一の第2領域で構成されることを特徴とする請求項6または7に記載のデータスイッチ。
- 前記データスイッチが、前記仮想アドレス空間の前記第1組の領域へのアクセスを、前記プロキシコントローラを経由してルーティングし、前記仮想アドレス空間の前記第2組の領域へのアクセスを、前記I/O装置と前記サーバーとの間で直接ルーティングするように構成され、前記第1組の領域へのアクセスは制御トラフィックから成り、前記第2組の領域へのアクセスはデータトラフィックから成ることを特徴とする請求項6、7または8に記載のデータスイッチ。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US1225707P | 2007-12-07 | 2007-12-07 | |
GB0723939.5 | 2007-12-07 | ||
US61/012,257 | 2007-12-07 | ||
GB0723939.5A GB2455347B (en) | 2007-12-07 | 2007-12-07 | Control path I/O virtualisation |
PCT/GB2008/051139 WO2009071941A1 (en) | 2007-12-07 | 2008-12-01 | Control path i/o virtualisation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011507065A JP2011507065A (ja) | 2011-03-03 |
JP5469081B2 true JP5469081B2 (ja) | 2014-04-09 |
Family
ID=39016318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010536539A Active JP5469081B2 (ja) | 2007-12-07 | 2008-12-01 | 制御パス入出力仮想化方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9021125B2 (ja) |
JP (1) | JP5469081B2 (ja) |
CN (1) | CN101889263B (ja) |
GB (1) | GB2455347B (ja) |
WO (1) | WO2009071941A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2460841B (en) * | 2008-06-10 | 2012-01-11 | Virtensys Ltd | Methods of providing access to I/O devices |
WO2012073304A1 (ja) | 2010-11-29 | 2012-06-07 | 株式会社日立製作所 | 計算機システム、それに使用されるスイッチ及びパケット転送制御方法 |
US8923149B2 (en) * | 2012-04-09 | 2014-12-30 | Futurewei Technologies, Inc. | L3 gateway for VXLAN |
EP2823617B1 (de) * | 2012-05-31 | 2018-07-11 | Siemens Aktiengesellschaft | Kommunikation zweier clients über einen server |
US9319349B2 (en) * | 2013-06-20 | 2016-04-19 | Micron Technology, Inc. | Encapsulation enabled PCIE virtualisation |
US9806998B2 (en) * | 2014-06-06 | 2017-10-31 | Extreme Networks, Inc. | Method of reducing traffic loss when bringing up a switch within a multi chassis switch cluster without using dedicated intra cluster links |
US10073725B2 (en) * | 2016-02-11 | 2018-09-11 | Micron Technology, Inc. | Distributed input/output virtualization |
CN115176428A (zh) * | 2020-01-21 | 2022-10-11 | 哲库科技有限公司 | 软硬件互通系统中的命令和响应描述符处理 |
US11641978B2 (en) | 2020-12-31 | 2023-05-09 | Sharkninja Operating Llc | Micro puree machine |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5386524A (en) * | 1992-04-16 | 1995-01-31 | Digital Equipment Corporation | System for accessing information in a data processing system |
US6216167B1 (en) * | 1997-10-31 | 2001-04-10 | Nortel Networks Limited | Efficient path based forwarding and multicast forwarding |
CN100397372C (zh) * | 1998-01-22 | 2008-06-25 | 英纳瑞公司 | 用于通用数据交换网关的方法和装置 |
AU2060101A (en) * | 1999-12-10 | 2001-06-18 | Diva Systems Corporation | Method and apparatus of load sharing and improving fault tolerance in an interactive video distribution system |
CN1307570C (zh) * | 2001-01-31 | 2007-03-28 | 国际商业机器公司 | 控制数据处理系统间经由存储器的数据流的方法和装置 |
US6463265B1 (en) * | 2001-06-05 | 2002-10-08 | International Business Machines Corp. | Data source hand-off in a broadcast-based data dissemination environment |
JP2003044421A (ja) * | 2001-07-26 | 2003-02-14 | Fujitsu Ltd | 仮想ストレージシステム及び同システムに使用されるスイッチングノード |
JP4207520B2 (ja) * | 2001-10-02 | 2009-01-14 | 株式会社日立製作所 | 排他制御装置及び排他制御方法 |
US7243229B2 (en) * | 2001-10-02 | 2007-07-10 | Hitachi, Ltd. | Exclusive access control apparatus and method |
US20030105830A1 (en) * | 2001-12-03 | 2003-06-05 | Duc Pham | Scalable network media access controller and methods |
US7171495B2 (en) * | 2002-05-06 | 2007-01-30 | Silverstorm Technologies, Inc. | System and method for implementing virtual adapters and virtual interfaces in a network system |
US7752361B2 (en) * | 2002-06-28 | 2010-07-06 | Brocade Communications Systems, Inc. | Apparatus and method for data migration in a storage processing device |
US20040028043A1 (en) * | 2002-07-31 | 2004-02-12 | Brocade Communications Systems, Inc. | Method and apparatus for virtualizing storage devices inside a storage area network fabric |
US6883083B1 (en) * | 2002-12-20 | 2005-04-19 | Veritas Operating Corporation | System and method for maintaining and accessing information regarding virtual storage devices |
US7669032B2 (en) * | 2003-11-26 | 2010-02-23 | Symantec Operating Corporation | Host-based virtualization optimizations in storage environments employing off-host storage virtualization |
US7633955B1 (en) * | 2004-02-13 | 2009-12-15 | Habanero Holdings, Inc. | SCSI transport for fabric-backplane enterprise servers |
ATE422261T1 (de) * | 2004-02-18 | 2009-02-15 | Harman Becker Automotive Sys | Atapi schalter |
KR100601886B1 (ko) * | 2004-07-12 | 2006-07-19 | 삼성전자주식회사 | 이종 네트워크 간 핸드오버 제어방법 |
JP4309321B2 (ja) * | 2004-09-28 | 2009-08-05 | 株式会社日立製作所 | ネットワークシステムの運用管理方法及びストレージ装置 |
US20060193327A1 (en) * | 2005-02-25 | 2006-08-31 | International Business Machines Corporation | System and method for providing quality of service in a virtual adapter |
US20060235973A1 (en) * | 2005-04-14 | 2006-10-19 | Alcatel | Network services infrastructure systems and methods |
US7620741B2 (en) * | 2005-04-22 | 2009-11-17 | Sun Microsystems, Inc. | Proxy-based device sharing |
CN100413291C (zh) * | 2005-10-26 | 2008-08-20 | 广东省电信有限公司研究院 | 宽带网络上的业务区分和业务服务质量控制的实现方法 |
US9032164B2 (en) * | 2006-02-17 | 2015-05-12 | Emulex Corporation | Apparatus for performing storage virtualization |
JP4175379B2 (ja) * | 2006-04-25 | 2008-11-05 | 日本電気株式会社 | ファイル共有方法およびファイル共有システム |
-
2007
- 2007-12-07 GB GB0723939.5A patent/GB2455347B/en active Active
-
2008
- 2008-12-01 CN CN200880119626.7A patent/CN101889263B/zh active Active
- 2008-12-01 WO PCT/GB2008/051139 patent/WO2009071941A1/en active Application Filing
- 2008-12-01 JP JP2010536539A patent/JP5469081B2/ja active Active
- 2008-12-05 US US12/315,723 patent/US9021125B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011507065A (ja) | 2011-03-03 |
GB2455347A (en) | 2009-06-10 |
US9021125B2 (en) | 2015-04-28 |
CN101889263A (zh) | 2010-11-17 |
US20090150563A1 (en) | 2009-06-11 |
CN101889263B (zh) | 2013-04-03 |
WO2009071941A1 (en) | 2009-06-11 |
GB0723939D0 (en) | 2008-01-23 |
GB2455347B (en) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5469081B2 (ja) | 制御パス入出力仮想化方法 | |
US8176204B2 (en) | System and method for multi-host sharing of a single-host device | |
US7574536B2 (en) | Routing direct memory access requests using doorbell addresses | |
US7293129B2 (en) | Flexible routing and addressing | |
CN108268412B (zh) | 用于扩展外围组件互连高速结构的系统和方法 | |
US8316377B2 (en) | Sharing legacy devices in a multi-host environment | |
US7565463B2 (en) | Scalable routing and addressing | |
EP1706824B1 (en) | Method and apparatus for shared i/o in a load/store fabric | |
US7613864B2 (en) | Device sharing | |
US7620741B2 (en) | Proxy-based device sharing | |
US7620066B2 (en) | Method and apparatus for shared I/O in a load/store fabric | |
US7865654B2 (en) | Programmable bridge header structures | |
US8374175B2 (en) | System and method for remote direct memory access over a network switch fabric | |
US8103810B2 (en) | Native and non-native I/O virtualization in a single adapter | |
KR101364820B1 (ko) | 시스템, 클러스터 포트 및 방법 | |
US7694047B1 (en) | Method and system for sharing input/output devices | |
EP2722771B1 (en) | Controller integration | |
US20070050520A1 (en) | Systems and methods for multi-host extension of a hierarchical interconnect network | |
JP5490336B2 (ja) | Pciエクスプレス・マルチプル・ルートi/o仮想化環境における低待ち時間の優先順位付け | |
US20060253619A1 (en) | Virtualization for device sharing | |
US20070025354A1 (en) | Method and apparatus for shared i/o in a load/store fabric | |
US7783822B2 (en) | Systems and methods for improving performance of a routable fabric | |
US11829309B2 (en) | Data forwarding chip and server | |
JP2023529831A (ja) | 直接取り付けられたディスパッチを使用した、分離されたスイッチ制御経路 | |
US20170357594A1 (en) | Transactional memory that is programmable to output an alert if a predetermined memory write occurs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5469081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |