JP6713791B2 - モジュール型不揮発性フラッシュメモリブレード及びその動作方法 - Google Patents

モジュール型不揮発性フラッシュメモリブレード及びその動作方法 Download PDF

Info

Publication number
JP6713791B2
JP6713791B2 JP2016036936A JP2016036936A JP6713791B2 JP 6713791 B2 JP6713791 B2 JP 6713791B2 JP 2016036936 A JP2016036936 A JP 2016036936A JP 2016036936 A JP2016036936 A JP 2016036936A JP 6713791 B2 JP6713791 B2 JP 6713791B2
Authority
JP
Japan
Prior art keywords
flash memory
card
volatile flash
memory blade
state drive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016036936A
Other languages
English (en)
Other versions
JP2016162458A (ja
Inventor
ジャン ピン，
ジャン ピン，
ハリー ロジャーズ，
ハリー ロジャーズ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016162458A publication Critical patent/JP2016162458A/ja
Application granted granted Critical
Publication of JP6713791B2 publication Critical patent/JP6713791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G06F13/362—Handling requests for interconnection or transfer for access to common bus or bus system with centralised access control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G06F1/185—Mounting of expansion boards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/161—Computing infrastructure, e.g. computer clusters, blade chassis or hardware partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Mathematical Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Software Systems (AREA)
  • Multi Processors (AREA)

Description

本発明は、エンタープライズサーバソリューションに関し、より詳しくはエンタープライズサーバ及び／又はオープンクラウドサーバに使用するモジュール型不揮発性フラッシュメモリブレード及びその動作方法に関する。
エンタープライズサーバ（Ｅｎｔｅｒｐｒｉｓｅ ｓｅｒｖｅｒ）は、インターネット、最近登場したモノのインターネット（ＩｏＴ）、また多くのビジネスイントラネットとその応用のために、コンピューティング及びストレージ機能を提供する。エンタープライズサーバは、いくらかの現代文明の便利さを提供する。例えば、交易と輸送のための物流システムは、エンタープライズサーバに大きく依存している。また、インターネット検索、ソーシャルネットワーク、及びソーシャルメディアも堅牢なエンタープライズサーバ基盤に直接的に依存している。これらの産業は、このようにコンピューティング資源に著しく依存する多くの産業の中の一部に過ぎない。汎用性を獲得した特定のアーキテクチャの１つに、オープンクラウドサーバ（Ｏｐｅｎ Ｃｌｏｕｄ Ｓｅｒｖｅｒ：以下、ＯＣＳ）アーキテクチャがある。オープンクラウドサーバ（ＯＣＳ）アーキテクチャは、クラウドサーバへの応用を目的とするオープンブレードシステム（Ｏｐｅｎ ｂｌａｄｅ ｓｙｓｔｅｍ）を提供する。
しかし、オープンクラウドサーバ（ＯＣＳ）アーキテクチャ及び他の同様なアーキテクチャは、ブレードシステムのキャッシング要求を計算するための不揮発性メモリモジュールアレイを支援するために制限された機能のみを提供している。従来のエンタープライズサーバの具現においては、密度と性能中心のストレージ機能が不足しており、またソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ：以下、ＳＳＤ）分野の最近開発された機能については限定的に支援するか、或いは全く支援していない。
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、サーバシステムを具現する際に高いストレージ容量及び面積効率を有するモジュール型不揮発性フラッシュメモリブレード及びその動作方法を提供することにある。
本発明によるＯＣＳ対応エンタープライズサーバ及び他の同様なエンタープライズサーバは、高密度で、高性能なモジュール型不揮発性フラッシュメモリブレード及びマルチカードモジュールを含む。
上記目的を達成するためになされた本発明の一態様による不揮発性フラッシュメモリブレードのマルチカードモジュールは、印刷回路基板と、前記印刷回路基板に連結されたパワーポートと、前記印刷回路基板に連結された入出力ポートと、前記パワーポートに電気的に連結される少なくとも１つのソリッドステートドライブライザーカードが装着された複数のライザーカードスロットと、を含むことを特徴とする。
上記目的を達成するためになされた本発明の一態様によるモジュール型不揮発性フラッシュメモリブレードは、複数のアップストリームポートに連結された１つ以上のプロセッサを含むサーバマザーボードと、１つ以上のパワーポートを含むミッドプレーンボードと、１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールと、を含み、前記不揮発性フラッシュメモリブレードのマルチカードモジュールの少なくとも１つは、スイッチと、前記ミッドプレーンボードの前記１つ以上のパワーポートに連結されて、前記スイッチに電気的に連結されたモジュールパワーポートと、前記スイッチに電気的に連結されて、前記サーバマザーボードの前記複数のアップストリームポートのの対応する１つのアップストリームポートに電気的に連結される入出力ポートと、１つ以上のソリッドステートドライブライザーカードが装着される１つ以上のライザーカードスロットを含み、前記１つ以上のソリッドステートドライブライザーカードは、前記スイッチと前記モジュールパワーポートとに電気的に連結されることを特徴とする。
前記モジュール型不揮発性フラッシュメモリブレードは、前記サーバマザーボードの前記複数のアップストリームポートの中の対応する１つに装着される１つ以上のケーブルコネクタライザーカードと、前記ケーブルコネクタライザーカードの中の対応する少なくとも１つを介して、前記不揮発性フラッシュメモリブレードのマルチカードモジュールの中の対応する少なくとも１つに含まれる入出力ポートの中の対応するいずれか１つに、前記アップストリームポートの各々を連結するための１つ以上のケーブルと、を含み得る。
上記目的を達成するためになされた本発明の一態様によるモジュール型不揮発性フラッシュメモリブレードの動作方法は、サーバマザーボードの１つ以上のアップストリームポートに１つ以上のケーブルコネクタライザーカードを連結する段階と、前記１つ以上のケーブルコネクタライザーカードに１つ以上のケーブルを連結する段階と、前記１つ以上のケーブル、前記１つ以上のケーブルコネクタライザーカード、及び前記サーバマザーボードの前記１つ以上のアップストリームポートの各々を使用して前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールを前記サーバマザーボードに連結する段階と、１つ以上のソリッドステートドライブライザーカードを前記１つ以上不揮発性フラッシュメモリブレードのマルチカードモジュールの１つ以上のスロットに装着する段階と、前記サーバマザーボードを使用して、前記１つ以上のソリッドステートドライブライザーカードに関連付けられた１つ以上のソリッドステートドライブチップにデータを格納するための情報を前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールに伝達する段階と、を含むことを特徴とする。
本発明によれば、高いストレージ容量と面積効率を有するソリッドステートドライブ（ＳＳＤ）及びそれを使用するサーバシステムとを構成することができる。
本発明の一実施形態による１Ｕ（ユニット）規格のトレイ内のモジュール型不揮発性フラッシュメモリブレードを示すブロック図である。 図１のモジュール型不揮発性フラッシュメモリブレード内のサーバマザーボードの詳細を示すブロック図である。 図１のモジュール型不揮発性フラッシュメモリブレード内のモジュール型不揮発性フラッシュメモリブレードのマルチカードモジュールの詳細を示すブロック図である。 図１の１Ｕ（ユニット）のトレイ内のモジュール型不揮発性フラッシュメモリブレード及びサーバマザーボードの詳細を示すモジュール型不揮発性フラッシュメモリブレードのブロック図である。 本発明の一実施形態によるソリッドステートドライブライザーカード（ＳＳＤライザーカード）の前面を示す図である。 図５のソリッドステートドライブライザーカード（ＳＳＤライザーカード）の背面を示す図である。 本発明の一実施形態による複数のソリッドステートドライブライザーカードを含む不揮発性フラッシュメモリブレードのマルチカードモジュールを示す斜視図である。 図７に示す不揮発性フラッシュメモリブレードのマルチカードモジュールを他方向から見た斜視図である。 本発明の一実施形態によるケーブルコネクタライザーカードを示す斜視図である。 図９に示すケーブルコネクタライザーカードの正面図である。 本発明の一実施形態によるサーバマザーボードと不揮発性フラッシュメモリブレードのマルチカードモジュールとを含むモジュール型不揮発性フラッシュメモリブレードを示す斜視図である。 図１及び図１１に示すモジュール型不揮発性フラッシュメモリブレードが装着される１Ｕ（ユニット）の半幅トレイを示す斜視図である。 本発明の一実施形態によるモジュール型不揮発性フラッシュメモリブレードの動作方法を示すフローチャートである。 １つ以上の図１に示すモジュール型不揮発性フラッシュメモリブレード及びトレイを含むコンピューティングシステムを示すブロック図である。
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。以下の詳細な説明で、本発明の理解を助けるために多様な具体例を説明する。しかし、当該分野で通常の知識を有する者は、これらの詳細な説明無しでも本発明を容易に実施できる。本発明の態様を不明瞭にする他の公知の方法、工程、コンポーネント、回路、及びネットワーク等は記述してない。
例えば、多様な構成を表現するために使用される「第１」、「第２は」等の用語は、このような用語に限定するものではなく、いずれか１つの用語を他のものから区別するために使用される。例えば、「第１不揮発性メモリマルチカードモジュール」は、「第２不揮発性メモリマルチカードモジュール」と称され、同様に、「第２不揮発性メモリマルチカードモジュール」は、「第１不揮発性メモリマルチカードモジュール」と称される。
ここで、本発明の特徴を説明するための用語は、特定の実施形態のみを説明するものであり、本発明を制限するものではない。本発明の詳細な説明又は特許請求の範囲で使用される「一つの」のような用語は、他に明確に区別しない限り、複数の意味を含む。「及び／又は」は、列記された項目を少なくとも１つ含むすべての組み合わせを包括する。「含む」又は「構成される」のような用語は、説明された特徴、段階、動作、成分、及び／又は構成要素の存在を明示し、追加的な１つ又はそれ以上の特徴、段階、動作、成分、構成要素、及び／又はそれらのグループの存在を排除しない。図面の構成や特徴は、図中に示された数値に限定されない。
以下に、本発明の一実施形態による高密度のモジュール型不揮発性フラッシュメモリブレード及びマルチカードモジュールを有するオープンクラウドサーバ（ＯＣＳ）対応エンタープライズサーバ及び他の同様なエンタープライズサーバを示す。不揮発性フラッシュメモリブレードは、後述する高密度、高性能なモジュール形式のＭ．２フォームファクタ及びＮＶＭｅ（Ｎｏｎ Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）規格に対応したソリッドステートドライブ（ＳＳＤ）を含む。以下に示す実施形態は、容量要求、性能要求、及び／又はシャーシフォームファクタに基づいて、使用するマルチカードモジュールの数を、使用者が選択できる柔軟なモジュール設計を提供する。本実施形態において、モジュール形式の不揮発性フラッシュメモリブレード及び／又はマルチカードモジュールは、個別のブレード装置としてよりも、むしろ直接エンタープライズサーバに組み込まれる。
後述するが、冷却及び熱の問題は、直立型マルチカードモジュールによって改善され、また保守性も向上する。以下に示すモジュール型不揮発性フラッシュメモリブレード及びそれに関連するマルチカードモジュールは、オープンクラウドサーバ（ＯＣＳ）アーキテクチャへの変更無しに、ＯＣＳアーキテクチャで具現することができ、これにより、直接アップグレードする方法を提供する。
図１は、本発明の一実施形態による１Ｕ（ユニット）規格のトレイ内のモジュール型不揮発性フラッシュメモリブレードを示すブロック図である。図２は、図１のモジュール型不揮発性フラッシュメモリブレード内のサーバマザーボードの詳細を示すブロック図である。図３は、図１のモジュール型不揮発性フラッシュメモリブレード内の不揮発性フラッシュメモリブレードのマルチカードモジュールの詳細を示すブロック図である。図４は、図１の１Ｕ（ユニット）のトレイ内のモジュール型不揮発性フラッシュメモリブレード及びサーバマザーボードの詳細を示すモジュール型不揮発性フラッシュメモリブレードのブロック図である。図１〜図４を参照して本発明を以下に説明する。
モジュール型不揮発性フラッシュメモリブレード１０５は、複数のアップストリームポート（１３２、１３４、１３６、１３８）に連結される１つ以上のプロセッサ（例えば、１２５、１３０）を含むサーバマザーボード１１５を備える。複数のアップストリームポート（１３２、１３４、１３６、１３８）は、サーバマザーボード１１５上に具備された特定形状の物理スロットである。しかし、「ポート」という用語は、物理スロットのみを意味するものではなく、プロトコルに関連した論理ポートも含む。アップストリームポート（１３２、１３４、１３６、１３８）の各々は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）規格に準拠したポートである。例えば、アップストリームポート（１３２、１３４、１３６、１３８）の各々は、ＰＣＩｅ Ｘ８（８レーンを使用）のポートである。また、アップストリームポート（１３２、１３４、１３６、１３８）は、他の適切な種類のポート又は連結手段であってもよい。サーバマザーボード１１５は、例えば、ＯＣＳ ｖ２対応のマザーボードである。
プロセッサ１２５は、アップストリームポート（１３２、１３４、１３６、１３８）の中の第１サブセット（１３４、１３６、１３８）に連結される。プロセッサ１３０は、アップストリームポート（１３２、１３４、１３６、１３８）の中の第２サブセット（１３２）に連結される。なお、サーバマザーボード１１５は、すべてのアップストリームポートに連結された単一のプロセッサを含み得る。また、適切な数のプロセッサがサーバマザーボード１１５に含まれ、適切な数のアップストリームポートがサーバマザーボード１１５に含まれるか又は関連付けられる。サーバマザーボード１１５は、複数の電圧レギュレータダウン（ＶＲＤ）モジュール１４５、揮発性ＲＡＭモジュール１４０、入出力ポート１４２、及び／又はパワーポート１４４を含む。
アップストリームポート（１３２、１３４、１３６、１３８）の各々は、１つ以上のプロセッサ（１２５、１３０）に関連付けられる。サーバマザーボード１１５は、オープンクラウドサーバ（ＯＣＳ）対応のマザーボードである。アップストリームポート（１３２、１３４、１３６、１３８）は、例えば、ＰＣＩｅ規格に準拠したＰＣＩｅ Ｇｅｎ．３ Ｘ８ポート又はスロットである。アップストリームポート（１３２、１３４、１３６、１３８）は、サーバマザーボード１１５に連結されるか、或いはサーバマザーボード１１５の外部のコンピューターホストに連結される。アップストリームポート（１３２、１３４、１３６、１３８）は、任意の適切な種類のポート又は適切な種類の連結手段である。
モジュール型不揮発性フラッシュメモリブレード１０５は、１つ以上のパワーポート１５２を有するミッドプレーンボード（ｍｉｄ−ｐｌａｎｅ ｂｏａｒｄ）１５０を含む。ミッドプレーンボード１５０は、ＮＶＭｅ規格に対応したミッドプレーンボードである。モジュール型不揮発性フラッシュメモリブレード１０５は、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）を含む。仮に、特定のユーザーアプリケーションがこのような高いストレージ密度を要求しない場合、４つ未満のマルチカードモジュールが使用される。例えば、１つ、２つ、又は３つのマルチカードモジュールがモジュール型不揮発性フラッシュメモリブレード１０５に装着される。マルチカードモジュールは、任意の適切な数が使用される。また、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）は、モジュール型不揮発性フラッシュメモリブレード１０５から物理的に分離された形で関連付けられるか又は連結される。他の例として、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）は、モジュール型不揮発性フラッシュメモリブレード１０５に連結されるか或いは一部分に提供される。
複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、印刷回路基板（１６１、１６３、１６５、１６７）を含む。複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、印刷回路基板（１６１、１６３、１６５、１６７）の各々に連結されるスイッチ（１９０、１９２、１９４、１９６）を含む。スイッチ（１９０、１９２、１９４、１９６）の各々は、ＰＣＩｅ規格に準拠したＰＣＩｅスイッチである。スイッチ（１９０、１９２、１９４、１９６）は、任意の適切な種類のスイッチが使用される。
本実施形態で、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、パワーケーブル１５４を介してミッドプレーンボード１５０の１つ以上のパワーポート１５２に連結されるモジュールパワーポート（１８１、１８３、１８７、１８９）を含む。モジュールパワーポート（１８１、１８３、１８７、１８９）は、印刷回路基板（１６１、１６３、１６５、１６７）の各々に連結され、スイッチ（１９０、１９２、１９４、１９６）に電気的に連結される。
複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、それぞれに対応する印刷回路基板（１６１、１６３、１６５、１６７）の各々に電気的に連結された入出力ポート（１９１、１９３、１９７、１９９）を含む。各入出力ポート（１９１、１９３、１９７、１９９）は、各々に対応するスイッチ（１９０、１９２、１９４、１９６）に電気的に連結され、サーバマザーボード１１５のアップストリームポート（１３２、１３４、１３６、１３８）の中の対応するいずれか１つに電気的に連結されるか又は関連付けられる。
さらに、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々が収容される複数のライザーカードスロット（後述する）を含む。１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）は、導電線（１００、１０２、１０４、１０６）によって各々のスイッチ（１９０、１９２、１９４、１９６）に電気的に連結される。導電線（１００、１０２、１０４、１０６）の各々は、複数の導電層、ワイヤ、バス、チャンネル等を示す。１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）は、対応するモジュールパワーポート（１８１、１８３、１８７、１８９）の各々に電気的に連結される。
モジュール型不揮発性フラッシュメモリブレード１０５は、サーバマザーボード１１５のアップストリームポート（１３２、１３４、１３６、１３８）の中で、対応するいずれか１つに装着可能な複数のケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）を含む。１つ以上のケーブル（１７０、１７２、１７４、１７６）の各々は、アップストリームポート（１３２、１３４、１３６、１３８）の各々を、ケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）の中の対応する１つを介して複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の入出力ポート（１９１、１９３、１９７、１９９）の中の対応するいずれか１つに連結される。ここで使用される「ケーブル」という用語は、ワイヤ、無線リンク、及び／又は任意の適切なライン又は導電体を利用する連結手段である。
複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、１つ以上のプロセッサ（１２５、１３０）と通信する。例えば、複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、１つ以上のケーブル（１７０、１７２、１７４、１７６）及びケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）の中で、対応する１つを介して１つ以上のプロセッサ（１２５、１３０）と通信する。モジュール型不揮発性フラッシュメモリブレード１０５は、任意の適切な数の不揮発性フラッシュメモリブレードのマルチカードモジュールと適切な数のケーブル、及び適切な数のケーブルコネクタライザーカードを含む。
不揮発性フラッシュメモリブレードのマルチカードモジュール１６０は、ケーブル１７０、ケーブルコネクタライザーカード１３１、及びアップストリームポート１３２を介してプロセッサ１２５及び／又はプロセッサ１３０と通信する。不揮発性フラッシュメモリブレードのマルチカードモジュール１６２は、ケーブル１７２、ケーブルコネクタライザーカード１３３、及びアップストリームポート１３４を介してプロセッサ１２５及び／又はプロセッサ１３０と通信する。不揮発性フラッシュメモリブレードのマルチカードモジュール１６４は、ケーブル１７４、ケーブルコネクタライザーカード１３５、及びアップストリームポート１３６を介してプロセッサ１２５及び／又はプロセッサ１３０と通信する。不揮発性フラッシュメモリブレードのマルチカードモジュール１６６は、ケーブル１７６、ケーブルコネクタライザーカード１３７、及びアップストリームポート１３８を介してプロセッサ１２５及び／又はプロセッサ１３０と通信する。
モジュール型不揮発性フラッシュメモリブレード１０５は、１つ以上のプロセッサ（１２５、１３０）と通信可能であり、及び／又はサーバマザーボード１１５に相対的に長いストレージ時間を有するデータを格納する１つ以上の磁気ハードディスクドライブ３００を含む。モジュール型不揮発性フラッシュメモリブレード１０５は、トレイ１１７に装着される。トレイ１１７は、例えば、ＯＣＳ ｖ２対応のトレイである。トレイ１１７は、バックプレーン１４８を含む。
トレイ１１７は、サーバマザーボード１１５、磁気ハードディスクドライブ３００等にインターフェイス及び／又はパワーを提供する入出力及びパワーポート１４６を含む。さらに、トレイ１１７は、ミッドプレーンボード１５０及び／又は不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）等に、インターフェイス及び／又はパワーを提供する入出力及びパワーポート１５６を含む。入出力及びパワーポート（１４６、１５６）は、ｉＰＡＳＳＴＭＳＡＳポートのような１つ以上のＳＡＳ（ｓｅｒｉａｌ ａｔｔａｃｈｅｄ ＳＣＳＩ）ポート又はコネクタを含む。モジュール型不揮発性フラッシュメモリブレード１０５は、トレイ１１７に装着され、トレイ１１７のバックプレーン１４８に連結される。
図５は、本発明の一実施形態によるソリッドステートドライブライザーカード（ＳＳＤライザーカード）の前面を示す図である。図６は、図５のソリッドステートドライブライザーカード（ＳＳＤライザーカード）の背面を示す図である。以下では、図５及び図６を参照して本実施形態を説明する。
ソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、対応するライザーカードスロット２１０に垂直方向に装着され、また脱着される。直立型マルチカードモジュールが垂直方向に立てられることによって冷却及び熱の問題が解決されると同時に、密度が向上する。ソリッドステートドライブライザーカードを垂直の３次元空間に配置することによって、１Ｕ（ユニット）のトレイ内に限っても、３次元空間に空気の流れを提供し、簡単且つ向上した熱冷却特性を提供するとともに高密度化を達成する。
１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、サーバマザーボード１１５（図１参照）に含まれる１つ以上のプロセッサ（図２の１２５、１３０）と、対応する不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）のスイッチ（図３の１９０、１９２、１９４、１９６）及び入出力ポート（図３の１９１、１９３、１９７、１９９）を介して通信する。
１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、対応する不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）のスイッチ（図３の１９０、１９２、１９４、１９６）及び入出力ポート（１９１、１９３、１９７、１９９）を介して、サーバマザーボード１１５の１つ以上のプロセッサ（１２５、１３０）と通信する１つ以上のソリッドステートドライブチップ（２０５、２１５）を含む。ここで、ソリッドステートドライブライザーカード（ＳＳＤライザーカード）とソリッドステートドライブチップ（ＳＳＤチップ）とは、Ｍ．２フォームファクタに対応する。
より具体的に、１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、それぞれに対応する不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）のスイッチ（１９０、１９２、１９４、１９６）及び入出力ポート（１９１、１９３、１９７、１９９）を介してサーバマザーボード１１５の１つ以上のプロセッサ（１２５、１３０）と通信するために、一側に第１ソリッドステートドライブチップ（第１ＳＳＤチップ）２０５を含む。
本実施形態で、１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、それぞれに対応する不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）のスイッチ（１９０、１９２、１９４、１９６）及び入出力ポート（１９１、１９３、１９７、１９９）を介してサーバマザーボード１１５の１つ以上のプロセッサ（１２５、１３０）と通信するために、他側に第２ソリッドステートドライブチップ（第２ＳＳＤチップ）２１５を含む
１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）及び関連するソリッドステートドライブチップは、２２ｍｍＸ４２ｍｍ、２２ｍｍＸ６０ｍｍ、２２ｍｍＸ８０ｍｍ、そして２２ｍｍＸ１１０ｍｍ等の多様なＭ．２フォームファクタに収容される。
図７は、本発明の一実施形態による複数のソリッドステートドライブライザーカードを含む不揮発性フラッシュメモリブレードのマルチカードモジュールを示す斜視図である。図８は、図７に示す不揮発性フラッシュメモリブレードのマルチカードモジュールを他方向から見た斜視図である。以下、図７及び図８を参照して本発明を説明する。
不揮発性フラッシュメモリブレードのマルチカードモジュールは、モジュールパワーポート（１８１、１８３、１８７、１８９）、入出力ポート（１９１、１９３、１９７、１９９、及び／又はスイッチ（１９０、１９２、１９４、１９６）を含む。入出力ポートの各々は、例えば、ｉＰＡＳＳＴＭ ＳＡＳポート又はコネクタのようなポート又はコネクタを含む。モジュールパワーポートの各々は、例えば、ＰＣＩｅ規格に準拠したＰＣＩｅパワーコネクタのようなパワーコネクタを含む。任意の適切なＰＣＩｅ規格に準拠したＰＣＩｅパワーコネクタが使用される。複数のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）の各々は、対応するライザーカードスロット２１０の中のいずれか１つに装着される。
ライザーカードスロット２１０は、ソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）を収容する。各ソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）は、それぞれに対応するスイッチ（１９０、１９２、１９４、１９６）、モジュールパワーポート（１８１、１８３、１８７、１８９）、及び入出力ポート（１９１、１９３、１９７、１９９）に電気的に連結される。
入出力ポート（１９１、１９３、１９７、１９９）の各々は、アップストリームポート（１３２、１３４、１３６、１３８）を含むか又は関連付けられる。スイッチ（１９０、１９２、１９４、１９６）は、アップストリームポート（１３２、１３４、１３６、１３８）の各々を、複数のダウンストリームポートに拡張させる。即ち、アップストリームポート１３２から入出力ポート１９１へのリンクは、入出力ポート１９１のダウンストリームに拡張され、各々のライザーカードスロット２１０（図５及び図６参照）及びこれを占有したソリッドステートライザーカード１８０がアップストリームポート１３２を共有する。同様な連結及び拡張配列が他のアップストリームポート（１３４、１３６、１３８）、他の入出力ポート（１９３、１９７、１９９）、他のスイッチ（１９２、１９４、１９６）、及び他のソリッドステートライザーカード（１８２、１８４、１８６）の各々に適用される。ここで、「ダウンストリームポート」という用語は、物理ポートのみに限定された意味である必要ではなく、プロトコルに関連付けられた論理ポートを示す。各々のダウンストリームポートは、第１ソリッドステートドライブチップ（第１ＳＳＤチップ）２０５及び第２ソリッドステートドライブチップ（第２ＳＳＤチップ）２１５の中の対応する１つに関連付けられる。
若干異なるが、不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々の入出力ポート（１９１、１９３、１９７、１９９）は、それぞれアップストリームポート（１９１／１３２、１９３／１３４、１９７／１３６、１９９／１３８）を含むか又は関連付けられる。不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々のスイッチ（１９０、１９２、１９４、１９６）は、対応するアップストリームポート（１９１／１３２、１９３／１３４、１９７／１３６、１９９／１３８）を複数のダウンストリームポートに拡張する。
不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々のダウンストリームポートは、第１ソリッドステートドライブチップ（第１ＳＳＤチップ）２０５又は第２ソリッドステートドライブチップ（第２ＳＳＤチップ）２１５の中の対応するいずれか１つに関連付けられる。不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）のアップストリームポート（１９１／１３２、１９３／１３４、１９７／１３６、１９９／１３８）の各々は、例えば、ＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ８のアップストリームポートのようなＰＣＩｅポートを含む。しかし、ポートの種類は、これに限定されず、適切な種類が使用される。
不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々のスイッチ（１９０、１９２、１９４、１９６）は、ＰＣＩｅ Ｘ８のアップストリームポートの中のいずれか１つを、１２個以上のＰＣＩｅ Ｘ４（４レーンを使用）のダウンストリームポートに拡張するＰＣＩｅ規格に準拠したＰＣＩｅスイッチを含む。しかし、ポートの種類は、これに限定されず、適切な種類が使用される。不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々のライザーカードスロット２１０は、６つ以上のライザーカードスロットを含む。不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、２つのソリッドステートドライブチップ（２０５、２１５）を含むので、不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）当りに１２個のソリッドステートドライブチップと、１２個のＰＣＩｅ Ｘ４のダウンストリームポートとが、各々に対応するいずれか１つのソリッドステートドライブチップに割り当てられる。モジュール型不揮発性フラッシュメモリブレード１０５のコンピューティングポーション又はノード（マザーボード１１５）は、コンピューティングポーションと不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）との間に、各々８つのＰＣＩｅレーン、合わせて３２個のＰＣＩｅレーンを提供する４つのアップストリームポート（１３２、１３４、１３６、１３８）を含む。スイッチ（１９０、１９２、１９４、１９６）は、３２個のＰＣＩｅレーンを４８個のＰＣＩｅ Ｘ４のダウンストリームポートに拡張する。
言い換えると、不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）は、６つ以上のライザーカードスロット２１０の中の対応するライザーカードスロットに装着されるソリッドステートドライブライザーカードを含む。６つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の第１ソリッドステートドライブチップ（第１ＳＳＤチップ）２０５は、１２個以上のＰＣＩｅ Ｘ４のダウンストリームポートの中の対応するＰＣＩｅ Ｘ４のダウンストリームポートに連結される。同様に、６つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の第２ソリッドステートドライブチップ（第２ＳＳＤチップ）２１５は、１２個以上のＰＣＩｅ Ｘ４のダウンストリームポートの中で、対応するＰＣＩｅ Ｘ４のダウンストリームポートに連結される。
図９は、本発明の一実施形態によるケーブルコネクタライザーカードを示す斜視図である。図１０は、図９に示すケーブルコネクタライザーカードの正面図である。以下、図９及び図１０を参照して本発明を説明する。
各々のケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）は、サーバマザーボード１１５のアップストリームポート（１３２、１３４、１３６、１３８）の中の１つに関連付けられた対応するスロットに装着される。例えば、ケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）の各々のスロットコネクタポーション５１０は、アップストリームポート（１３２、１３４、１３６、１３８）の中の１つに関連付けられた対応するスロットに装着されるか、或いは脱着される。各々のケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）は、ケーブルコネクタポーション５０５を含む。入出力ポートの各々のケーブルコネクタポーション５０５は、例えば、ｉＰＡＳＳＴＭ ＳＡＳポート又はコネクタを含む。ケーブルコネクタポーション５０５は、対応するケーブル（１７０、１７２、１７４、１７６）に連結される。
図１１は、本発明の一実施形態によるサーバマザーボードと、不揮発性フラッシュメモリブレードのマルチカードモジュールを含むモジュール型不揮発性フラッシュメモリブレード１０５とを示す斜視図である。モジュール型不揮発性フラッシュメモリブレード１０５の幾つかの構成は、上述した説明で既に述べたので、具体的な説明は省略する。
一般的に、モジュール型不揮発性フラッシュメモリブレード１０５のサーバマザーボード１１５は、プロセッサ（１２５、１３０）、ＲＡＭモジュール１４０、ケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）、入出力ポート１４２、パワーポート１４４、及び磁気ハードディスクドライブ３００等を含む。モジュール型不揮発性フラッシュメモリブレード１０５の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、対応するソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）を含む。不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の各々は、パワーケーブル１５４を介してミッドプレーンボード１５０と電気的に連結される。ミッド−プレーンボード１５０は、１つ以上のパワーポート１５２を含む。
図１２は、図１及び図１１に示すモジュール型不揮発性フラッシュメモリブレードが装着される１Ｕ（ユニット）の半幅トレイを示す斜視図である。トレイ１１７は、バックプレーン１４８に関連付けられた入出力及びパワーポート（１４６、１５６）を含む。１Ｕ（ユニット）の半幅フォームファクタを使用すれば、トレイ１１７とブレード１０５とは、４８個のソリッドステートドライブチップ（上述した実施形態に基づく）を収容する。ソリッドステートドライブチップは、「ＪＢＯＤ」（別名「ただのディスクの束」として知られる）構成に配列されて管理される。又は、ソリッドステートドライブチップは、ＲＡＩＤ（ｒｅｄｕｎｄａｎｔ ａｒｒａｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ）構成に配列されて管理される。
各々のソリッドステートドライブチップが１ギガバイト（ＧＢ）のストレージ容量を有する場合、１Ｕ（ユニット）の半幅のトレイ１１７とモジュール型不揮発性フラッシュメモリブレード１０５とは、４８ギガバイト（ＧＢ）のＮＶＭｅストレージ容量を提供する。他の例として、各々のソリッドステートドライブチップが２ギガバイト（ＧＢ）のストレージ容量を有する場合、１Ｕの半幅のトレイ１１７とモジュール型不揮発性フラッシュメモリブレード１０５とは、９６ギガバイト（ＧＢ）のＮＶＭｅストレージ容量を提供する。ソリッドステートドライブチップのストレージ容量は、ソリッドステートドライブのストレージ容量の継続的な増強趨勢に従って適切な大きさで提供される。２つの１Ｕの半幅のトレイ１１７が組み合されると、１Ｕの全幅フォームファクタに対応する２倍のストレージ容量を提供する。大容量設置のために適切な数の１Ｕの半幅トレイが組み合される。
図１３は、本発明の一実施形態によるモジュール型不揮発性フラッシュメモリブレードの動作方法を示すフローチャートである。
図１３に示すフローチャート８００は、ケーブルコネクタライザーカードがサーバマザーボードのアップストリームポートに連結される８０５段階から、動作が開始される。８１０段階で、ケーブルがケーブルコネクタライザーカードに連結される。８１５段階で、ソリッドステートドライブライザーカード（ＳＳＤライザーカード）が不揮発性フラッシュメモリブレードのマルチカードモジュールの対応するスロットに装着される。８２０段階で、ケーブル、ケーブルコネクタライザーカード、及びアップストリームポートを使用して不揮発性フラッシュメモリブレードのマルチカードモジュールがサーバマザーボードに連結される。８２５段階で、サーバマザーボードを使用してＳＳＤライザーカードに関連付けられたソリッドステートドライブチップ（ＳＳＤチップ）にデータを格納するための情報が不揮発性フラッシュメモリブレードのマルチカードモジュールに伝達される。８３０段階で、スイッチを使用して複数のアップストリームポートの中のいずれか１つが、ソリッドステートドライブチップと関連付けられた複数のダウンストリームポートに拡張される。
具体的に、複数のケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）は、サーバマザーボード１１５の複数のアップストリームポート（１３２、１３４、１３６、１３８）に連結される。複数のケーブル（１７０、１７２、１７４、１７６）は、ケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）に連結される。複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）は、複数のケーブル（１７０、１７２、１７４、１７６）、複数のケーブルコネクタライザーカード（１３１、１３３、１３５、１３７）、及びサーバマザーボード１１５上の複数のアップストリームポート（１３２、１３４、１３６、１３８）を介して、それぞれサーバマザーボード１１５に連結される。
１つ以上のソリッドステートドライブライザーカード（図３の１８０、１８２、１８４、１８６参照）は、不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）に対応する１つ以上のスロット２１０に装着される。サーバマザーボード１１５によって、１つ以上のソリッドステートドライブライザーカード（１８０、１８２、１８４、１８６）に関連付けられた１つ以上のＳＳＤチップ（２０５、２１５）に格納される情報が複数の不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）に伝達される。
不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６に関連付けられたスイッチ（１９０、１９２、１９４、１９６）は、アップストリームポート（１３２、１３４、１３６、１３８）を１つ以上のソリッドステートドライブチップ（２０５、２１５）に関連付けられた複数のダウンストリームポートに拡張する。
アップストリームポートの各々は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）規格に準拠した、例えば、ＰＣＩｅ Ｘ８のアップストリームポートのようなＰＣＩｅポートを含む。ダウンストリームポートは、例えば、各不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の１２個以上のＰＣＩｅ Ｘ４のダウンストリームポートのような、１２個以上のＰＣＩｅポートを含む。一実施形態として、例えば、不揮発性フラッシュメモリブレードのマルチカードモジュールのＰＣＩｅスイッチは、複数のＰＣＩｅ Ｘ８のアップストリームポートの中のいずれか１つのＰＣＩｅ Ｘ８のアップストリームポートを各不揮発性フラッシュメモリブレードのマルチカードモジュール（１６０、１６２、１６４、１６６）の１２個以上のＰＣＩｅ Ｘ４のダウンストリームポートに拡張する。なお、適切な種類のポート及び適切な種類の連結手段が使用され得る。
各段階は、上述した順序に限定されず、他の順序及び／又は各段階の間で介在段階が発生し得る。
図１４は、１つ以上の図１に示すモジュール型不揮発性フラッシュメモリブレード及びトレイを含むコンピューティングシステムを示すブロック図である。コンピューティングシステム９００は、クロック９１０、ＲＡＭ９１５、ユーザーインターフェイス９２０、ベースバンドチップセットのようなモデム９２５、ソリッドステートドライブ／ディスク９４０、プロセッサ９３５、上述した構成の全て又は一部を電気的に連結するシステムバス９０５を含む。システムバス９０５は、ハイスピードバス及び／又は光ファイバである。モジュール型不揮発性フラッシュメモリブレード１０５とトレイ１１７とは、先に記載したように動作し、システムバス９０５に電気的に連結される。モジュール型不揮発性フラッシュメモリブレード１０５は、クロック９１０、ＲＡＭ９１５、ユーザーインターフェイス９２０、モデム９２５、ソリッドステートドライブ／ディスク９４０、プロセッサ９３５、及び／又はトレイを含む、或いはインターフェースで連結される。
以下の説明は、本発明の技術的思想の特定の態様を実施するための適切な機械又は機械類の簡単な一般的な説明を提供するものである。一般的に機械又は機械類は、プロセッサ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ストレージ媒体、ストレージ装置、ビデオインターフェイス、及び入出力ポートが連結されるシステムバスを含む。機械又は機械類は、通常のキーボード、マウス等のような入力装置だけでなく、他の装置、仮想現実環境での相互反応、生体フィードバック等のような入力信号によって制御される。ここで使用される「機械」とは、１つの機械、仮想機械、通信が可能である機械、又は仮想マシンと共に動作する装置のシステムである。典型的な機械類は、個人用コンピューター、ワークステーション、サーバ、携帯用コンピューター、ハンドヘルドディバイス、電話、タブレット等だけでなく、自動車、汽車、又はタクシー等のような個人用又は共用の輸送手段である。
機械又は機械類は、プログラム可能なロジック装置やロジックアレイ、特定用途向け集積回路（ＡＳＩＣ）、組み込み型コンピューター、スマートカード等を含む組み込み型のコントローラである。機械又は機械類は、遠距離の機械と連結するためにネットワークインターフェイス、モデム、又は通信の連結手段を使用する。機械類は、イントラネット（登録商標）、インターネット、ＬＡＮ、ＷＡＮ等のような物理的及び／又は論理的ネットワークを通じて相互連結される。当該分野で通常の技術を有する者は、ネットワーク通信が多様な有線若しくは無線の近距離又は遠距離の通信、ＲＦ、衛星、マイクロ波、ＩＥＥＥ ５４５．１１、ブルートゥース（登録商標）、光、赤外線、ケーブル、レーザー等のプロトコルを使用できることが理解される。
本発明の実施形態は、機械の動作結果又はタスクの遂行結果を定義する具体的なデータタイプやローレベルのハードウェアコンテキストである機能、手順、データ構造、応用プログラム等を含む。例えば、関連データは、ＲＡＭ、ＲＯＭ、又はハードディスク、フロッピー（登録商標）ディスク、光ストレージ、テープ、フラッシュメモリ、メモリスティック、デジタルビデオディスク、バイオロジカルストレージ等のような揮発性及び／又は不揮発性メモリに格納される。関連データは、パケット、直列データ、並列データ、電波信号等のような形態で物理的及び／又は論理的ネットワークの通信環境を経由して伝送され、圧縮された形態や暗号化された形態で使用される。関連データは、分散環境で使用され、機械類のアクセスのために近距離、及び／又は遠距離に格納される。
上述した実施形態を参照して本発明の原理を図示及び説明したため、本発明は、説明した原理に立脚して多様に変更されるか又は詳細化でき、望ましい形態に組み合せることができる。特定の実施形態を参照して本発明を説明したが、他の設定を考慮することもできる。特に、本明細書で記述された「本発明の実施形態による」のような表現は、一般的な実施形態の記述であって、特定の実施形態に本発明の特徴を限定するものではない。ここで使用された用語は、同一の実施形態又は他の実施形態を組み合せることを意味し得る。
本発明の実施形態は、少なくとも１つのプロセッサーによって遂行可能な命令語を含む不揮発性の機械読出し可能な媒体を含む。命令語は、上述した本発明の実施形態の構成で遂行する動作の命令語を含む。
上述した実施形態がそれ独自の権利範囲に限定されない。幾つかの実施形態を説明したが、本発明の技術範囲を逸脱しない範囲内で様々に変更実施可能である。したがって、本発明の技術範囲は、上述した実施形態に限定されるものではない。
１００、１０２、１０４、１０６ 導電線
１０５ モジュール型不揮発性フラッシュメモリブレード
１１５ サーバマザーボード
１１７ トレイ
１２５、１３０、９３５ プロセッサ
１３１、１３３、１３５、１３７ ケーブルコネクタライザーカード
１３２、１３４、１３６、１３８ アップストリームポート
１４０ 揮発性ＲＡＭモジュール
１４２、１９１、１９３、１９７、１９９ 入出力ポート
１４４、１５２ パワーポート
１４５ 電圧レギュレータダウン（ＶＲＤ）モジュール
１４６、１５６ 入出力及びパワーポート
１４８ バックプレーン
１５０ ミッドプレーンボード

１５４ パワーケーブル

１６０、１６２、１６４、１６６ 不揮発性フラッシュメモリブレードのマルチカードモジュール
１６１、１６３、１６５、１６７ 印刷回路基板
１７０、１７２、１７４、１７６ ケーブル
１８０、１８２、１８４、１８６ ソリッドステートドライブライザーカード（ＳＳＤライザーカード）
１８１、１８３、１８７、１８９ モジュールパワーポート
１９０、１９２、１９４、１９６ スイッチ
２０５ （第１）ソリッドステートドライブチップ（第１ＳＳＤチップ）
２１０ ライザーカードスロット
２１５ （第２）ソリッドステートドライブチップ（第２ＳＳＤチップ）
３００ 磁気ハードディスクドライブ
９００ コンピューティングシステム
９０５ システムバス
９１０ クロック
９１５ ＲＡＭ
９２０ ユーザーインターフェイス
９２５ モデム
９４０ ソリッドステートドライブ／ディスク

Claims (11)

  1. 不揮発性フラッシュメモリブレードのマルチカードモジュールであって、
    印刷回路基板と、
    前記印刷回路基板上に載置され、前記印刷回路基板に連結されたモジュールパワーポートと、
    前記印刷回路基板上に載置され、前記印刷回路基板に連結された入出力ポートと、
    前記印刷回路基板上に載置され、前記モジュールパワーポートに電気的に連結される少なくとも１つのソリッドステートドライブライザーカードが装着された複数のライザーカードスロットと、
    前記印刷回路基板上に載置され、前記印刷回路基板に連結されたスイッチと、を含み、
    前記モジュールパワーポートは、前記スイッチに電気的に連結され、
    前記入出力ポートは、前記スイッチに電気的に連結され、
    前記少なくとも１つのソリッドステートドライブライザーカードは、前記スイッチに電気的に連結されるように構成され、
    前記少なくとも１つのソリッドステートドライブライザーカードの各々は、前記入出力ポートを介して通信する少なくとも１つのソリッドステートドライブチップを含み、
    前記少なくとも１つのソリッドステートドライブライザーカードに含まれる少なくとも１つのソリッドステートドライブチップは、前記スイッチ及び前記入出力ポートを介して１つ以上のプロセッサと通信し、
    前記モジュールパワーポートは、ミッドプレーンボードの１つ以上のパワーポートに連結され、
    前記入出力ポートは、アップストリームポートに連結され、
    前記スイッチは、前記アップストリームポートを複数のダウンストリームポートに拡張し、
    前記複数のダウンストリームポートの各々は、前記複数のソリッドステートドライブチップの中の対応する１つのソリッドステートドライブチップに連結されることを特徴とする不揮発性フラッシュメモリブレードのマルチカードモジュール。
  2. 前記少なくとも１つのソリッドステートドライブライザーカードの各々は、前記複数のライザーカードスロットの中から、対応する１つのライザーカードスロットに装着されることを特徴とする請求項１に記載の不揮発性フラッシュメモリブレードのマルチカードモジュール。
  3. 前記少なくとも１つのソリッドステートドライブライザーカードは、前記入出力ポートを介して通信する複数のソリッドステートドライブチップを含む少なくとも１つのソリッドステートドライブライザーカードであることを特徴とする請求項１に記載の不揮発性フラッシュメモリブレードのマルチカードモジュール。
  4. 前記アップストリームポートは、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）規格に準拠したＰＣＩｅ Ｘ８のアップストリームポートを含み、
    前記スイッチは、前記ＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ８のアップストリームポートを複数のＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートに拡張するＰＣＩｅ規格に準拠したスイッチを含み、
    前記複数のライザーカードスロットは、６つ以上のライザーカードスロットを含み、
    前記少なくとも１つのソリッドステートドライブライザーカードは、前記６つ以上のライザーカードスロットの中から、対応する１つのライザーカードスロットに装着される６つ以上のソリッドステートドライブライザーカードであり、
    各々の前記複数のソリッドステートドライブチップは、前記複数のＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートの中から、対応する１つのＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートに連結されることを特徴とする請求項１に記載の不揮発性フラッシュメモリブレードのマルチカードモジュール。
  5. 複数のアップストリームポートに連結された１つ以上のプロセッサを含むサーバマザー
    ボードと、
    １つ以上のパワーポートを含むミッドプレーンボードと、
    １つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールと、を備え、
    前記不揮発性フラッシュメモリブレードのマルチカードモジュールの少なくとも１つは、
    印刷回路基板と、
    前記印刷回路基板上に載置されたスイッチと、
    前記ミッドプレーンボードの前記１つ以上のパワーポートに連結され、前記印刷回路基板上に載置されて前記スイッチに電気的に連結されたモジュールパワーポートと、
    前記スイッチに電気的に連結され、前記印刷回路基板上に載置されて前記サーバマザーボードの前記複数のアップストリームポートの中の対応する１つのアップストリームポートに電気的に連結される入出力ポートと、
    前記印刷回路基板上に載置され、１つ以上のソリッドステートドライブライザーカードが装着された１つ以上のライザーカードスロットと、を含み、
    前記１つ以上のソリッドステートドライブライザーカードは、前記スイッチと前記モジュールパワーポートとに電気的に連結され、
    前記１つ以上のソリッドステートドライブライザーカードの中の少なくとも１つは、前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの中の対応する不揮発性フラッシュメモリブレードのマルチカードモジュールの前記スイッチ及び前記入出力ポートを介して、前記サーバマザーボードの１つ以上のプロセッサと通信する１つ以上のソリッドステートドライブチップを含み、
    前記サーバマザーボードの前記複数のアップストリームポートの中の対応する１つに装着される１つ以上のケーブルコネクタライザーカードと、
    前記ケーブルコネクタライザーカードの中の対応する少なくとも１つを介して、前記不揮発性フラッシュメモリブレードのマルチカードモジュールの中の対応する少なくとも１つに含まれる入出力ポートの中の対応するいずれか１つに、前記アップストリームポートの各々を連結するための１つ以上のケーブルと、を含み、
    前記不揮発性フラッシュメモリブレードのマルチカードモジュールの各々は、対応する少なくとも１つの前記ケーブル及び対応する少なくとも１つの前記ケーブルコネクタライザーカードを介して前記１つ以上のプロセッサと通信することを特徴とするモジュール型不揮発性フラッシュメモリブレード。
  6. 前記サーバマザーボードのプロセッサは、第１プロセッサ及び第２プロセッサを含み、
    前記複数のアップストリームポートは、第１及び第２アップストリームポートを含み、
    前記複数のケーブルコネクタライザーカードは、第１及び第２ケーブルコネクタライザーカードを含み、
    前記複数のケーブルは、第１及び第２ケーブルを含み、
    前記第１プロセッサは、前記第１及び第２アップストリームポートの第１サブセットに連結され、
    前記第２プロセッサは、前記第１及び第２アップストリームポートの第２サブセットに連結され、
    前記複数の不揮発性フラッシュメモリブレードのマルチカードモジュールは、第１及び第２不揮発性フラッシュメモリブレードのマルチカードモジュールと、を含むことを特徴とする請求項５に記載のモジュール型不揮発性フラッシュメモリブレード。
  7. 前記第１不揮発性フラッシュメモリブレードのマルチカードモジュールは、前記第１ケーブル、前記第１ケーブルコネクタライザーカード、及び前記第１アップストリームポートを介して前記第１プロセッサ及び前記第２プロセッサの中の少なくとも１つと通信し、
    前記第２不揮発性フラッシュメモリブレードのマルチカードモジュールは、前記第２ケーブル、前記第２ケーブルコネクタライザーカード、及び前記第２アップストリームポートを介して前記第１プロセッサ及び前記第２プロセッサの中の少なくとも１つと通信することを特徴とする請求項６に記載のモジュール型不揮発性フラッシュメモリブレード。
  8. 前記１つ以上のソリッドステートドライブライザーカードの各々は、前記１つ以上のライザーカードスロットの中の対応するスロットに装着され、前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの中の対応する不揮発性フラッシュメモリブレードのマルチカードモジュールの前記スイッチと前記入出力ポートとを介して前記１つ以上のプロセッサと通信することを特徴とする請求項５に記載のモジュール型不揮発性フラッシュメモリブレード。
  9. 前記１つ以上のソリッドステートドライブライザーカードの各々は、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの中の対応する不揮発性フラッシュメモリブレードのマルチカードモジュールの前記スイッチと前記入出力ポートとを介して、前記サーバマザーボードの１つ以上のプロセッサと通信する複数のソリッドステートドライブチップを含むことを特徴とする請求項５に記載のモジュール型不揮発性フラッシュメモリブレード。
  10. 前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記入出力ポートは、アップストリームポートとして動作し、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記スイッチは、前記複数のアップストリームポートの中の対応するアップストリームポートを複数のダウンストリームポートに拡張し、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記ダウンストリームポートは、前記複数のソリッドステートドライブチップの中の対応するチップに連結されることを特徴とする請求項９に記載のモジュール型不揮発性フラッシュメモリブレード。
  11. 前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記アップストリームポートは、ＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ８のアップストリームポートを含み、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記スイッチは、ＰＣＩｅ規格に準拠したＰＣＩｅスイッチを含み、前記ＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ８のアップストリームポートを複数のＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートに拡張するように構成され、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々の前記１つ以上のライザーカードスロットは、６つ以上のライザーカードスロットを含み、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々に含まれる前記複数のソリッドステートドライブライザーカードは、前記１つ以上のライザーカードスロットの中の対応するライザーカードスロットに装着される複数のソリッドステートドライブライザーカードを含み、
    前記１つ以上の不揮発性フラッシュメモリブレードのマルチカードモジュールの各々に含まれる前記複数のソリッドステートドライブチップの各々は、前記複数のＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートの中の対応する前記ＰＣＩｅ規格に準拠したＰＣＩｅ Ｘ４のダウンストリームポートに連結されることを特徴とする請求項１０に記載のモジュール型不揮発性フラッシュメモリブレード。
JP2016036936A 2015-02-27 2016-02-29 モジュール型不揮発性フラッシュメモリブレード及びその動作方法 Active JP6713791B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562126367P 2015-02-27 2015-02-27
US62/126,367 2015-02-27
US14/918,554 2015-10-20
US14/918,554 US10466923B2 (en) 2015-02-27 2015-10-20 Modular non-volatile flash memory blade

Publications (2)

Publication Number Publication Date
JP2016162458A JP2016162458A (ja) 2016-09-05
JP6713791B2 true JP6713791B2 (ja) 2020-06-24

Family

ID=56798503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016036936A Active JP6713791B2 (ja) 2015-02-27 2016-02-29 モジュール型不揮発性フラッシュメモリブレード及びその動作方法

Country Status (5)

Country Link
US (1) US10466923B2 (ja)
JP (1) JP6713791B2 (ja)
KR (1) KR102542562B1 (ja)
CN (1) CN105929903B (ja)
TW (1) TWI677791B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467166B2 (en) * 2014-04-25 2019-11-05 Liqid Inc. Stacked-device peripheral storage card
US20160259754A1 (en) 2015-03-02 2016-09-08 Samsung Electronics Co., Ltd. Hard disk drive form factor solid state drive multi-card adapter
KR20170040897A (ko) * 2015-10-06 2017-04-14 주식회사 스토리지안 멀티 인터페이스 포트를 갖는 에스에스디 더블러 및 이를 위한 멀티 디바이스 베이 시스템
US10423559B2 (en) * 2016-09-23 2019-09-24 Intel Corporation System for selectively upgradeable disaggregated server components
CN107704035A (zh) * 2017-08-29 2018-02-16 华为技术有限公司 M.2连接器、m.2模块组件和系统盘
CN107908586A (zh) * 2017-12-22 2018-04-13 郑州云海信息技术有限公司 一种nvme硬盘存储结构及其实现方法
KR102637166B1 (ko) 2018-04-17 2024-02-16 삼성전자주식회사 대용량 데이터를 저장하는 네트워크 스토리지 장치
TWI662417B (zh) * 2018-05-31 2019-06-11 緯創資通股份有限公司 切換卡以及伺服器
US20190042511A1 (en) * 2018-06-29 2019-02-07 Intel Corporation Non volatile memory module for rack implementations
US10624211B2 (en) 2018-08-22 2020-04-14 Quanta Computer Inc. Motherboard with daughter input/output board
US11051422B2 (en) * 2018-09-14 2021-06-29 Hewlett Packard Enterprise Development Lp Modular server design
CN108959154A (zh) * 2018-09-20 2018-12-07 郑州云海信息技术有限公司 一种pcie扩展卡和pcie扩展系统
US10849223B2 (en) * 2019-03-06 2020-11-24 Cisco Technology, Inc. Multi-socket server assembly
US10762025B1 (en) * 2019-03-08 2020-09-01 Quanta Computer Inc. Swappable add-on card module
US10888012B2 (en) * 2019-05-16 2021-01-05 Hewlett Packard Enterprise Development Lp Printed circuit board orientations
US10958003B2 (en) * 2019-08-09 2021-03-23 Intel Corporation Interleaved card/riser connection assembly for compact card integration
US11073873B1 (en) * 2020-03-25 2021-07-27 Intel Corporation Electronic device interconnect
US11510333B2 (en) * 2020-04-03 2022-11-22 Hewlett Packard Enterprise Development Lp Cabled module for adding memory devices to a system
US11392325B2 (en) * 2020-09-28 2022-07-19 Quanta Computer Inc. Method and system for parallel flash memory programming
CN113050767B (zh) * 2021-03-30 2024-06-18 联想(北京)有限公司 扩展插槽通道分配方法、装置、电子设备及介质
CN113407397B (zh) * 2021-06-10 2022-12-27 浪潮电子信息产业股份有限公司 一种设备机箱丝印的显示方法、装置、设备及介质
US11797466B1 (en) * 2022-04-14 2023-10-24 Dell Products L.P. System and method for power distribution in configurable systems
CN116954318A (zh) * 2022-04-19 2023-10-27 深圳富联富桂精密工业有限公司 服务器系统及其检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100688603B1 (ko) 2006-03-30 2007-03-02 주식회사 유니테스트 그래픽 메모리 테스트용 자동화 장비에 이용되는 메인보드및 그래픽 카드 하우징
US20080052437A1 (en) * 2006-08-28 2008-02-28 Dell Products L.P. Hot Plug Power Policy for Modular Chassis
US10236032B2 (en) * 2008-09-18 2019-03-19 Novachips Canada Inc. Mass data storage system with non-volatile memory modules
CN101866199A (zh) * 2009-04-16 2010-10-20 鸿富锦精密工业（深圳）有限公司 服务器
US20110035540A1 (en) * 2009-08-10 2011-02-10 Adtron, Inc. Flash blade system architecture and method
US20130107444A1 (en) 2011-10-28 2013-05-02 Calxeda, Inc. System and method for flexible storage and networking provisioning in large scalable processor installations
JP5637873B2 (ja) * 2011-01-19 2014-12-10 株式会社日立製作所 計算機システムおよびｐｃｉカードのｈｂａ識別子引き継ぎ方式
US9128662B2 (en) 2011-12-23 2015-09-08 Novachips Canada Inc. Solid state drive memory system
US9082632B2 (en) 2012-05-10 2015-07-14 Oracle International Corporation Ramp-stack chip package with variable chip spacing
US8848383B2 (en) 2012-08-28 2014-09-30 Skyera, Inc. Motherboard with card guide cutouts
WO2014039922A2 (en) 2012-09-06 2014-03-13 Pi-Coral, Inc. Large-scale data storage and delivery system
CN103019998A (zh) 2013-01-07 2013-04-03 哈尔滨工程大学 可升级固态硬盘容量扩展装置
JP5898790B2 (ja) 2013-01-23 2016-04-06 株式会社日立製作所 ＰＣＩ−Ｅｘｐｒｅｓｓ接続ソリッドステートドライブを適用したストレージ装置
TW201433924A (zh) 2013-02-21 2014-09-01 Hon Hai Prec Ind Co Ltd 存儲擴展系統
US9301402B2 (en) 2013-03-15 2016-03-29 Skyera, Llc High density server storage unit
US9477592B2 (en) * 2013-03-29 2016-10-25 Silicon Graphics International Corp. Localized fast bulk storage in a multi-node computer system
US20150261710A1 (en) * 2014-03-14 2015-09-17 Emilio Billi Low-profile half length pci express form factor embedded pci express multi ports switch and related accessories

Also Published As

Publication number Publication date
CN105929903B (zh) 2020-04-07
US20160255740A1 (en) 2016-09-01
TWI677791B (zh) 2019-11-21
KR20160105294A (ko) 2016-09-06
US10466923B2 (en) 2019-11-05
TW201643730A (zh) 2016-12-16
JP2016162458A (ja) 2016-09-05
CN105929903A (zh) 2016-09-07
KR102542562B1 (ko) 2023-06-12

Similar Documents

Publication Publication Date Title
JP6713791B2 (ja) モジュール型不揮発性フラッシュメモリブレード及びその動作方法
KR102538115B1 (ko) 집적 처리를 갖는 솔리드 스테이트 드라이브 멀티 카드 어댑터
TWI744238B (zh) 快速週邊組件互連卡
US11102902B2 (en) Data storage system connectors with parallel array of dense memory cards and high airflow
US10467170B2 (en) Storage array including a bridge module interconnect to provide bridge connections to different protocol bridge protocol modules
KR101604962B1 (ko) 큰 확장성 프로세서 설치에 있어서 유연한 저장 및 네트워크 프로비저닝을 위한 시스템 및 방법
US10162786B2 (en) Storage node based on PCI express interface
CN110247860B (zh) 多模式和/或多速度NVMe-oF装置
US11596073B2 (en) Electronic equipment that provides multi-function slots
US9940280B1 (en) Provisioning an enclosure with PCIe connectivity and storage devices
US20170220506A1 (en) Modular Software Defined Storage Technology
US10545901B2 (en) Memory card expansion
US9021166B2 (en) Server direct attached storage shared through physical SAS expanders
US9984023B2 (en) Multi-server system interconnect
CN109033002A (zh) 一种多路服务器系统
JP6931039B2 (ja) 大容量記憶デバイス・パッケージおよびかかるパッケージのソフトウェア定義済みアレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200604

R150 Certificate of patent or registration of utility model

Ref document number: 6713791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250