JP7242968B2 - 計算ノードとストレージサーバ間のＰＣＩ Ｅｘｐｒｅｓｓファブリックを介した高速ストレージアクセスを提供するネットワークアーキテクチャ - Google Patents

計算ノードとストレージサーバ間のＰＣＩ Ｅｘｐｒｅｓｓファブリックを介した高速ストレージアクセスを提供するネットワークアーキテクチャ Download PDF

Info

Publication number
JP7242968B2
JP7242968B2 JP2022549013A JP2022549013A JP7242968B2 JP 7242968 B2 JP7242968 B2 JP 7242968B2 JP 2022549013 A JP2022549013 A JP 2022549013A JP 2022549013 A JP2022549013 A JP 2022549013A JP 7242968 B2 JP7242968 B2 JP 7242968B2
Authority
JP
Japan
Prior art keywords
streaming
compute
array
network
pcie
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022549013A
Other languages
English (en)
Other versions
JP2023506585A (ja
Inventor
ロダリック コーレンブランデル ルーロフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2023506585A publication Critical patent/JP2023506585A/ja
Priority to JP2023035545A priority Critical patent/JP2023071941A/ja
Application granted granted Critical
Publication of JP7242968B2 publication Critical patent/JP7242968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/15—Interconnection of switching modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/181—Enclosures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G06F1/187—Mounting of fixed and removable disk drives
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/351—Switches specially adapted for specific applications for local area network [LAN], e.g. Ethernet switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/183—Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/38—Universal adapter
    • G06F2213/3808—Network interface controller
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/14—Mounting supporting structure in casing or on frame or rack
    • H05K7/1485—Servers; Data center rooms, e.g. 19-inch computer racks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)
  • Pinball Game Machines (AREA)
  • Small-Scale Networks (AREA)
  • Slot Machines And Peripheral Devices (AREA)

Description

本開示は、ネットワークストレージに関し、より具体的には、ＰＣＩ－Ｅｘｐｒｅｓｓを使用するラックアセンブリのストリーミングアレイの計算スレッド上に配置された計算ノードへの高速ネットワークストレージアクセスに関する。
近年、クラウドゲームサーバとネットワークを介して接続されたクライアントとの間でストリーミング形式のオンラインまたはクラウドゲームを可能にするオンラインサービスが継続的に推進されている。ストリーミング形式は、オンデマンドのゲームタイトルの利用可能性、より複雑なゲームが実行できる、マルチプレイヤーゲームのためのプレイヤー間でネットワークが築ける、プレイヤー間のアセットあるいは資産を共有できる、プレイヤー及び／または観客間のインスタントエクスペリエンスが共有できる、友人がフレンドプレイビデオゲームを見ることが可能である、友人がプレイ中のゲームプレイに別の友人を参加させることができるなどの理由により、いっそう人気が高まっている。
残念ながら、需要は、ネットワーク接続の機能の限界にまで押し上げられている。例えば、前世代のストリーミングネットワークアーキテクチャは、ギガビットイーサネット通信接続（例えば、毎秒４０ギガビットのイーサネット接続）を使用してネットワークストレージを提供していた。しかしながら、新世代のストリーミングネットワークアーキテクチャでは、より優れた（より高速な）帯域幅パフォーマンス（ギガバイト接続など）が必要である。
本開示の実施形態は、このような背景の下になされたものである。
本開示の実施形態は、ラックアセンブリ内などのネットワークストレージへの、計算ノード当たり毎秒４ギガバイト（ＧＢ／ｓ）を超えるネットワークストレージ帯域幅（例えば、アクセス）を提供可能な高速アクセスを提供することに関する。
本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャには、ネットワークストレージが含まれる。ネットワークアーキテクチャは複数のストリーミングアレイを含み、各ストリーミングアレイは複数の計算スレッドを含み、各計算スレッドは１つ以上の計算ノードを含む。ネットワークアーキテクチャは、複数のストリーミングアレイのそれぞれの計算ノードからネットワークストレージへの直接アクセスを提供するように構成されたＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを含む。ＰＣＩｅファブリックは、複数のアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチは、対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、ストレージサーバに通信可能に結合される。ネットワークストレージは、複数のストリーミングアレイによって共有される。
本開示の実施形態は、ネットワークアーキテクチャを開示する。ネットワークアーキテクチャには、ネットワークストレージが含まれる。ネットワークアーキテクチャは複数のストリーミングアレイを含み、各ストリーミングアレイは複数の計算スレッドを含み、各計算スレッドは１つ以上の計算ノードを含む。ネットワークアーキテクチャは、複数のストリーミングアレイのそれぞれの計算ノードからネットワークストレージへの直接アクセスを提供するように構成されたＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを含む。ＰＣＩｅファブリックは、複数のアレイレベルのＰＣＩｅスイッチを含み、各アレイレベルのＰＣＩｅスイッチは、対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、ストレージサーバに通信可能に結合される。ネットワークアーキテクチャは、計算スレッド及び計算ノード管理情報をストリーミングするために、複数のストリーミングアレイの計算スレッドの計算ノードをネットワークストレージに通信可能に結合するように構成されたイーサネットファブリックを含む。ネットワークストレージは、複数のストリーミングアレイによって共有される。
本開示の他の態様は、本開示の原理の例として示される添付図面と併せて、下記の発明を実施するための形態から明らかになるであろう。
本開示は、添付図面と併せて、以下の詳細な説明を参照することにより、最も良く理解することができる。
本開示の一実施形態による、１つ以上のデータセンターに配置された１つ以上の計算ノード間でネットワークを介してゲームを提供するためのゲームクラウドシステムの図である。 本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンターにおける複数の計算ノードを含む複数のラックアセンブリの図である。 本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリの図である。 本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置された複数の計算ノードを含むストリーミングアレイの図である。 本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置された複数の計算ノードを含む計算スレッドの図である。 本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置されたスレッドレベルのＰＣＩｅスイッチの図である。 本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスのコンポーネントを示す。
以下の詳細な説明は、例示の目的で多くの特定の詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び変更が本開示の範囲内にあることを理解するであろう。したがって、以下で説明される本開示の態様は、この説明に続く特許請求の範囲への一般性を失うことなく、また限定を課すことなく示される。
一般的に言えば、本開示の実施形態は、ラックアセンブリ内などのネットワークストレージへの、不揮発性メモリエクスプレス（ＮＶＭｅ：Non-Volatile Memory express）レイテンシでの計算ノード（例えば、ラックアセンブリの）当たり毎秒４ギガバイト（ＧＢ／ｓ）を超えるネットワークストレージ帯域幅（例えば、アクセスなど）を提供可能な高速アクセスを提供する。
様々な実施形態の上記の一般的な理解により、様々な図面を参照して実施形態の例の詳細をここに説明する。
本明細書全体を通して、「アプリケーション」または「ゲーム」または「ビデオゲーム」または「ゲームアプリケーション」への言及は、入力コマンドの実行を通して指示される任意のタイプのインタラクティブアプリケーションを表すことを意味する。説明目的のみで、インタラクティブアプリケーションは、ゲーム、文書処理、ビデオ処理、ビデオゲーム処理などのためのアプリケーションを含む。さらに、これらの用語は、置き換え可能である。
図１は、本開示の一実施形態による、１つ以上のデータセンターに配置された１つ以上の計算ノード間でネットワーク１５０を介してゲームを提供するためのシステム１００の図である。本開示の一実施形態によれば、システムは、１つ以上のクラウドゲームサーバ間のネットワークを介してゲームを提供するように構成され、より具体的には、計算ノードから、ラックアセンブリ内などのネットワークストレージに高速アクセスするように構成される。クラウドゲームには、サーバでビデオゲームを実行して、ゲームでレンダリングされたビデオフレームを生成し、次いでそれをクライアントに送信して表示することが含まれる。
クラウドゲームは、物理マシン（例えば、中央処理装置－－ＣＰＵ－－及びグラフィック処理装置－－ＧＰＵ）、または仮想マシン、または両方の組み合わせを使用して、様々な実施形態で（例えば、クラウドゲーム環境またはスタンドアロンシステム内で）実行することができることも理解される。例えば、仮想マシン（例えば、インスタンス）は、複数のＣＰＵ、メモリモジュール、ＧＰＵ、ネットワークインタフェース、通信コンポーネントなどのハードウェア層の１つ以上のコンポーネントを利用するホストハードウェア（例えば、データセンターに配置される）のハイパーバイザを使用して作成することができる。これらの物理リソースは、ＣＰＵのラック、ＧＰＵのラック、メモリのラックなどのラックに配置でき、インスタンスに使用される（インスタンスの仮想化されたコンポーネントを構築する場合など）コンポーネントの組み立てとアクセスのためのファブリックを容易にするラックスイッチのトップを使用して、ラック内の物理リソースにアクセスできる。
通常、ハイパーバイザは、仮想リソースで構成された複数のインスタンスの複数のゲストオペレーティングシステムを提示できる。すなわち、オペレーティングシステムのそれぞれは、１つ以上のハードウェアリソース（例えば、対応するデータセンターに配置される）によってサポートされる仮想化リソースの対応するセットで構成され得る。例えば、各オペレーティングシステムは、仮想ＣＰＵ、複数の仮想ＧＰＵ、仮想メモリ、仮想化された通信コンポーネントなどでサポートされ得る。さらに、インスタンスの構成は、あるデータセンターから別のデータセンターに転送されてレイテンシを短縮することができる。ユーザまたはゲームに対して定義された即時使用状況は、ユーザのゲームセッションを保存するときに使用できる。
即時使用状況は、ゲームセッション用のビデオフレームの高速レンダリングを最適化するために、本明細書で説明する任意の数の構成を含むことができる。一実施形態では、ゲームまたはユーザに対して定義された即時使用状況は、構成可能な設定としてデータセンター間で転送することができる。即時使用状況を転送する機能により、ユーザが異なる地理的位置からゲームをプレイするために接続する場合に、データセンターからデータセンターへのゲームプレイの効率的な移行が可能になる。
システム１００は、１つ以上のデータセンター（例えば、データセンター１からＮ）を通じて実装されるゲームクラウドシステム１９０を含む。図示されるように、ゲームクラウドシステム１９０のインスタンスは、管理機能を提供するデータセンターＮに配置することができ、ゲームクラウドシステム１９０の管理機能は、各データセンターでゲームクラウドシステム１９０の複数のインスタンスを通じて分散させることができる。いくつかの実施態様では、ゲームクラウドシステム管理機能は、データセンターのいずれかの外部に配置されてもよい。
そのゲームクラウドシステム１９０は、クライアントデバイス（例えば、１～Ｎ）のそれぞれを対応するデータセンター内の対応するリソースに割り当てるように構成されたアサイナ１９１を含む。特に、クライアントデバイス１１０がゲームクラウドシステム１９０にログインするとき、クライアントデバイス１１０は、データセンターＮでゲームクラウドシステム１０９のインスタンスと接続されてもよく、データセンターＮはクライアントデバイス１１０に地理的に最も近くてもよい。アサイナ１９１は、診断テストを実行して、クライアントデバイス１１０への利用可能な送信及び受信帯域幅を決定することができる。テストに基づいて、アサイナ１９１は、リソースをクライアントデバイス１１０に非常に特定的あるいは特異的に割り当てることができる。例えば、アサイナ１９１は、特定のデータセンターをクライアントデバイス１１０に割り当てることができる。さらに、アサイナ１９１は、特定の計算スレッド、特定のストリーミングアレイ、特定のラックアセンブリの、特定の計算ノードをクライアントデバイス１１０に割り当てることができる。
割り当ては、計算ノードで利用可能なアセット（ゲームなど）の知識に基づいて実行される。以前は、クライアントデバイスは一般的にデータセンターに割り当てられており、ラックアセンブリにはそれ以上割り当てられていなかった。このようにして、アサイナ１９１は、計算集約型の特定のゲームアプリケーションの実行を要求しているクライアントデバイスを、計算集約型アプリケーションを実行していない可能性のある計算ノードに割り当てることができる。さらに、クライアントからの要求に応じて計算集約型ゲームアプリケーションの割り当ての負荷管理をアサイナ１９１で実行することができる。例えば、短期間に要求されている同じ計算集約型のゲームアプリケーションは、特定の計算ノード、計算スレッド、及び／またはラックアセンブリの負荷を軽減するために、１つのラックアセンブリまたは異なるラックアセンブリ内の異なる計算スレッドの異なる計算ノードにわたって分散され得る。
いくつかの実施形態では、割り当ては、機械学習に基づいて実行され得る。特に、リソースの需要は、特定のデータセンターとその対応するリソースについて予測され得る。例えば、データセンターが計算集約型のゲームアプリケーションを実行する多くのクライアントをすぐに処理することが予測できる場合、アサイナ１９１はその知識をクライアントデバイス１１０に割り当て、そのリソース能力のすべてを現在利用していない可能性のあるリソースを割り当てることができる。別のケースでは、アサイナ１９１は、データセンターＮでの負荷の増加を見越して、クライアントデバイス１１０をデータセンターＮのゲームクラウドシステム１９０からデータセンター３で利用可能なリソースに切り替えることができる。
さらに、将来のクライアントは、リソースの負荷と需要が、ゲームクラウドシステム全体に、複数のデータセンターにわたり、複数のラックアセンブリにわたり、複数の計算スレッドにわたり、及び／または複数の計算ノードにわたって分散されるように、分散された方法でリソースに割り当てられる。例えば、クライアントデバイス１１０は、データセンターＮ（例えばパス１を介して）及びデータセンター３（例えば経路２を介して）の両方のゲームクラウドシステムからリソースを割り当てられ得る。
クライアントデバイス１１０が、対応するストリーミングアレイの対応する計算スレッドの特定の計算ノードに割り当てられると、クライアントデバイス１１０は、ネットワークを介して対応するデータセンターに接続する。すなわち、クライアントデバイス１１０は、データセンター３など、割り当てを実行するデータセンターとは異なるデータセンターと通信している可能性がある。
特に、システム１００は、ゲームクラウドシステム１９０を介してゲームを提供し、本開示の一実施形態によれば、ゲームは、ゲームをプレイしている対応するユーザのクライアントデバイス（例えば、シンクライアント）からリモートで実行されている。システム１００は、シングルプレイヤーモードまたはマルチプレイヤーモードのいずれかで、ネットワーク１５０を介してクラウドゲームネットワークまたはゲームクラウドシステム１９０を介して１つ以上のゲームをプレイする１人以上のユーザにゲームのコントロールをもたらすことができる。いくつかの実施形態では、クラウドゲームネットワークまたはゲームクラウドシステム１９０は、ホストマシンのハイパーバイザ上で実行する複数の仮想マシン（ＶＭ）を含むことができ、１つ以上の仮想マシンは、ホストのハイパーバイザに利用可能であるハードウェアリソースを利用するゲームプロセッサモジュールを実行するように構成される。ネットワーク１５０は、１つ以上の通信技術を含み得る。いくつかの実施形態では、ネットワーク１５０は、高度な無線通信システムを有する第５世代（５Ｇ）ネットワーク技術を含み得る。
いくつかの実施形態では、通信は、無線技術を使用して促進され得る。そのような技術には、例えば、５Ｇ無線通信技術が含まれ得る。５Ｇは、セルラーネットワークテクノロジーの第５世代である。５Ｇネットワークはデジタルセルラーネットワークであり、プロバイダーがカバーするサービスエリアはセルと呼ばれる小さな地理的エリアに分割されている。音と画像を表すアナログ信号は、電話でデジタル化され、アナログ－デジタルコンバータによって変換され、ビットのストリームとして送信される。
セル内のすべての５Ｇワイヤレスデバイスは、他のセルで再利用される周波数のプールからトランシーバによって割り当てられた周波数チャネルを介して、セル内のローカルアンテナアレイ及び低電力自動トランシーバ（送信機及び受信機）と電波で通信する。ローカルアンテナは、高帯域幅光ファイバまたは無線バックホール接続によって、電話網及びインターネットに接続される。他のセルネットワークと同様に、あるセルから別のセルに移動するモバイルデバイスは、新しいセルに自動的に転送される。５Ｇネットワークは単なる一例のタイプの通信ネットワークであり、本開示の実施形態は、５Ｇに続く後の世代の有線または無線技術と同様に、前世代の無線または有線通信を利用することができることを理解されたい。
図示されるように、ゲームクラウドシステム１９０を含むシステム１００は、複数のビデオゲームへのアクセスを提供することができる。特に、クライアントデバイスのそれぞれが、クラウドゲームネットワークから異なるゲームへのアクセスを要求している可能性がある。例えば、ゲームクラウドシステム１９０は、対応するゲームアプリケーションを実行するために１つ以上のホスト上で実行される１つ以上の仮想マシンとして構成され得る１つ以上のゲームサーバを提供し得る。例えば、ゲームサーバは、ユーザのゲームのインスタンスをインスタンス化するゲームプロセッサをサポートする仮想マシンを管理し得る。よって、複数の仮想マシンに関連付けられた１つ以上のゲームサーバの複数のゲームプロセッサは、複数のユーザのゲームプレイに関連付けられた１つ以上のゲームの複数のインスタンスを実行するように構成される。
そのようにして、バックエンドサーバサポートは、複数のゲームアプリケーションのゲームプレイのメディア（例えば、ビデオ、オーディオなど）のストリーミングを、対応する複数のユーザに提供する。つまり、ゲームクラウドシステム１９０のゲームサーバは、ネットワーク１５０を介して、データ（例えば、対応するゲームプレイのレンダリングされた画像及び／またはフレーム）を対応するクライアントデバイスにストリーミング返信するように構成される。そのようにして、クライアントデバイスによって受信されて転送されたコントローラの入力に応答して、計算の複雑なゲームアプリケーションが、バックエンドサーバで実行し続けることができる。各サーバは、画像及び／またはフレームをレンダリングし、次いでそれらをエンコード（例えば、圧縮）して、対応するクライアントデバイスにストリーミングして表示することが可能である。
一実施形態では、クラウドゲームネットワークまたはゲームクラウドシステム１９０は、分散型ゲームサーバシステム及び／またはアーキテクチャである。具体的には、ゲームロジックを実行する分散型ゲームエンジンが、対応するゲームの対応するインスタンスとして構成されている。一般に、分散型ゲームエンジンは、ゲームエンジンの各機能を取り込み、それらの機能を分散させて多数の処理エンティティによって実行する。個々の機能は、さらに１つ以上の処理エンティティにわたって分散させることができる。
処理エンティティは、物理ハードウェアを含んで、及び／または仮想コンポーネントまたは仮想マシンとして、及び／または仮想コンテナとしてなど、様々な構成で構成することができ、コンテナは、仮想化されたオペレーティングシステム上で動作するゲームアプリケーションのインスタンスを仮想化するものであるため、仮想マシンとは異なる。処理エンティティは、クラウドゲームネットワークまたはゲームクラウドシステム１９０の１つ以上のサーバ（計算ノード）上のサーバ及びその基礎となるハードウェアを利用し、及び／またはそれらに依拠してもよく、サーバは１つ以上のラック上に配置され得る。
種々の処理エンティティに対するそれらの機能の実行の協調、割り当て、及び管理は、分散同期層によって行われる。そのようにして、それらの機能の実行が分散同期層によって制御されて、プレイヤーによるコントローラ入力に応答して、ゲームアプリケーション用のメディア（例えば、ビデオフレーム、オーディオなど）を生成することが可能になる。分散同期層は、重要なゲームエンジンコンポーネント／機能が、より効率的な処理のために分散されて再構築されるように、分散処理エンティティ全体で（例えば、負荷バランシングを介して）それらの機能を効率的に実行することが可能である。
図２は、本開示の一実施形態による、ゲームクラウドシステムの代表的なデータセンター２００における複数の計算ノードを含む複数のラックアセンブリ２１０の図である。例えば、北米、ヨーロッパ、日本など、世界中に複数のデータセンターが分散している場合がある。
データセンター２００は、複数のラックアセンブリ２２０（例えば、ラックアセンブリ２２０Ａから２２０Ｎ）を含む。ラックアセンブリのそれぞれは、対応するネットワークストレージ及び複数の計算スレッドを含む。例えば、代表的なラックアセンブリ２２０Ｎは、ネットワークストレージ２１０及び複数の計算スレッド２３０（例えば、スレッド２３０Ａから２３０Ｎ）を含む。他のラックアセンブリは、変更を加えてまたは加えずに同様に構成することができる。
特に、計算スレッドのそれぞれは、ハードウェアリソース（例えば、プロセッサ、ＣＰＵ、ＧＰＵなど）を提供する１つ以上の計算ノードを含む。例えば、ラックアセンブリ２２０Ｎの複数の計算スレッド２３０における計算スレッド２３０Ｎは、４つの計算ノードを含むように示されているが、ラックアセンブリは１つ以上の計算ノードを含み得ることが理解される。各ラックアセンブリは、対応するデータセンターの管理用に構成された管理サーバとの通信を提供するように構成されたクラスタスイッチに結合される。例えば、ラックアセンブリ２２０Ｎはクラスタスイッチ２４０Ｎに結合される。クラスタスイッチは、外部通信ネットワーク（インターネットなど）への通信も提供する。
各ラックアセンブリは、ラックアセンブリ内など、対応するネットワークストレージへの高速アクセスを提供する。この高速アクセスは、計算ノードと対応するネットワークストレージ間の直接アクセスを提供するＰＣＩｅファブリック（PCI-express Fabric）を介して提供される。例えば、ラックアセンブリ２２０Ｎにおいて、高速アクセスは、対応する計算スレッドの特定の計算ノードと対応するネットワークストレージ（例えば、ストレージ２１０）との間のデータパス２０１を提供するように構成される。特に、ＰＣＩｅファブリックは、不揮発性メモリエクスプレス（ＮＶＭｅ）レイテンシでの計算ノード（ラックアセンブリなど）当たり毎秒４ギガバイト（ＧＢ／ｓ）を超えるネットワークストレージ帯域幅（例えば、アクセスなど）を提供可能である。また、制御パス２０２は、ネットワークストレージ２１０と各計算ノードとの間の制御及び／または管理情報を通信するために構成される。
図示されるように、データセンター２００の管理サーバ２１０は、アサイナ１９１（図１に示される）と通信して、リソースをクライアントデバイス１１０に割り当てる。特に、管理サーバ２１０は、ゲームクラウドシステム１９０’のインスタンスと連携し、ゲームクラウドシステム１９０の最初のインスタンス（例えば、図１の）と連携して、リソースをクライアントデバイス１１０に割り当てることができる。実施形態では、割り当ては、どのリソースと帯域幅が必要であり、データセンターに存在するかを知るなど、アセット認識に基づいて実行される。したがって、本開示の実施形態は、説明のために、対応するラックアセンブリ２２０Ｂの対応する計算スレッド２３１の特定の計算ノード２３２にクライアントデバイス１１０を割り当てるように構成される。
ストリーミングラックアセンブリは計算ノードを中心に配置されており、これがゲームアプリケーション、ビデオゲームを実行し、及び／またはゲームセッションのオーディオ／ビデオを１つ以上のクライアントにストリーミングする。さらに、各ラックアセンブリ内で、ネットワークストレージを提供するストレージサーバにゲームコンテンツを格納することができる。ネットワークストレージには、ネットワークファイルシステム（ＮＦＳ:Network File System）ベースのネットワークストレージによって多くの計算ノードにサービスを提供するために、大量のストレージと高速ネットワークが装備されている。
図３は、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ３００の図である。図示されるように、図３の図は、ラックアセンブリ３００の高レベルのラック設計を示している。ラックアセンブリ３００は、複数のラックアセンブリ２２０のうちの１つ以上を表すことができる。例えば、ラックアセンブリは、ラックアセンブリ２２０Ｎを表すことができる。
前述のように、従来のラック設計では、ギガビットイーサネットを使用してネットワークストレージへのアクセスが提供されていた。それはネットワークストレージへの４０ｇｂ／ｓのアクセスを提供するものであり、これは、将来のゲームには適していない。
本開示の実施形態は、ＮＶＭｅレベルのレイテンシでの計算ノードあたり毎秒約４ギガバイト（ＧＢ／ｓ）帯域幅を超えるネットワークストレージへのアクセスを提供する。これは、一実施形態では、ＰＣＩ Ｅｘｐｒｅｓｓスイッチング技術及びラック全体のＰＣＩ Ｅｘｐｒｅｓｓファブリックによって達成される。
各ラックアセンブリ３００は、ネットワークストレージ３１０を含む。ゲームコンテンツは、各ラックアセンブリ内のネットワークストレージ３１０に記憶あるいは保存される。ネットワークストレージ３１０には、ＮＦＳベースのネットワークストレージによって多くの計算ノードにサービスを提供するために、大量のストレージと高速ネットワークが装備されている。
さらに、各ラックアセンブリ３００は、１つ以上のストリーミングアレイを含む。ラックアセンブリ３００は４つのアレイを有するものとして示されているが、１つ以上のストリーミングアレイがラックアセンブリ３００内に含まれ得ることが理解される。より具体的には、各ストリーミングアレイには、ネットワークスイッチ、アレイ管理サーバ（ＡＭＳ）、及び１つ以上の計算スレッドが含まれる。例えば、代表的なストリーミングアレイ４には、ネットワークスイッチ３４１、ＡＭＳ３４３、及び１つ以上の計算スレッド３４５が含まれる。他のストリーミングアレイ１～３も同様に構成され得る。図３に示されるストリーミングアレイは、例示の目的で、ストリーミングアレイごとに８つの計算スレッドを含むが、ストリーミングアレイは、各計算スレッドが１つ以上の計算ノードを含むように、任意の数の計算スレッドを含むことができることが理解される。
具体的には、各ストリーミングアレイは、ＰＣＩｅファブリック（例えば、Ｇｅｎ４）の一部として構成された対応するＰＣＩｅスイッチによってサービスされ、ＰＣＩｅファブリックを介して計算ノードとストレージサーバ間の直接アクセスを提供する。例えば、代表的なストリーミングアレイ４は、ＰＣＩｅスイッチ３４７によってサービスされる。ＰＣＩｅファブリック（すなわち、ストリーミングアレイ１～４のそれぞれにサービスを提供するＰＣＩｅスイッチを含む）は、前述のネットワークストレージ３１０に記憶されたゲームデータへの高速アクセスを可能にするデータパス３０１（例えば、ラックアセンブリ２２０Ｎ内のデータパス２０１）を提供する。
さらに、各ストリーミングアレイは、制御及び／または管理情報をストリーミングアレイに通信するためなどの制御パス３０２（例えば、ラックアセンブリ２２０Ｎ内の制御パス２０２）を提供するイーサネットファブリックで構成される。
また、ラックアセンブリ３００は、ラック管理コントローラ（図示せず）によって管理される共有電力で構成される。さらに、ラックアセンブリは、冷却を共有するように構成することもできる（図示せず）。
ラックアセンブリ３００は、各計算ノードに高速ストレージアクセス（例えば、最大で４～５ＧＢ／ｓまたはそれ以上）を提供するという要件に合わせて設計されている。ストレージは、ネットワークストレージ３１０によって提供され、これがゲームコンテンツをＲＡＭ及びＮＶＭｅドライブに記憶する（つまり、従来の単なるディスクの束－－ＪＢＯＤ－－ストレージサーバではない）。一実施形態では、ゲームコンテンツは「読み取り専用」であるため、システム間で共有することができる。個々の計算ノードは、ストリーミングアレイのそれぞれとネットワークストレージ３１０との間のＰＣＩｅファブリック（例えば、データパス３０１を提供する）を介して、ネットワークストレージ３１０でゲームコンテンツにアクセスする。
特に、ＰＣＩｅファブリック（例えば、Ｇｅｎ４）は、すべての計算ノードが同時にピークパフォーマンス（４～５ＧＢ／ｓ）を必要としているわけではないと想定することができる。各スレッドは、ＰＣＩｅの複数のレーン（例えば、８）を有する（例えば、最大１６ＧＢ／ｓ）。例えば、ストリーミングアレイごとに合計６４レーン（８スレッドの場合）が、対応するＰＣＩｅスイッチに提供され、マルチレーン（例えば９６レーン）ＰＣＩｅスイッチを有するように構成することができる。しかしながら、各ＰＣＩｅスイッチは、設計に応じて、対応するアレイ３２レーンのみをネットワークストレージ３１０に提供することができる。
さらに、各ラックアセンブリ３００は、アレイ管理サーバ（ＡＭＳ）と対応する計算スレッドとの間で利用可能な第２のＰＣＩｅファブリックを含む。例えば、アレイ４は、ＡＭＳ３４３と１つ以上の計算スレッド３４５との間の通信を提供する第２のＰＣＩｅファブリック３４９を含む。このファブリックはパフォーマンスが低く（例えば、スレッドごとに１レーンのＰＣＩｅ）、低速のストレージワークロードやスレッド管理のために使用できる。
さらに、各ラックアセンブリ３００は従来のイーサネットネットワークを含み、例えば、制御パス３０２のための通信を提供する。例えば、各計算ノードには１×１Ｇｂｐｓイーサネット（例えば、計算ノードと対応するネットワークスイッチとの間の３２個の計算ノード用に３２×１Ｇｂｐｓ）があり、「オーディオ／ビデオのストリーミング」と管理に使用される。ＡＭＳ及びネットワークストレージは、ネットワークストレージ及び管理のために、より高速なネットワーキングを有する（例えば、対応するＡＭＳとネットワークスイッチとの間で４０Ｇｂｐｓ、ネットワークストレージ３１０と対応するネットワークスイッチとの間で１０Ｇｂｐｓ、ネットワークストレージ３１０とクラスタスイッチ３５０との間で１００Ｇｂｐｓ）。
ネットワークストレージ３１０（例えば、サーバ）はまた、ＡＭＳサーバ及び計算ノードへのネットワークストレージアクセスを提供するように構成され得る。ＡＭＳサーバへのネットワークストレージアクセスは、従来のイーサネットネットワーキング（例えば、対応するネットワークスイッチとネットワークストレージ３１０との間で１０Ｇｂｐｓ）を介して処理される。しかしながら、計算ノードへのネットワークストレージは、カスタムプロトコル及びカスタムストレージソリューションによって（すなわち、データパス３０１を介して）ＰＣＩ Ｅｘｐｒｅｓｓ上で行われる。このカスタムストレージソリューションの背景は、ＰＣＩｅスイッチングを利用する計算ノードのハードウェア及びソフトウェア設計にある。
一実施形態では、各計算ノードは、「コマンドバッファ」ベースのプロトコルを使用して、ある場所からデータを要求することができる。ネットワークストレージ３１０は、データを配置することが予期される。特に、計算ノードは、直接メモリアクセス（ＤＭＡ）エンジンを使用して、「読み取り操作」中に独自のメモリに移動する。ネットワークストレージ３１０に記憶されたデータは、ＲＡＭ及びＮＶＭｅに記憶される。ネットワークストレージ３１０上のソフトウェアは、ＮＶＭｅからデータを取得する必要がないようするのが可能な場合は、データがＲＡＭにキャッシュされるのを保証する。多くの計算ノードが同じコンテンツにアクセスすることが予想されるため、キャッシングが可能である。
図４は、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージ４１０への高速アクセスを提供するように構成されたラックアセンブリ内に配置された複数の計算ノードを含むストリーミングアレイ４００の図である。１人以上のユーザにコンテンツをストリーミングするように構成されたラックアセンブリは、ネットワークストレージ３１０にアクセスする図３のストリーミングアレイ１～４などの「ストリーミングアレイ」に分割される。特に、アレイは、前述のように、ネットワークスイッチ、アレイ管理サーバ（ＡＭＳ）、及び複数の計算スレッド（例えば、アレイごとに１つ以上の計算スレッドで、それぞれ１つ以上の計算ノードを保持する計算スレッド）からなるラックアセンブリ（例えば、図３のラックアセンブリ３００）の一部である。複数のアレイ４００がラックアセンブリ内に構成され、ネットワークストレージを共有するが、それ以外は独立して動作する。
図示されるように、アレイ管理サーバ（ＡＭＳ）４０３は、対応するストリーミングアレイ４００内のサーバであり、ストリーミングアレイ内のすべての操作を管理する責任を負う。それは大まかに２つのクラスの操作を処理している。最初に、ＡＭＳ４０３は「構成作業」を管理し、これは、各計算スレッド（例えば、スレッド１～８）が正常に機能していることを確認することに関するものである。これには、スレッドへの電力供給、ソフトウェアが最新であることの確認、ネットワークの構成、ＰＣＩｅスイッチの構成などが含まれる。
２番目のクラスのＡＭＳ４０３の操作は、クラウドゲームセッションの管理である。これには、対応する計算ノードでのクラウドゲームセッションの設定、１つ以上の計算ノードへのネットワーク／インターネットアクセスの提供、ストレージアクセスの提供及びクラウドゲームセッションの監視が含まれる。
したがって、ＡＭＳ４０３は、計算ノード及び計算スレッドを管理するように構成され、各計算スレッドは１つ以上の計算ノードを含む。例えば、ＡＭＳ４０３は、電力インターポーザへの汎用入出力（ＧＰＩＯ）を使用して計算ノードへの電力供給を可能にする。一実施形態では、ＡＭＳ４０３は、シリアルデータ（例えば、電源オン／オフ、診断、及びロギング情報）を送達する汎用非同期受信送信（ＵＡＲＴ）信号を使用して計算ノードを制御および監視するように構成される。ＡＭＳ４０３は、計算ノードでファームウェアの更新を実行するように構成される。ＡＭＳ４０３は、計算スレッド及び対応するＰＣＩｅスイッチ４０７の構成を実行するように構成される。
そのストリーミングアレイ４００は、前述のように、ＰＣＩ Ｅｘｐｒｅｓｓを介して計算ノードにストレージを提供するように構成される。例えば、ＰＣＩｅファブリックは、計算スレッド上の計算ノードとＰＣＩｅスイッチ４０７との間のデータパス４０２を提供する。実施形態において、計算ノードごとの読み取り－書き込みストレージアクセスは、毎秒最大５００メガバイト（ＭＢ／ｓ）で提供される。さらに、１つの実施態様では、計算ノードごとのストレージあたり１～２ギガバイト（ＧＢ）があるが、他のサイズのストレージもサポートされている。
さらに、各ストリーミングアレイ４００は、前述のように、計算ノードへのネットワーク／インターネットアクセスを提供する。例えば、（例えば、ネットワークスイッチ４１１を介し、イーサネットなど、図示していないパスを介した）ネットワークアクセスは、計算ノードあたり毎秒１００メガビット（ｍｂ／ｓ）で提供される。
図４に示すように、ＡＭＳ４０３の主な機能は、計算スレッドのそれぞれへのＰＣＩ Ｅｘｐｒｅｓｓファブリック接続である。例えば、計算スレッド上の計算ノードとＡＭＳ４０３の間の通信を提供するＰＣＩｅファブリック４２０が示されている。一実施形態では、ＰＣＩ Ｅｘｐｒｅｓｓファブリック接続は、「パッシブＰＣＩ Ｅｘｐｒｅｓｓアダプタ」を使用して実施される。なぜなら、各計算スレッドは、ＰＣＩ Ｅｘｐｒｅｓｓ Ｇｅｎ４スイッチで構成することができ、ＡＭＳと計算スレッドとの間の距離は短くなければならないからである。
ＡＭＳ４０３は、ランダムアクセスメモリ（ＲＡＭ）を備えた中央処理装置（ＣＰＵ）で構成することができる。ＰＣＩｅファブリック用の入出力（Ｉ／Ｏ）があってもよい。イーサネット用のネットワーク接続がある。
ＡＭＳ４０３は、ストレージ（例えば、２×２テラバイトのＮＶＭｅ）で構成され得る。さらに、パッシブＰＣＩｅファブリックアダプタの使用など、各計算スレッドへのＰＣＩｅファブリック接続が存在してもよい。また、電力（例えば、１２ボルト）を提供するバスバーもある。
図５は、本開示の一実施形態による、ＰＣＩｅ（例えば、Ｇｅｎ４－第４世代）通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置された複数の計算ノード（例えば、ノード１～４）を含む計算スレッド５００の図である。図５は、複数の計算ノード（例えば、ノード１～４）及び計算ノードの動作をサポートするための補助ハードウェアを示している。
各計算スレッド５００は、１つ以上の計算ノードを含む。図５は、４つの計算ノード（例えば、ノード１～４）を含む計算スレッドを示すが、１つ以上の計算ノードを含む計算スレッドに任意の数の計算ノードを提供できることが理解される。計算スレッド５００は、（例えば、計算ノードを介して）計算リソースを提供するハードウェアプラットフォーム（例えば、回路基板）を提供することができる。
計算スレッド５００は、前述のように、計算ノード（例えば、ノード１～４）とラックレベルのネットワークスイッチ（図示せず）との間のイーサネットケーブルを接続するように構成されたイーサネットパッチパネル５１０を含む。
計算スレッド５００は、ＰＣＩｅスイッチボード５２０を含む。
計算スレッド５００は、は管理パネル５３０を含む。例えば、管理パネル５３０は、ＬＥＤやボタンなどのステータスを与えることができる。
計算スレッド５００は、計算スレッドに電力を供給するように構成された電力インターポーザボード５４０を含む。
各計算スレッドには、１つ以上の計算ノード（ノード１～４など）が含まれる。ラックアセンブリ内に配置された各計算ノードは、本開示の一実施形態に従って、ＰＣＩｅ通信（例えば、Ｇｅｎ４）を使用して計算ノードにネットワークストレージ（図示せず）への高速アクセスを提供するように構成される。計算ノードには複数のＩ／Ｏインタフェースが含まれる。例えば、計算ノードには、Ｍ．２ポートと、ＰＣＩｅ Ｇｅｎ４（双方向）用の複数のレーンが含まれ得る。
ＰＣＩｅ（例えば、Ｇｅｎ４）インタフェース（例えば、４レーン）を使用して、追加のデバイスでシステムを拡張できる。特に、ＰＣＩｅインタフェースは、高速ストレージ用のＰＣＩ Ｅｘｐｒｅｓｓスイッチ５２０を含むＰＣＩｅファブリックに接続するために使用される。さらに、計算ノードには、イーサネット接続（ギガビットイーサネットなど）が含まれる。また、計算ノードには、シリアルデータを送信及び／または受信するように構成された１つ以上の汎用非同期送受信機（ＵＡＲＴ）接続が含まれる。例えば、１つ以上のＵＡＲＴポートが存在する場合があるが、これは（例えば、計算ノードをＵＡＲＴ／ＧＰＩＯコントローラ５５０に接続する）管理目的の意味を持つ。ポートは、「電源オン」、「電源オフ」、及び診断などのリモート制御操作に使用できる。別のＵＡＲＴポートは、シリアルコンソール機能を提供する。
各計算ノードはまた、電力インターポーザ５４０に接続された電力入力コネクタ（例えば、設計された電力消費のための１２ボルト）を含む。
図６は、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置されたスレッドレベルのＰＣＩｅスイッチ６００の図である。
スレッドＰＣＩｅスイッチ６００は、２つの役割を有する対応する計算スレッド内の回路基板として構成することができる。一実施形態では、第１に、スレッドレベルのＰＣＩｅスイッチ６００は、「非透過ブリッジング」（ＮＴＢ）によって、個々の計算ノード（例えば、４つの計算ノード）を、ＰＣＩｅ（例えば、Ｇｅｎ４）バス６２０を介してＡＭＳ及び対応するネットワークストレージに接続する「ファブリックの役割」を有する。第２に、スレッドレベルのＰＣＩｅスイッチ６００は、ＵＡＲＴ及びＧＰＩＯ信号がスレッド管理のために提供される「管理の役割」を有する。
特に、ＰＣＩｅ（例えば、Ｇｅｎ４）接続は、外部ケーブルコネクタ、内部ケーブルコネクタ、及びＰＣＩｅエッジコネクタによって提供される。例えば、８レーンのＰＣＩｅ（例えば、Ｇｅｎ４）外部ケーブル接続６２０を使用して、計算スレッドをストレージワークロード用のネットワークストレージに接続することができる。第２のＰＣＩｅファブリックへの第２の外部ＰＣＩｅ（例えば、Ｇｅｎ４）接続６２５は、ＡＭＳに接続する。例えば、第２のＰＣＩｅ接続には１つのレーンが含まれ得る。なぜなら、これが主に管理機能に使用され、補助ストレージ機能を備えているためである。
さらに、内部ＰＣＩｅ（例えば、Ｇｅｎ４）ケーブルコネクタ６１０を使用して、ケーブルを用いてスレッドＰＣＩｅスイッチ５２０を、対応するＭ．２インタフェースを介して計算ノードのそれぞれに接続することができる。他の接続手段が実装されてもよい。例えば、Ｍ．２接続インタフェースを使用する代わりに、他のコネクタ及び／またはＯＣｕＬｉｎｋ、Ｓｌｉｍｌｉｎｅ ＳＡＳなどのコネクタインタフェースを使用できる。
ＵＡＲＴ及びＧＰＩＯコントローラ５５０の形態の管理インタフェースは、ＡＭＳ（図示せず）によって使用され、個々の計算ノードと通信し、電力を管理する。ＡＭＳは、管理目的（電力オン／オフ、診断、ロギングなど）のために計算ノードごとに複数（例えば２つ）のＵＡＲＴインタフェースを使用する。ＧＰＩＯ機能は、接続６３０を介して電力インターポーザボードを介した各計算ノードへの電力供給を管理するために使用される。これは、前述のように、接続６３０を介して管理パネル（例えば、ＬＥＤ及びボタン用）にも接続する。
スレッドレベルのＰＣＩｅスイッチ６００は、ＰＣＩｅ（例えば、Ｇｅｎ４）スイッチ５２０を含み得る。また、複数（例えば、４つ）の非透過（ＮＴ）ブリッジングインタフェースを含めることができる。さらに、複数（例えば、４つ）のＤＭＡ（直接メモリアクセス）エンジンを含めることができる。
さらに、ＵＡＲＴ／ＧＰＩＯコントローラ５５０が構成され、ＰＣＩｅスイッチへのＰＣＩｅインタフェース、複数（例えば、８個）のＵＡＲＴチャネル６４０、及び電力インターポーザ及び管理パネルへの複数（８個）のＧＰＩＯ接続を含む。
さらに、ネットワークストレージアクセス用のＰＣＩｅファブリックへのコネクタがある。例えば、一実施態様では、ＰＣＩｅファブリックからネットワークストレージへの８レーンの外部ＰＣＩｅコネクタ６２０が提供される。
前述のように、ＡＭＳへのアクセスを提供する第２のＰＣＩｅファブリックへの１レーンの外部ＰＣＩｅコネクタ６２５も、スレッドレベルのＰＣＩｅスイッチボード６００内に提供される。１つ以上のＰＣＩｅエッジコネクタも提供され得る。
さらに、計算ノードへの４つのマルチレーン（例えば、４レーン）の内部ＰＣＩｅ接続６１０が提供され得る。例えば、各計算ノードには４つのレーンがある。
電力インターポーザへのＧＰＩＯコネクタ６３０が含まれていてもよい。例えば、計算ノードごとに１つずつ、合計４つの信号が必要である。
管理パネルへの４つデュアル／ペアＵＡＲＴコネクタがあってもよい。例えば、一実施態様では、各計算ノードには２つのＵＡＲＴインタフェースがある。他の実施態様では、各計算ノードが２つ未満のＵＡＲＴインタフェース、または２つを超えるＵＡＲＴインタフェースを有する場合がある。
接続６３０を介してスレッドに電力を供給する電力インターポーザを含めることができる。計算スレッドは、本開示の一実施形態による、ＰＣＩｅ通信を使用して計算ノードにネットワークストレージへの高速アクセスを提供するように構成されたラックアセンブリ内に配置された複数の計算ノードを含み得る。一実施形態では、電力インターポーザは、ラックの１２Ｖバスバーから計算スレッドに電力を供給する。他の実施形態では、４８ボルトなどの他の電圧がラックコンポーネントに電力を供給するために使用される。例えば、より高い電圧（例えば４８ボルト）を電力効率のために使用してもよい。特定の電圧（例えば、１２ボルト）を必要とするコンポーネントの場合、電力インターポーザを使用して電力を変換することができる。例えば、電力インターポーザは、４８ボルト（または他の電圧）を１２ボルトに下げるように変換するための変換ロジック（例えば、ＤＣ－ＤＣコンバータ）を含むことができる。これは、計算ノードならびに補助ハードウェアに電力を供給するために使用される。計算ノードへの電力供給は、スレッドＰＣＩｅスイッチによるＧＰＩＯによって制御できる。各計算ノードには、電力を有効化／無効化する専用の信号が存在し得る。
また、電力インターポーザボードを監視するために、ラック管理制御インタフェースがラック管理コントローラ（ＲＭＣ）に提供される。これにより、電圧、電流、温度などの診断情報が提供される。ラック管理制御インタフェースには電圧及び／または電流情報、及び温度が含まれ得る。
電源ステータス情報は、ＧＰＩＯ信号を使用して管理パネルに送達される。これには、各計算ノードの電力ステータスならびに電力インターポーザの１２Ｖステータスが含まれる。さらに、バス（例えば、１２ボルト）バーインタフェースが提供される。
例えば、電源バスの電源が入っているときに計算スレッドを追加及び／または取り外しするためのホットプラグサポートがあってもよい。例えば、電力は１２ボルトまたはその他のレベルで供給され得る。補助コンポーネントへの電圧はより低い場合があり（例えば、６ボルト未満）、これは電力バス上の１２ボルトから生成することができる。
管理パネルには計算スレッドの前面に配置されたボード／パネルが含まれてもよく、ＬＥＤによってスレッドのステータスを示す。各計算ノードには、制御ステータス情報を提供する２つのＬＥＤがあってもよい。１つ目は、ソフトウェア制御可能なＧＰＩＯ信号を使用して、スレッドＰＣＩｅスイッチから電力を供給される。２つ目のＬＥＤは電力インターポーザボードからのもので、電力ステータス（例えば、電圧レベル）を示す。電力インターポーザボードからのグローバルな電力ステータスは、スレッドの全体的な電力ステータスを示す。
図７は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス７００のコンポーネントを示す。例えば、図７は、本開示の実施形態による、ラックアセンブリ内などの、対応するストリーミングアレイ内に構成された対応する計算スレッドの計算ノードへのネットワークストレージへの高速アクセスを提供するのに適した例示的なハードウェアシステムを示す。このブロック図は、各々が本発明の実施形態を実施するために適した、パーソナルコンピュータ、サーバコンピュータ、ゲームコンソール、モバイル機器、または他のデジタルデバイスを組み込むことができる、またはそれらであり得るデバイス７００を示す。デバイス７００は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）７０２を含む。ＣＰＵ７０２は、１つ以上の同種または異種の処理コアから構成されてもよい。
様々な実施形態によれば、ＣＰＵ７０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、ゲーム実行中のグラフィック処理のために構成されたアプリケーションの、媒体及び双方向エンターテインメントアプリケーションなどのきわめて並列かつ計算集約的なアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用し、実装することができる。
メモリ７０４は、ＣＰＵ７０２とＧＰＵ７１６とが使用するアプリケーション及びデータを記憶する。ストレージ７０６は、アプリケーション及びデータに不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含んでもよい。
ユーザ入力デバイス７０８は、１人以上のユーザからのユーザ入力をデバイス７００に伝達するものであり、その例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオレコーダ／カメラ、及び／またはマイクロフォンがあり得る。ネットワークインタフェース７０９は、デバイス７００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどのワイドエリアネットワークにわたる有線または無線通信を含んでもよい。
音声プロセッサ７１２は、ＣＰＵ７０２、メモリ７０４、及び／またはストレージ７０６によって提供される命令及び／またはデータから、アナログまたはデジタル音声出力を生成するように適合される。ＣＰＵ７０２、ＧＰＵ７１６を含むグラフィックサブシステム、メモリ７０４、データストレージ７０６、ユーザ入力デバイス７０８、ネットワークインタフェース７０９、及びオーディオプロセッサ７１２を含むデバイス７００のコンポーネントは、１つ以上のデータバス７２２を介して接続されている。
グラフィックサブシステム７１４はさらに、データバス７２２及びデバイス７００のコンポーネントと接続される。グラフィックサブシステム７１４は、少なくとも１つのグラフィックプロセシングユニット（ＧＰＵ）７１６及びグラフィックメモリ７１８を含む。グラフィックメモリ７１８は出力画像の各々の画素に対する画素データを記憶するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックメモリ７１８は、ＧＰＵ７１６と同一のデバイスに統合されてもよく、ＧＰＵ７１６と別個のデバイスとして接続されてもよく、及び／またはメモリ７０４内で実装されてもよい。
画素データは、ＣＰＵ７０２からグラフィックメモリ７１８に直接提供されてもよい。代わりに、ＣＰＵ７０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ７１６に提供し、ＧＰＵ７１６は、そこから１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ７０４及び／またはグラフィックメモリ７１８に記憶されてもよい。１つの実施形態では、ＧＰＵ７１６は、シーンに対するジオメトリ、照明、シェーディング、テクスチャリング、動き、及び／またはカメラパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング能力を含む。ＧＰＵ７１６は、シェーダプログラムを実行することが可能な１つ以上のプログラム可能実行ユニットをさらに含むことができる。
グラフィックサブシステム７１４は、グラフィックメモリ７１８から画像の画素データを定期的に出力して、ディスプレイデバイス７１０に表示させる、または投影システム（図示せず）により投影させる。ディスプレイデバイス７１０は、ＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイを含む、デバイス７００からの信号に応答して、視覚情報を表示することが可能な任意のデバイスであってもよい。デバイス７００は、ディスプレイデバイス７１０に、例えば、アナログ信号またはデジタル信号を提供することができる。
他の実施形態では、グラフィックサブシステム７１４は、対応するＣＰＵ上で実行されている単一のアプリケーションのためにグラフィック処理を実行するために組み合わされる複数のＧＰＵデバイスを含む。例えば、複数のＧＰＵは、画像フレームのオブジェクトをレンダリングする前に、インターリーブされる可能性のあるスクリーン領域に対してジオメトリを事前テストすることにより、アプリケーションのジオメトリのマルチＧＰＵレンダリングを実行できる。他の例では、複数のＧＰＵが、フレームレンダリングの代替形式を実行でき、この場合、連続したフレーム期間で、ＧＰＵ１は第１のフレームをレンダリングし、ＧＰＵ２は第２のフレームをレンダリングするなどして、最後のＧＰＵに到達すると、最初のＧＰＵが次のビデオフレームをレンダリングする（例えば、ＧＰＵが２つしかない場合、ＧＰＵ１は第３のフレームをレンダリングする）。つまり、フレームをレンダリングするときにＧＰＵが循環する。
レンダリング操作は重複する可能性があり、それにおいて、ＧＰＵ１が最初のフレームのレンダリングを終了する前にＧＰＵ２が２番目のフレームのレンダリングを開始できる。別の実施態様では、複数のＧＰＵデバイスに、レンダリング及び／またはグラフィックスパイプラインで異なるシェーダー操作を割り当てることができる。マスターＧＰＵがメインのレンダリングと合成を実行している。
例えば、３つのＧＰＵを含むグループでは、マスターＧＰＵ１がメインレンダリング（例えば、第１のシェーダー操作）及び、スレーブＧＰＵ２とスレーブＧＰＵ３からの出力の合成を実行でき、スレーブＧＰＵ２は第２のシェーダー（例えば、川などの流体効果）操作を実行でき、スレーブＧＰＵ３は第３のシェーダー（例えば、粒子の煙）操作を実行でき、マスターＧＰＵ１は、ＧＰＵ１、ＧＰＵ２、及びＧＰＵ３のそれぞれからの結果を合成する。このようにして、異なるＧＰＵを割り当てて、異なるシェーダー操作（旗振り、風、煙の発生、炎など）を実行してビデオフレームをレンダリングできる。さらに別の実施形態では、３つのＧＰＵのそれぞれを、ビデオフレームに対応するシーンの異なるオブジェクト及び／または部分に割り当てることができる。上記の実施形態及び実施態様では、これらの操作は、同じフレーム周期で（同時に並行して）、または異なるフレーム周期で（順次並列に）実行することができる。
したがって、本開示は、ラックアセンブリ内などの、対応するストリーミングアレイ内に構成された対応する計算スレッドの計算ノードに、ネットワークストレージへの高速アクセスを提供するように構成された方法及びシステムについて説明する。
本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされ得る、または組み立てられ得ることを、理解されたい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な消費者向け電気製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。
上記の実施形態を念頭に置いて、本開示の実施形態がコンピュータシステムに格納されたデータを含む様々なコンピュータ実装の動作を使用し得ることを理解されたい。これらの動作は、物理量の物理的操作を必要とする動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。開示の実施形態はまた、これら動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築することができる。または、装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであってもよい。具体的には、本明細書の教示に従って書かれたコンピュータプログラムとともに様々な汎用マシンを使用することができる、あるいは、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合である場合もある。
本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを格納できる任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスを含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
方法動作は特定の順序で説明されたが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他の維持管理動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてもよいことを、理解すべきである。
前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてよい。

Claims (20)

  1. ネットワークアーキテクチャであって、
    ネットワークストレージを有し、
    複数のストリーミングアレイを有し、前記複数のストリーミングアレイの各ストリーミングアレイは複数の計算スレッドを含み、前記複数の計算スレッドの各計算スレッドは１つ以上の計算ノードを含み、
    前記複数のストリーミングアレイのそれぞれの前記各ストリーミングアレイの計算ノードから前記ネットワークストレージへの直接アクセスを提供するように構成された第１のＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを有し、前記第１のＰＣＩｅファブリックは複数のアレイレベルのＰＣＩｅスイッチを含み、前記複数のアレイレベルのＰＣＩｅスイッチの各アレイレベルのＰＣＩｅスイッチは対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、前記ネットワークストレージに通信可能に結合され、
    前記ネットワークストレージは、前記複数のストリーミングアレイによって共有され、
    前記複数のストリーミングアレイの前記各ストリーミングアレイの前記各計算ノードは、複数のゲームアプリケーションの１つ以上のインスタンスを実行するように構成され、
    前記複数のストリーミングアレイの前記対応するストリーミングアレイは、
    前記対応するストリーミングアレイ内の対応する計算スレッドを管理するように構成された、対応するアレイ管理サーバを有し、
    対応するネットワークスイッチを有し、前記対応するネットワークスイッチは、計算スレッド及び計算ノード管理情報をストリーミングするために、イーサネットファブリックを介して前記対応するアレイ管理サーバを介して、前記対応するストリーミングアレイ内の前記計算スレッドの対応する計算ノードから前記ネットワークストレージへの通信を提供し、前記イーサネットファブリックを介した前記通信を、前記ネットワークアーキテクチャの外部にあるネットワーク通信を提供するクラスタスイッチに提供するように構成され、
    前記ネットワークストレージは、ゲームアプリケーションの読み取り専用ゲームコンテンツを記憶し、それにより、前記複数の計算スレッドの対応する計算ノード上で前記ゲームアプリケーションを実行する計算インスタンスの間で前記読み取り専用ゲームコンテンツを共有できるようにする、ネットワークアーキテクチャ。
  2. 前記ネットワークストレージは、
    少なくとも１つのランダムアクセスメモリ（ＲＡＭ）ドライブと、
    少なくとも１つの不揮発性メモリエクスプレス（ＮＶＭｅ）ドライブと、を有する、請求項１に記載のネットワークアーキテクチャ。
  3. 前記イーサネットファブリックは、前記複数のストリーミングアレイの各ネットワークスイッチを前記ネットワークストレージ及び前記クラスタスイッチに通信可能に結合する、請求項１に記載のネットワークアーキテクチャ。
  4. 前記複数のストリーミングアレイの前記対応するストリーミングアレイは、
    第２のＰＣＩｅファブリックを有し、前記第２のＰＣＩｅファブリックは、前記対応するネットワークスイッチ及び前記対応するアレイ管理サーバに対する、前記対応するストリーミングアレイの前記対応する計算スレッドの前記対応する計算ノードの間の直接通信を、低速ストレージワークロードまたはスレッド管理のために提供するように構成される、請求項１に記載のネットワークアーキテクチャ。
  5. 前記対応するアレイ管理サーバは、前記対応するストリーミングアレイ内の１つ以上の対応する計算スレッドの１つ以上の計算ノード上で実行されるクラウドゲームセッションを確立するように構成される、請求項１に記載のネットワークアーキテクチャ。
  6. 前記ストリーミングアレイ内の前記対応する計算スレッドのそれぞれは、
    対応する計算スレッドの１つ以上の対応する計算ノード及び対応するアレイレベルのＰＣＩｅスイッチに通信可能に結合された、対応するスレッドレベルのＰＣＩｅスイッチを有し、
    前記対応するスレッドレベルのＰＣＩｅスイッチは、前記対応するアレイレベルのＰＣＩｅスイッチを介して、前記第１のＰＣＩｅファブリックを通して、前記対応するスレッドの前記１つ以上の対応する計算ノードと前記ネットワークストレージとの間の通信を提供するように構成され、
    前記対応するスレッドレベルのＰＣＩｅスイッチは、スレッド管理のために、前記対応するストリーミングアレイ内の前記計算スレッドのそれぞれと前記対応するアレイ管理サーバとの間の通信を提供するように構成される、請求項１に記載のネットワークアーキテクチャ。
  7. 前記対応するスレッドの前記１つ以上の対応する計算ノードのそれぞれは、前記対応するスレッド上の前記対応するスレッドレベルのＰＣＩｅスイッチとの通信を提供するように構成された対応するＭ．２ポートを有する、請求項６に記載のネットワークアーキテクチャ。
  8. 前記第１のＰＣＩｅファブリックは、前記ネットワークストレージと前記複数のストリーミングアレイの前記計算ノードのうちの少なくとも１つとの間に最大毎秒５ギガバイトの帯域幅を提供する、請求項１に記載のネットワークアーキテクチャ。
  9. ネットワークアーキテクチャであって、
    ネットワークストレージを有し、
    複数のストリーミングアレイを有し、前記複数のストリーミングアレイの各ストリーミングアレイは複数の計算スレッドを含み、前記複数の計算スレッド内の各計算スレッドは１つ以上の計算ノードを含み、
    前記複数のストリーミングアレイのそれぞれの計算ノードから前記ネットワークストレージへの直接アクセスを提供するように構成された第１のＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを有し、前記第１のＰＣＩｅファブリックは複数のアレイレベルのＰＣＩｅスイッチを含み、前記複数のアレイレベルのＰＣＩｅスイッチ内の各アレイレベルのＰＣＩｅスイッチは対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、前記ネットワークストレージに通信可能に結合され、
    計算スレッド及び計算ノード管理情報をストリーミングするために、前記複数のストリーミングアレイの計算スレッドの計算ノードを前記ネットワークストレージに通信可能に結合するように構成されたイーサネットファブリックを有し、
    前記ネットワークストレージは、前記複数のストリーミングアレイによって共有され、
    前記複数のストリーミングアレイの各計算ノードは、複数のゲームアプリケーションの１つ以上のインスタンスを実行するように構成され、
    前記複数のストリーミングアレイの前記対応するストリーミングアレイは、
    前記対応するストリーミングアレイの前記計算スレッドを管理するように構成された、対応するアレイ管理サーバを有し、
    対応するネットワークスイッチを有し、前記対応するネットワークスイッチは、前記計算スレッド及び計算ノード管理情報をストリーミングするために、前記イーサネットファブリックを介して前記対応するアレイ管理サーバを介して、前記対応するストリーミングアレイの前記計算スレッドの前記計算ノードから前記ネットワークストレージへの通信を提供し、前記イーサネットファブリックを介した通信を、前記ネットワークアーキテクチャの外部にあるネットワーク通信を提供するクラスタスイッチに提供するように構成され、
    前記ネットワークストレージは、ゲームアプリケーションの読み取り専用ゲームコンテンツを記憶し、それにより、前記複数の計算スレッドの１つ以上の計算ノード上で前記ゲームアプリケーションを実行する計算インスタンスの間で前記読み取り専用ゲームコンテンツを共有できるようにする、ネットワークアーキテクチャ。
  10. 前記イーサネットファブリックは、前記複数のストリーミングアレイの前記計算スレッドの前記計算ノードを、前記ネットワークアーキテクチャの外部にある前記ネットワーク通信を提供するように構成された前記クラスタスイッチに通信可能に結合するように構成される、請求項９に記載のネットワークアーキテクチャ。
  11. 前記イーサネットファブリックは、前記複数のストリーミングアレイの各ネットワークスイッチを前記ネットワークストレージ及び前記クラスタスイッチに通信可能に結合する、請求項９に記載のネットワークアーキテクチャ。
  12. 前記複数のストリーミングアレイの前記対応するストリーミングアレイは、
    第２のＰＣＩｅファブリックを有し、前記第２のＰＣＩｅファブリックは、前記対応するネットワークスイッチ及び前記対応するアレイ管理サーバに対する、前記対応するストリーミングアレイの前記計算スレッドの前記計算ノードの間の直接通信を、低速ストレージワークロードまたはスレッド管理のために提供するように構成される、請求項９に記載のネットワークアーキテクチャ。
  13. 前記対応するアレイ管理サーバは、前記対応するストリーミングアレイの前記計算スレッドの１つ以上の前記計算ノード上で実行されるクラウドゲームセッションを確立するように構成される、請求項９に記載のネットワークアーキテクチャ。
  14. 前記対応するストリーミングアレイの前記計算スレッドのそれぞれは、
    対応するスレッドの１つ以上の対応する計算ノード及び対応するアレイレベルのＰＣＩｅスイッチに通信可能に結合された、対応するスレッドレベルのＰＣＩｅスイッチを有し、
    前記対応するスレッドレベルのＰＣＩｅスイッチは、前記対応するアレイレベルのＰＣＩｅスイッチを介して、前記第１のＰＣＩｅファブリックを通して、前記１つ以上の対応する計算ノードと前記ネットワークストレージとの間の通信を提供するように構成され、
    前記対応するスレッドレベルのＰＣＩｅスイッチは、スレッド管理のために、前記対応するストリーミングアレイの前記計算スレッドのそれぞれと前記対応するアレイ管理サーバとの間の通信を提供するように構成される、請求項９に記載のネットワークアーキテクチャ。
  15. 前記対応するストリーミングアレイの前記計算スレッドの前記計算ノードのそれぞれは、前記対応するスレッド上の前記対応するスレッドレベルのＰＣＩｅスイッチとの通信を提供するように構成された対応するＭ．２ポートを有する、請求項１４に記載のネットワークアーキテクチャ。
  16. 前記第１のＰＣＩｅファブリックは、前記ネットワークストレージと前記複数のストリーミングアレイの前記計算スレッドの前記計算ノードのうちの少なくとも１つとの間に最大毎秒５ギガバイトの帯域幅を提供する、請求項９に記載のネットワークアーキテクチャ。
  17. 前記ネットワークストレージは、
    少なくとも１つのランダムアクセスメモリ（ＲＡＭ）ドライブと、
    少なくとも１つの不揮発性メモリエクスプレス（ＮＶＭｅ）ドライブと、を有する、請求項９に記載のネットワークアーキテクチャ。
  18. ネットワークアーキテクチャであって、
    ネットワークストレージを有し、
    複数のストリーミングアレイを有し、前記複数のストリーミングアレイ内の各ストリーミングアレイは複数の計算スレッドを含み、前記複数の計算スレッド内の各計算スレッドは１つ以上の計算ノードを含み、
    前記複数のストリーミングアレイのそれぞれの計算ノードから前記ネットワークストレージへの直接アクセスを提供するように構成された第１のＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを有し、前記第１のＰＣＩｅファブリックは複数のアレイレベルのＰＣＩｅスイッチを含み、前記複数のアレイレベルのＰＣＩｅスイッチ内の各アレイレベルのＰＣＩｅスイッチは対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、前記ネットワークストレージに通信可能に結合され、
    計算スレッド及び計算ノード管理情報をストリーミングするために、前記複数のストリーミングアレイの計算スレッドの計算ノードを前記ネットワークストレージに通信可能に結合するように構成されたイーサネットファブリックを有し、
    前記ネットワークストレージは、前記複数のストリーミングアレイによって共有され、
    前記複数のストリーミングアレイの各計算ノードは、複数のゲームアプリケーションの１つ以上のインスタンスを実行するように構成され、
    前記複数のストリーミングアレイの前記対応するストリーミングアレイは、
    前記対応するストリーミングアレイ内の前記計算スレッドを管理するように構成された、対応するアレイ管理サーバを有し、
    対応するネットワークスイッチを有し、前記対応するネットワークスイッチは、前記計算スレッド及び計算ノード管理情報をストリーミングするために、前記イーサネットファブリックを介して前記対応するアレイ管理サーバを介して、前記対応するストリーミングアレイの前記計算スレッドの前記計算ノードから前記ネットワークストレージへの通信を提供し、前記イーサネットファブリックを介した通信を、前記ネットワークアーキテクチャの外部にあるネットワーク通信を提供するクラスタスイッチに提供するように構成され、
    前記対応するアレイ管理サーバは、前記対応するストリーミングアレイの前記計算スレッドの１つ以上の前記計算ノードで実行されるクラウドゲーミングセッションを確立するように構成される、ネットワークアーキテクチャ。
  19. ネットワークストレージを有し、
    複数のストリーミングアレイを有し、前記複数のストリーミングアレイの各ストリーミングアレイは複数の計算スレッドを含み、前記複数の計算スレッド内の各計算スレッドは１つ以上の計算ノードを含み、
    前記複数のストリーミングアレイのそれぞれの計算ノードから前記ネットワークストレージへの直接アクセスを提供するように構成された第１のＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを有し、前記第１のＰＣＩｅファブリックは複数のアレイレベルのＰＣＩｅスイッチを含み、前記複数のアレイレベルのＰＣＩｅスイッチの各アレイレベルのＰＣＩｅスイッチは対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、前記ネットワークストレージに通信可能に結合され、
    計算スレッド及び計算ノード管理情報をストリーミングするために、前記複数のストリーミングアレイの計算スレッドの計算ノードを前記ネットワークストレージに通信可能に結合するように構成されたイーサネットファブリックを有し、
    前記ネットワークストレージは、前記複数のストリーミングアレイによって共有され、
    前記複数のストリーミングアレイの各計算ノードは、複数のゲームアプリケーションの１つ以上のインスタンスを実行するように構成され、
    前記第１のＰＣＩｅファブリックは、前記ネットワークストレージと前記複数のストリーミングアレイの前記計算スレッドの前記計算ノードのうちの少なくとも１つとの間に最大毎秒５ギガバイトの帯域幅を提供する、ネットワークアーキテクチャ。
  20. ネットワークストレージを有し、
    複数のストリーミングアレイを有し、前記複数のストリーミングアレイの各ストリーミングアレイは複数の計算スレッドを含み、前記複数の計算スレッド内の各計算スレッドは１つ以上の計算ノードを含み、
    前記複数のストリーミングアレイのそれぞれの計算ノードから前記ネットワークストレージへの直接アクセスを提供するように構成された第１のＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）ファブリックを有し、前記第１のＰＣＩｅファブリックは複数のアレイレベルのＰＣＩｅスイッチを含み、前記複数のアレイレベルのＰＣＩｅスイッチの各アレイレベルのＰＣＩｅスイッチは対応するストリーミングアレイの計算スレッドの計算ノードに通信可能に結合され、前記ネットワークストレージに通信可能に結合され、
    前記ネットワークストレージは、前記複数のストリーミングアレイによって共有され、
    前記複数のストリーミングアレイのそれぞれの前記計算ノードは、複数のゲームアプリケーションの１つ以上のインスタンスを実行するように構成され、
    前記第１のＰＣＩｅファブリックは、前記ネットワークストレージと前記複数のストリーミングアレイのぞれぞれの前記計算ノードのうちの少なくとも１つとの間に最大毎秒５ギガバイトの帯域幅を提供する、ネットワークアーキテクチャ。
JP2022549013A 2020-02-14 2021-02-12 計算ノードとストレージサーバ間のＰＣＩ Ｅｘｐｒｅｓｓファブリックを介した高速ストレージアクセスを提供するネットワークアーキテクチャ Active JP7242968B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023035545A JP2023071941A (ja) 2020-02-14 2023-03-08 ラックアセンブリ及びネットワークアーキテクチャ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062977138P 2020-02-14 2020-02-14
US62/977,138 2020-02-14
US16/945,635 US11321259B2 (en) 2020-02-14 2020-07-31 Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server
US16/945,635 2020-07-31
PCT/US2021/017894 WO2021163517A1 (en) 2020-02-14 2021-02-12 Network architecture providing high speed storage access through a pci express fabric between a compute node and a storage server

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023035545A Division JP2023071941A (ja) 2020-02-14 2023-03-08 ラックアセンブリ及びネットワークアーキテクチャ

Publications (2)

Publication Number Publication Date
JP2023506585A JP2023506585A (ja) 2023-02-16
JP7242968B2 true JP7242968B2 (ja) 2023-03-20

Family

ID=74867633

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2022549013A Active JP7242968B2 (ja) 2020-02-14 2021-02-12 計算ノードとストレージサーバ間のＰＣＩ Ｅｘｐｒｅｓｓファブリックを介した高速ストレージアクセスを提供するネットワークアーキテクチャ
JP2022549015A Active JP7522204B2 (ja) 2020-02-14 2021-02-13 計算ノードと計算ノードのアレイの中のストレージサーバとの間でのｐｃｉエクスプレスファブリックによる高速ストレージアクセスを提供するネットワークアーキテクチャ
JP2023035545A Pending JP2023071941A (ja) 2020-02-14 2023-03-08 ラックアセンブリ及びネットワークアーキテクチャ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022549015A Active JP7522204B2 (ja) 2020-02-14 2021-02-13 計算ノードと計算ノードのアレイの中のストレージサーバとの間でのｐｃｉエクスプレスファブリックによる高速ストレージアクセスを提供するネットワークアーキテクチャ
JP2023035545A Pending JP2023071941A (ja) 2020-02-14 2023-03-08 ラックアセンブリ及びネットワークアーキテクチャ

Country Status (5)

Country Link
US (5) US11321259B2 (ja)
EP (2) EP4104394A1 (ja)
JP (3) JP7242968B2 (ja)
CN (2) CN115211094B (ja)
WO (2) WO2021163517A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230325343A1 (en) * 2016-07-26 2023-10-12 Samsung Electronics Co., Ltd. Self-configuring ssd multi-protocol support in host-less environment
US11321259B2 (en) * 2020-02-14 2022-05-03 Sony Interactive Entertainment Inc. Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server
US11782833B2 (en) * 2020-03-12 2023-10-10 Samsung Electronics Co., Ltd. System and method of determining available bandwidth in disaggregated tiered cache for cloud content storage
US11765235B2 (en) 2020-03-12 2023-09-19 Samsung Electronics Co., Ltd. System and method of disk sharing for cloud content storage
US11470327B2 (en) * 2020-03-30 2022-10-11 Alibaba Group Holding Limited Scene aware video content encoding
CN113434090B (zh) * 2021-06-30 2023-03-28 同济大学 一种用于高速视频测量的海量数据异步存储方法
KR20230068477A (ko) * 2021-11-10 2023-05-18 주식회사 이노그리드 보드형 컴퓨팅 노드들을 이용한 고성능 클라우드 분리 운영 방법 및 그 시스템
US20230176988A1 (en) * 2021-12-03 2023-06-08 Pixart Imaging Inc. Detection system sending calculated data and raw data
US20230199062A1 (en) * 2021-12-22 2023-06-22 Sony Interactive Entertainment Inc. Data center wide network storage load balancing
CN114553899A (zh) * 2022-01-30 2022-05-27 阿里巴巴（中国）有限公司 一种存储设备
US12045627B2 (en) 2022-03-14 2024-07-23 Sony Interactive Entertainment Inc. Sled level boot management control of compute nodes for context switching using boot controllers
US11930611B2 (en) * 2022-07-29 2024-03-12 Dell Products, L.P. Configurable chassis supporting replaceable hardware accelerator baseboards

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281126A1 (en) 2014-03-31 2015-10-01 Plx Technology, Inc. METHODS AND APPARATUS FOR A HIGH PERFORMANCE MESSAGING ENGINE INTEGRATED WITHIN A PCIe SWITCH
JP2015197805A (ja) 2014-04-01 2015-11-09 株式会社ソニー・コンピュータエンタテインメント プロセッシングシステムおよびマルチプロセッシングシステム
JP2017182791A (ja) 2016-03-07 2017-10-05 廣達電腦股▲ふん▼有限公司 スケーラブルプールＮＶＭｅストレージボックス（ａ ｓｃａｌａｂｌｅ ｐｏｏｌｅｄ ｎｖｍｅ ｓｔｏｒａｇｅ ｂｏｘ）
US20180361237A1 (en) 2007-12-05 2018-12-20 Sony Interactive Entertainment America Llc Method for Multicasting Views of Real-Time Streaming Interactive Video
US20190140838A1 (en) 2018-12-28 2019-05-09 Intel Corporation Technologies for providing certified telemetry data indicative of resources utilizations
WO2019112710A1 (en) 2017-12-05 2019-06-13 Sony Interactive Entertainment America Llc Ultra high-speed low-latency network storage
US10409524B1 (en) 2018-04-25 2019-09-10 Advanced Micro Devices, Inc. Dynamic memory traffic optimization in multi-client systems

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7237036B2 (en) * 1997-10-14 2007-06-26 Alacritech, Inc. Fast-path apparatus for receiving data corresponding a TCP connection
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US7031838B1 (en) * 2003-03-25 2006-04-18 Integrated Environmental Services. Inc. System and method for a cradle-to-grave solution for investigation and cleanup of hazardous waste impacted property and environmental media
JP4725719B2 (ja) 2005-03-28 2011-07-13 日本電気株式会社 ブレードサーバシステムおよびその管理方法
US7984454B2 (en) 2006-12-19 2011-07-19 International Business Machines Corporation Migration of single root stateless virtual functions
US8392661B1 (en) * 2009-09-21 2013-03-05 Tilera Corporation Managing cache coherence
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
US8830228B2 (en) * 2010-12-20 2014-09-09 Microsoft Corporation Techniques for enabling remote management of servers configured with graphics processors
US9432298B1 (en) * 2011-12-09 2016-08-30 P4tents1, LLC System, method, and computer program product for improving memory systems
US9141568B2 (en) * 2011-08-25 2015-09-22 Apple Inc. Proportional memory operation throttling
US9609782B2 (en) * 2013-01-15 2017-03-28 Intel Corporation Rack assembly structure
US9075557B2 (en) * 2013-05-15 2015-07-07 SanDisk Technologies, Inc. Virtual channel for data transfers between devices
CN103281260A (zh) * 2013-05-20 2013-09-04 华为技术有限公司 支持PCIe的系统、设备及其资源分配方法
US9224187B2 (en) * 2013-09-27 2015-12-29 Apple Inc. Wavefront order to scan order synchronization
US20170105313A1 (en) * 2015-10-10 2017-04-13 Ebullient, Llc Multi-chamber heat sink module
US10489328B2 (en) 2015-09-25 2019-11-26 Quanta Computer Inc. Universal sleds server architecture
US10929232B2 (en) 2017-05-31 2021-02-23 Intel Corporation Delayed error processing
US20190068466A1 (en) * 2017-08-30 2019-02-28 Intel Corporation Technologies for auto-discovery of fault domains
CN107645457A (zh) * 2017-10-19 2018-01-30 济南浪潮高新科技投资发展有限公司 一种PCIe交换机系统和方法
GB2569604B (en) * 2017-12-21 2020-06-03 Advanced Risc Mach Ltd Controlling reading and writing of data streams in data processing systems
US10877792B2 (en) * 2017-12-29 2020-12-29 Virtual Instruments Corporation Systems and methods of application-aware improvement of storage network traffic
KR102637166B1 (ko) * 2018-04-17 2024-02-16 삼성전자주식회사 대용량 데이터를 저장하는 네트워크 스토리지 장치
US20200364303A1 (en) * 2019-05-15 2020-11-19 Nvidia Corporation Grammar transfer using one or more neural networks
US11311800B2 (en) * 2019-08-09 2022-04-26 Sony Interactive Entertainment LLC Systems implementing high-speed data communication fabric for cloud gaming data storage and retrieval
US20200021492A1 (en) 2019-09-23 2020-01-16 Intel Corporation Technologies for storage cluster rebuild service traffic management
US11321259B2 (en) * 2020-02-14 2022-05-03 Sony Interactive Entertainment Inc. Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180361237A1 (en) 2007-12-05 2018-12-20 Sony Interactive Entertainment America Llc Method for Multicasting Views of Real-Time Streaming Interactive Video
US20150281126A1 (en) 2014-03-31 2015-10-01 Plx Technology, Inc. METHODS AND APPARATUS FOR A HIGH PERFORMANCE MESSAGING ENGINE INTEGRATED WITHIN A PCIe SWITCH
JP2015197805A (ja) 2014-04-01 2015-11-09 株式会社ソニー・コンピュータエンタテインメント プロセッシングシステムおよびマルチプロセッシングシステム
JP2017182791A (ja) 2016-03-07 2017-10-05 廣達電腦股▲ふん▼有限公司 スケーラブルプールＮＶＭｅストレージボックス（ａ ｓｃａｌａｂｌｅ ｐｏｏｌｅｄ ｎｖｍｅ ｓｔｏｒａｇｅ ｂｏｘ）
WO2019112710A1 (en) 2017-12-05 2019-06-13 Sony Interactive Entertainment America Llc Ultra high-speed low-latency network storage
US10409524B1 (en) 2018-04-25 2019-09-10 Advanced Micro Devices, Inc. Dynamic memory traffic optimization in multi-client systems
US20190140838A1 (en) 2018-12-28 2019-05-09 Intel Corporation Technologies for providing certified telemetry data indicative of resources utilizations

Also Published As

Publication number Publication date
WO2021163646A1 (en) 2021-08-19
EP4104395A1 (en) 2022-12-21
US11321259B2 (en) 2022-05-03
CN115211095A (zh) 2022-10-18
US12007924B2 (en) 2024-06-11
US20220253394A1 (en) 2022-08-11
WO2021163517A1 (en) 2021-08-19
US11645218B2 (en) 2023-05-09
CN115211094A (zh) 2022-10-18
JP2023071941A (ja) 2023-05-23
CN115211094B (zh) 2024-06-14
US20230273889A1 (en) 2023-08-31
US20240330219A1 (en) 2024-10-03
JP2023506585A (ja) 2023-02-16
EP4104394A1 (en) 2022-12-21
US20210255979A1 (en) 2021-08-19
JP2023524342A (ja) 2023-06-12
US20210255970A1 (en) 2021-08-19
JP7522204B2 (ja) 2024-07-24

Similar Documents

Publication Publication Date Title
JP7242968B2 (ja) 計算ノードとストレージサーバ間のＰＣＩ Ｅｘｐｒｅｓｓファブリックを介した高速ストレージアクセスを提供するネットワークアーキテクチャ
US9779463B2 (en) Local management for intermediary graphics rendition
CN107231815B (zh) 用于图形渲染的系统和方法
CN111420397A (zh) 用于云游戏的游戏状态保存、传输和恢复
CN104735123B (zh) 用于云计算的大容量存储虚拟化
EP4143688B1 (en) System and method for efficient multi-gpu execution of kernels by region based dependencies
US20150273329A1 (en) Game Providing System
US20180095799A1 (en) Method for managing graphic cards in a computing system
WO2023107283A1 (en) Network storage game allocation based on artificial intelligence
Li et al. The implementation of a GPU-accelerated virtual desktop infrastructure platform
US12045627B2 (en) Sled level boot management control of compute nodes for context switching using boot controllers
CN115913953A (zh) 一种云资源加速方法、装置及其介质
US20230199062A1 (en) Data center wide network storage load balancing
US20240226730A9 (en) Scalable data center platform for cloud gaming and metaverse
KR20110039115A (ko) 멀티유저 컴퓨팅 시스템
KR20110086792A (ko) 멀티유저 컴퓨터 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150