TWI793654B - 雲端遊戲系統及操作雲端遊戲系統之方法 - Google Patents

雲端遊戲系統及操作雲端遊戲系統之方法 Download PDF

Info

Publication number
TWI793654B
TWI793654B TW110123542A TW110123542A TWI793654B TW I793654 B TWI793654 B TW I793654B TW 110123542 A TW110123542 A TW 110123542A TW 110123542 A TW110123542 A TW 110123542A TW I793654 B TWI793654 B TW I793654B
Authority
TW
Taiwan
Prior art keywords
data
cloud
server
game
storage
Prior art date
Application number
TW110123542A
Other languages
English (en)
Other versions
TW202203214A (zh
Inventor
羅洛夫 柯倫勃德
Original Assignee
美商索尼互動娛樂有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202203214A publication Critical patent/TW202203214A/zh
Application granted granted Critical
Publication of TWI793654B publication Critical patent/TWI793654B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Pinball Game Machines (AREA)

Abstract

一視訊遊戲在一雲端遊戲伺服器上執行以供一使用者玩。該使用者之使用者資料儲存在一雲端儲存伺服器中。一管理伺服器接收由該視訊遊戲發出之一資料存取請求。該資料存取請求識別儲存在該雲端儲存伺服器中之經請求使用者資料。該經請求使用者資料自該雲端儲存伺服器內之一較低效能資料儲存裝置複製至該管理伺服器內之一高速資料儲存裝置中。該高速資料儲存裝置以比該雲端儲存伺服器內之該資料儲存裝置更高之一資料速率及更低之一延時操作。該管理伺服器中之該高速資料儲存裝置用於實現該視訊遊戲之該資料存取請求，而非使用該雲端儲存伺服器中之該較低效能資料儲存裝置來實現該資料存取請求。

Description

雲端遊戲系統及操作雲端遊戲系統之方法
本發明係有關用於雲端遊戲之高速保存資料儲存。
多年來，視訊遊戲產業已發生諸多變化。隨著計算能力已擴大，視訊遊戲之開發者同樣已創造利用不斷增長之計算能力的遊戲軟體。為此，視訊遊戲開發者一直在編寫結合複雜運算及數學以產生一非常逼真之遊戲體驗的遊戲。
除了適應不斷擴大之計算能力外，遊戲開發者亦正在開發增加使用者與遊戲系統之間之互動的線上遊戲。互動式線上遊戲為一使用者提供透過網際網路與其他使用者互動地對戰或與其他使用者一起互動地玩遊戲並擷取此等互動之能力。此外，隨著基於雲端之計算的增長趨勢，遊戲開發者正在開發新的方式來玩現有傳統遊戲，且 藉由利用增加之計算能力及增加之使用者互動性來開發新遊戲。基於雲端之計算系統可包含一基於雲端之處理伺服器，該基於雲端之處理伺服器執行一遊戲應用程式，且與存在於一遊戲玩家之一位置處的一遠端用戶端系統進行通信，其中，遠端用戶端系統可經配置以自遊戲玩家接收輸入且在一顯示器上呈現視訊以供遊戲玩家觀看。本發明正係在此背景下產生。
在一例示性實施例中，揭示一種雲端遊戲系統。該雲端遊戲系統包含一雲端遊戲伺服器，該雲端遊戲伺服器經配置以根據自一使用者之一控制器裝置接收之輸入來執行一視訊遊戲。雲端遊戲伺服器經配置以指示將反映使用者玩視訊遊戲之一視訊串流傳輸至使用者之一本地計算系統。雲端遊戲系統亦包含一雲端儲存伺服器。雲端儲存伺服器包含一資料儲存裝置，該資料儲存裝置用於儲存使用者之使用者資料。使用者資料包含記錄使用者玩視訊遊戲之資料。雲端遊戲系統亦包含一管理伺服器，該管理伺服器與雲端遊戲伺服器及雲端儲存伺服器兩者進行資料通信。管理伺服器包含一高速資料儲存裝置，該高速資料儲存裝置以比雲端儲存伺服器內之資料儲存裝置更高之一資料速率及更低之一延時操作。管理伺服器經程式化以接收由在雲端遊戲伺服器上執行之視訊遊戲發出的一資料存取請求。資料存取請求識別儲存在雲端儲存伺服器內之 資料儲存裝置中的經請求資料。管理伺服器經程式化以將經請求資料自雲端儲存伺服器內之資料儲存裝置複製至高速資料儲存裝置中。管理伺服器經程式化以使用高速資料儲存裝置來回應資料存取請求，而非使雲端儲存伺服器來回應資料存取請求。
在一例示性實施例中，揭示一種用於操作一雲端遊戲系統之方法。該方法包含根據自一使用者之一控制器裝置接收之輸入在一雲端遊戲伺服器上執行一視訊遊戲。該方法亦包含操作雲端遊戲伺服器以指示將反映使用者玩視訊遊戲之一視訊串流傳輸至使用者之一本地計算系統。該方法亦包含將使用者之使用者資料儲存在一雲端儲存伺服器中。使用者資料包含記錄使用者玩視訊遊戲之資料。該方法亦包含在一管理伺服器處接收一資料存取請求。資料存取請求由在雲端遊戲伺服器上執行之視訊遊戲發出。資料存取請求識別儲存在雲端儲存伺服器內之一資料儲存裝置中的經請求資料。該方法亦包含將經請求資料自雲端儲存伺服器內之資料儲存裝置複製至管理伺服器內之一高速資料儲存裝置中。高速資料儲存裝置以比雲端儲存伺服器內之資料儲存裝置更高之一資料速率及更低之一延時操作。該方法亦包含使用管理伺服器中之高速資料儲存裝置來回應資料存取請求，而非使雲端儲存伺服器來回應資料存取請求。
100:雲端遊戲系統
101:雲端遊戲伺服器機架
103-1:雲端遊戲伺服器
103-N:雲端遊戲伺服器
105-1:管理伺服器
105-X:管理伺服器
107:儲存伺服器
107A:資料儲存裝置
109:雲端儲存伺服器
109-1:雲端儲存伺服器
109-Y:雲端儲存伺服器
111:使用者資料
113:遊戲資料
115:遊戲可執行檔案
117:網路儲存協定
119:高速資料儲存裝置
120:本地計算系統
121:使用者
123:網路
125:遊戲控制器
126:顯示裝置
127:本地遊戲控制台
128:加密狗
305:PCIe(周邊組件互連快速)交換機
307:PCIe鏈路
311:根複合體
313:PCIe埠
315:PCIe埠
316:PCIe埠
317:根複合體
319:PCIe埠
321:NTB
323:電腦記憶體
325:CPU
327:內部資料匯流排
329:GPU
331:儲存CPU
333:解密/加密引擎
335:解壓/壓縮引擎
337:電腦記憶體
339DMA:控制器
341:NVMe SSD
343:PCIe鏈路
345:PCIe埠
347:SATA控制器
349:PCIe鏈路
351:PCIe埠
353:HDD
355:啟用PCIe之組件裝置
357:PCIe埠
359:PCIe鏈路
361:線/連接
363:線/連接
365:CPU
367:內部資料匯流排
369:GPU
371:NVMe SSD
373:NIC
375:門鈴暫存器
377:電腦記憶體323的指定部分
379:箭頭
381:輸出記憶體管理單元(IOMMU)
383:IOMMU
387-1:網路介面卡(NIC)
387-Y:NIC
389-1:HDD
389-Y:HDD
390:雲端儲存系統
392:連接
393:NIC
394:連接
401:操作
403:操作
405:操作
407:操作
409:操作
411:操作
[圖1]展示根據一些實施例之一雲端遊戲系統。
[圖2]展示根據一些實施例之如何在雲端遊戲伺服器之用於存取經傳送資料的資料路徑API呼叫之前使用雲端遊戲伺服器之控制路徑API呼叫來觸發將資料自雲端儲存伺服器中之較慢資料儲存裝置傳送至管理伺服器中之一高速資料儲存裝置之一過程圖示。
[圖3]展示根據一些實施例之雲端遊戲伺服器及管理伺服器之一些內部組件的一例示性圖示。
[圖4]展示根據一些實施例之用於操作雲端遊戲系統之方法的一流程圖。
在以下描述中，闡述許多具體細節以便提供對本發明之一透徹理解。然而，對於熟習此項技術者顯而易見的是，可在沒有此等具體細節中之一些或全部之情況下實踐本發明之實施例。在其他情況下，尚未詳細描述眾所周知之過程操作，以免不必要地使本發明變得模糊。
下一代視訊遊戲控制台具有一極快資料儲存解決方案，諸如NVMe(非揮發性記憶體快速)SSD(固態磁碟機)，其比當前可用資料儲存解決方案(諸如HDD(硬碟機))要快得多。下一代視訊遊戲控制台之極快資料儲存解決方案對雲端遊戲提出挑戰，雲端遊戲依賴共用儲存伺服器來儲存遊戲資料以及使用者資料，例如用於保存遊戲。 在習知雲端遊戲系統中，使用者資料通常儲存在一雲端儲存解決方案中，諸如儲存在一雲端儲存伺服器中，該雲端儲存伺服器以HDD級別之資料儲存效能操作以便降低成本。然而，隨著下一代遊戲控制台之出現，至少需要NVMe級別之資料儲存效能來滿足遊戲控制台頭銜(視訊遊戲)之資料存取預期。
本文中揭示應對為線上視訊遊戲執行提供NVMe級別之資料儲存效能的挑戰同時亦繼續使用具成本效益之HDD技術來儲存與線上視訊遊戲相關聯之使用者資料的系統及方法。應理解，如本文使用之術語線上視訊遊戲指代由一雲端計算系統提供給一用戶端計算裝置以供一使用者在該用戶端計算裝置上玩之一視訊遊戲。如本文所提及之線上視訊遊戲可為一單玩家視訊遊戲或一多玩家視訊遊戲。本文揭示之系統及方法的一原理係在執行一線上視訊遊戲之一雲端遊戲伺服器與一雲資料儲存解決方案之間提供緊密資料通信，在該雲資料儲存解決方案中，執行線上視訊遊戲當前所需之資料儲存在一管理伺服器內之一快速資料儲存裝置/系統中，同時非執行線上視訊遊戲急需之保存資料及其他遊戲相關資料儲存在較慢但更具成本效益之雲端儲存伺服器中。
圖1展示根據一些實施例之一雲端遊戲系統100。雲端遊戲系統100包含一雲端遊戲伺服器機架101，該雲端遊戲伺服器機架包含多個(N個)雲端遊戲伺服器103-1至103-N。在一些實施例中，雲端遊戲伺服器103-1 至103-N之數量(N)可高達100個，或甚至更多。雲端遊戲伺服器機架101亦包含多個(X個)管理伺服器105-1至105-X及一或多個儲存伺服器107。儲存伺服器107包含大量資料儲存裝置107A，諸如HDD及/或SSD。儲存伺服器107儲存可用於在雲端遊戲系統100上玩之所有視訊遊戲。每個管理伺服器105-1至105-X負責管理一雲端遊戲會話。而且，一給定管理伺服器105-1至105-X可負責同時管理多個雲端遊戲會話。在一些實施例中，每個管理伺服器105-1至105-X操作以：在需要時為一或多個雲端遊戲伺服器103-1至103-N上電，將一經請求視訊遊戲自儲存伺服器107加載至雲端遊戲伺服器103-1至103-N中之一給定者，開始在雲端遊戲伺服器103-1至103-N中之給定者上執行經請求視訊遊戲，使使用者登錄雲端遊戲伺服器103-1至103-N中之給定者，及自一雲端儲存伺服器109為登錄使用者掛載使用者資料111，以及其他操作。
在一些實施例中，儲存伺服器107可以一儲存配置替代，在該儲存配置中，藉由為HDD及/或SSD配備一網路介面卡(NIC)及一小型中央處理單元(CPU)來將HDD及/或SSD變成微型伺服器。此種儲存配置之一實例係一嵌入式SSD(ESSD)。例如，在一些ESSD中，一記憶體控制器積體電路(IC)晶片在一覆晶封裝過程中使用一球閘陣列(BGA)格式在一單個封裝中與一SSD組合在一起。在一些實施例中，包含IC晶片及SSD之單個封裝可直接安裝至一印刷電路板(主板)，而無需使用一模組連接器。當然，應 理解，在各種實施例中，存在可替代儲存伺服器107之諸多可能配置的ESSD。使用ESSD來代替儲存伺服器107之一個動力係，由於儲存資料通信變得比網路資料通信更快，傳統儲存伺服器不再能很好地擴展。在一些實施例中，當使用一ESSD儲存配置來代替儲存伺服器107時，一遊戲可跨越多個ESSD。在此等實施例中，雲端遊戲伺服器103-1至103-N將需要針對遊戲之不同部分接觸不同磁碟機(不同ESSD)。而且，在一些實施例中，ESSD之使用可擴展至雲端儲存伺服器109。在此等實施例中，將有必要具有諸多ESSD之叢集，其中，管理伺服器105-1至105-X用於對雲端遊戲伺服器103-1至103-N隱藏基於ESSD之雲端儲存伺服器109的實施細節。
在雲端遊戲(或線上遊戲)中，一使用者(遊戲玩家)121操作一本地計算系統120以透過一網路123(諸如網際網路)登錄雲端遊戲系統100，且玩一線上視訊遊戲，該線上視訊遊戲在雲端遊戲伺服器103-1至103-N中之一者或多者上遠端地執行。在一些實施例中，使用者121透過管理伺服器105-1至105-X中之一者登錄雲端遊戲系統100。然而，應理解，登錄使用者121涉及各種雲端服務。例如，涉及以下雲端服務：用於鑑認使用者121、用於確保使用者121具有一足夠品質之網際網路連接，以及用於查找使用者121附近之使用者121可登錄之一可用伺服器。在一些實施例中，本地計算系統120包含一遊戲控制器125及一顯示裝置126(諸如電視或監視器)。在一些實施例 中，本地計算系統120包含連接至顯示裝置126之一加密狗128，其中，加密狗128經配置以啟用遊戲控制器125與顯示裝置126之間之資料通信，使得顯示裝置126之一網路介面控制器(NIC)可用於將信號自遊戲控制器125傳輸至網路123。在一些實施例中，本地計算系統120亦包含一本地遊戲控制台127。在此等實施例中，可使用本地遊戲控制台127之一NIC，透過本地遊戲控制台127將由遊戲控制器125產生之信號傳輸至網路123。而且，在一些實施例中，遊戲控制器125可透過一區域網路(諸如一WIFI網路)將信號直接傳達至網路123。而且，在一些實施例中，使用者121可在除本地計算系統120之外之一本地計算裝置上玩線上視訊遊戲。例如，在一些實施例中，使用者121可在諸如一蜂巢式電話、一平板電腦、一膝上型電腦、一智慧型汽車系統等之一行動計算裝置上玩線上視訊遊戲。而且，在一些實施例中，使用者121可在一桌上型計算系統上玩線上視訊遊戲。為了便於描述，本文對本地計算系統120之引用亦傳達對使用者121可在其上玩線上視訊遊戲之任何其他計算裝置之引用。
此外，在各種實施例中，資料(諸如視訊串流資料或音訊資料或觸覺回饋資料)透過網路123自雲端遊戲系統100傳達至本地計算系統120。在一些實施例中，資料透過網路123自雲端遊戲系統100傳達至顯示裝置126。在一些實施例中，資料透過網路123自雲端遊戲系統100傳達至本地遊戲控制台127，且自本地遊戲控制台127傳達至 顯示裝置126。而且，在一些實施例中，資料透過網路123自雲端遊戲系統100傳達至遊戲控制器125。
在玩遊戲期間，使用者121產生遊戲命令，該等遊戲命令透過網路123傳輸至雲端遊戲伺服器103-1至103-N。在一些實施例中，使用者121使用遊戲控制器125來產生遊戲命令，該等遊戲命令以信號形式自遊戲控制器125傳輸至網路123且傳輸至雲端遊戲伺服器103-1至103-N上。在一些實施例中，遊戲命令以信號形式自遊戲控制器125傳輸至本地遊戲控制台127或顯示裝置126，遊戲命令透過網路123自該本地遊戲控制台或該顯示裝置傳輸至雲端遊戲伺服器103-1至103-N。在各種實施例中，以信號形式將遊戲命令自遊戲控制器125傳輸至網路123可透過一有線網路連接或一無線網路連接或其組合來進行。雲端遊戲伺服器103-1至103-N根據自使用者121接收之遊戲命令執行視訊遊戲以產生反映使用者玩視訊遊戲之一視訊串流。視訊串流透過網路123自雲端遊戲伺服器103-1至103-N傳輸至使用者121之本地計算系統120以顯示在顯示裝置126上。
雲端遊戲伺服器103-1至103-N使用一網路儲存協定117自儲存伺服器107加載所有遊戲資料113及遊戲可執行檔案115。在一些實施例中，網路儲存協定117利用區塊儲存，諸如iSCSI(內部小型電腦系統介面)等。在一些實施例中，網路儲存協定利用檔案儲存，諸如NFS(網路檔案系統)或CIFS(通用網際網路檔案系統)等。在一些實施例中，雲端遊戲伺服器103-1至103-N可能受限於受支援之網 路儲存協定117。例如，在一些實施例中，由於缺少一軟體驅動程式，雲端遊戲伺服器103-1至103-N可能受限於受支援之網路儲存協定117。或者，在一些實施例中，由於一些網路儲存協定使用太多資源，諸如CPU使用及/或記憶體使用，故雲端遊戲伺服器103-1至103-N可能受限於受支援之網路儲存協定117。在一些實施例中，由於雲端遊戲伺服器103-1至103-N可能受限於受支援之網路儲存協定117，故雲端遊戲伺服器103-1至103-N對使用者資料111之存取可透過管理伺服器105-1至105-X進行，其中，管理伺服器105-1至105-X充當一代理。在此等實施例中，管理伺服器105-1至105-X自雲端儲存伺服器109掛載使用者資料111，且使用由雲端遊戲伺服器103-1至103-N支援之一資料儲存協定來將使用者資料111暴露給雲端遊戲伺服器103-1至103-N。
在各種實施例中，雲端儲存伺服器109藉由各種資料儲存協定(諸如藉由對象儲存、或檔案儲存、或區塊儲存、或其他資料儲存協定)來暴露資料儲存。管理伺服器105-1至105-X經配備以與雲端儲存伺服器109使用之任何資料儲存協定介接，無論其係對象儲存、檔案儲存或區塊儲存，還係其他資料儲存協定。管理伺服器105-1至105-X亦經配置以藉由各種資料儲存協定(諸如對象儲存、檔案儲存或區塊儲存，或其他資料儲存協定)來暴露其自己之資料儲存。且，管理伺服器105-1至105-X暴露其自己之資料儲存所採用之資料儲存協定可與雲端儲存伺服器109暴露其自己之資料儲存所採用之資料儲存協定相同 或不同。例如，在一些實施例中，管理伺服器105-1至105-X經程式化以將來自雲端儲存系統109之一對象儲存掛載為一檔案系統，且繼而將經掛載檔案系統呈現給雲端遊戲伺服器103-1至103-N。類似地，在另一例示性實施例中，管理伺服器105-1至105-X經程式化以將來自雲端儲存系統109之一區塊儲存掛載為一檔案系統，且繼而將經掛載檔案系統呈現給雲端遊戲伺服器103-1至103-N之一NFS協定。在一些實施例中，區塊儲存係基於Ceph RBD(RADOS(可靠之自主分散式對象儲存)區塊裝置)。然而，在其他實施例中，區塊儲存可基於任何類型之區塊資料儲存協定。
使管理伺服器105-1至105-X充當雲端遊戲伺服器103-1至103-N與雲端儲存伺服器109之間之資料路徑中之一代理可在實現由雲端遊戲伺服器103-1至103-N發出之資料存取請求時增加一些延時。然而，使管理伺服器105-1至105-X充當雲端遊戲伺服器103-1至103-N與雲端儲存伺服器109之間之資料路徑中之一代理在如何管理雲端儲存伺服器109與雲端遊戲伺服器103-1至103-N之間之資料傳送方面提供更大之靈活性。例如，在一些實施例中，管理伺服器105-1至105-X可操作以在需要之情況下緩衝由雲端遊戲伺服器103-1至103-N發出之資料輸入/輸出請求及/或快取資料。例如，若雲端儲存伺服器109由於某種原因忙碌或不可立即使用，則管理伺服器105-1至105-X可藉由緩衝由雲端遊戲伺服器103-1至103-N發出之資料輸入/輸出請求來吸收雲端儲存伺服器109之此可用性缺乏。
習知地，雲端遊戲伺服器103-1至103-N與管理伺服器105-1至105-X/雲端儲存伺服器109之間之互動在某種程度上解耦。例如，向雲端遊戲伺服器103-1至103-N呈現一網路檔案系統，且一些網路儲存軟體管理雲端遊戲伺服器103-1至103-N之資料讀取及寫入操作。在此種情況下，管理伺服器105-1至105-X僅涉及掛裝來自雲端儲存伺服器109之資料，但不知道在雲端遊戲伺服器103-1至103-N上執行之視訊遊戲正在讀取或寫入哪些資料，或視訊遊戲正在存取哪些資料。
下一代遊戲控制台將使用快速NVMe資料儲存磁碟機，該快速NVMe資料儲存磁碟機以每秒4-5千兆位元組(GB/s)之一資料速率操作。作為比較，如當前在雲端儲存系統109中使用之一2.5英寸HDD之峰值資料速率為每秒100兆位元組(MB/s)。而且，HDD之延時比NVMe資料儲存磁碟機高得多。例如，一典型HDD延時在自約10毫秒延伸至約20毫秒之範圍內，而一典型NVMe資料儲存磁碟機延時小於約0.1毫秒。隨著儲存效能不斷提高，反映在視訊遊戲程式化中之對視訊遊戲可存取資料儲存之快速程度的期望亦增加。視訊遊戲通常對資料儲存效能作出假設。若實際資料儲存效能與視訊遊戲所假設之資料儲存效能相差太大，則視訊遊戲可能崩潰或在視訊遊戲內可能發生某種其他未定義行為。
在一些實施例中，在本地遊戲控制台127上使用/執行之相同視訊遊戲亦儲存在儲存伺服器107中且由 雲端遊戲伺服器103-1至103-N在雲端遊戲中執行，通常無需修改。此等視訊遊戲係使用基於在具有更快儲存解決方案之本地遊戲控制台127上執行之視訊遊戲的效能假設(尤其係關於資料讀取及寫入操作)來開發。因此，當在雲端遊戲伺服器103-1至103-N上執行相同視訊遊戲時，為雲端遊戲伺服器103-1至103-N實施之資料儲存解決方案的效能應實質上匹配於或超過本地遊戲控制台127上可用之本地資料儲存解決方案的效能。
在雲端遊戲系統100中實施之資料儲存解決方案需要更新以跟上下一代視訊遊戲之資料讀取及寫入效能預期，如在下一代本地遊戲控制台127上實施之極快資料儲存解決方案所設定。在一些實施例中，可更新現有雲端儲存伺服器109以使用一快速NVMe儲存解決方案。然而，此方法代價高昂。因此，一經平衡解決方案之一目的係保持資料儲存在雲端儲存伺服器109中之效能受限之HDD上以降低費用，同時亦確保視訊遊戲當前需要之資料可透過管理伺服器105-1至105-X內之快速儲存而可用。此目的可藉由雲端遊戲伺服器103-1至103-N及雲端儲存解決方案之間之密切協作來實現，此本質上係對雲端遊戲伺服器103-1至103-N與管理伺服器105-1至105-X/雲端儲存伺服器109之間之互動的習知解耦之一逆轉。在一些實施例中，雲端遊戲伺服器103-1至103-N與雲端儲存解決方案之間之密切協作將涉及掛鉤至由在雲端遊戲伺服器103-1至103-N上執行之視訊遊戲呼叫之檔案系統API(應用程式設 計介面)中，以便獲得關於視訊遊戲當前正在存取哪些資料、視訊遊戲接下來/即將存取哪些資料以及何時使用特定資料完成視訊遊戲之資訊。
檔案系統存取API出於一特定原因在一特定時間觸發資料存取發生。各種作業系統遵循POSIX(便攜式作業系統介面)標準，該等標準定義諸多作業系統概念(包括檔案系統存取)之API。用於檔案系統存取之四種最常見POSIX API係「打開」、「關閉」、「讀取」及「寫入」。「打開」API用於打開一檔案。「關閉」API用於關閉檔案，且在資料尚未寫回資料儲存裝置之情況下，觸發將資料寫回至資料儲存裝置。「讀取」API用於讀取資料。「寫入」API用於寫入資料。「打開」及「關閉」API被視為控制路徑API，其係用於獲得檔案存取權限或修改權限之API。「讀取」及「寫入」API被視為資料路徑API，其係用於存取或修改資料之API。
在一些實施例中，視訊遊戲控制台API利用POSIX API，但具有一些增添。在一常規個人電腦或伺服器電腦上，通常具有一單個資料儲存裝置(諸如一HDD或SSD)，具有一或多個分區，且每個分區均配置有一檔案系統。一視訊遊戲控制台之儲存系統以類似於個人電腦或伺服器電腦之一方式配置。然而，在遊戲控制台上，出於安全及使用者隔離之原因，保存資料及其他使用者資料通常儲存在保存資料磁碟鏡像中，其中，對於一視訊遊戲，每個保存資料磁碟鏡像對應於一單獨視訊遊戲保存槽。每個 保存資料磁碟鏡像均具有其自己之檔案系統，該檔案系統在使用前需要掛載，在使用後需要卸載。「掛載」操作及「卸載」操作由被視為控制路徑API之各自API執行。因此，一視訊遊戲控制台中之一資料存取流程的一實例如下：1)(可選，根據需要)創建保存資料磁碟鏡像，2)掛載保存資料磁碟鏡像，3)打開檔案，4)自檔案讀取資料及/或向檔案寫入資料，5)關閉檔案，及6)卸載保存資料磁碟鏡像。
一視訊遊戲中資料存取流之效能關鍵部分位於使用「讀取」及「寫入」API之資料路徑中。在一資料「讀取」操作之情況下，視訊遊戲可能預期在一定時間量內將資料傳遞回，以便支援視訊遊戲之持續正確執行。類似地，在一資料「寫入」操作之情況下，視訊遊戲可能預期在一定時間量內寫入資料，以便支援視訊遊戲之持續正確執行。若儲存解決方案無法在所需時間量內執行資料「讀取」及/或「寫入」操作，則在視訊遊戲之執行內可能發生壞事。此等可能發生之壞事的確切類型取決於視訊遊戲之設計及視訊遊戲代碼之編寫方式。此等可能發生之壞事的類型之一些實例包含視訊遊戲之崩潰、視訊遊戲內之未定義行為及/或視訊遊戲內之卡頓等。
當視訊遊戲呼叫資料「讀取」API或資料「寫入」API時，視訊遊戲將一或多個旗標傳遞給經呼叫API。此等旗標可經設定以控制經呼叫API之執行方式。一視訊遊戲中之資料讀取及資料寫入行為均取決於視訊遊戲 傳遞給經呼叫API之標誌及視訊遊戲之結構化方式。例如，在一些視訊遊戲中，資料讀取及資料寫入操作可經標記為同步，此意指資料「讀取」API及資料「寫入」API將阻止持續視訊遊戲執行，直至資料讀取及資料寫入操作完成。若編寫一視訊遊戲以自進行遊戲呈現之一段代碼呼叫同步資料讀取或資料寫入，則每當由於一緩慢儲存裝置而導致讀取或寫入操作需要更長之時間來完成時，視訊遊戲便可能速度變慢或卡頓。然而，若視訊遊戲將一資料寫入操作標記為異步，此通常針對資料寫入操作進行，則視訊遊戲會將待寫入資料交遞給作業系統並繼續執行視訊遊戲，而無需等待資料寫入。視訊遊戲中資料讀取及資料寫入操作之位置以及與資料讀取及資料寫入操作相關聯之旗標取決於視訊遊戲之設計。編寫好之視訊遊戲會至少嘗試使資料讀取及資料寫入操作在視訊遊戲代碼之智慧區域中執行，以避免干擾視訊遊戲之流暢執行。
控制路徑API(諸如「掛載」、「打開」、「關閉」及「卸載」)亦很重要，但通常預期阻止視訊遊戲之持續執行，直到其完成。因此，及時執行控制路徑API對視訊遊戲之效能通常並非那麼關鍵。例如，在「掛載」及「打開」API呼叫已完成之前，一視訊遊戲無法對資料儲存進行任何操作，且視訊遊戲設計者亦意識到此點。在本文揭示之系統及方法中使用控制路徑API來滿足具有一經平衡儲存解決方案之目的，該解決方案繼續將資料儲存在雲端儲存伺服器109中之效能受限之HDD上以降 低費用，同時亦確保自管理伺服器105-1至105-X內之儲存裝置快速獲得視訊遊戲當前需要之資料。
現代視訊遊戲產生大量使用者資料。根據視訊遊戲及視訊遊戲平台(視訊遊戲控制台)，可為一給定使用者之一視訊遊戲產生諸多不同類型之使用者資料。例如，在一些實施例中，使用者資料包含使用者之保存資料、使用者之下載資料、使用者之記錄資料(此係在一緩衝器中使用者玩遊戲之一記錄，或係最近玩的時間量之一記錄)、使用者之獎杯資料、使用者之設定檔資料、使用者之視訊資料、使用者之音訊資料、使用者之掛起及恢復資料(其擷取在一特定時間線上遊戲系統之整個狀態)以及使用者之其他類型的資料。保存資料係使用者資料之一部分，且通常係一視訊遊戲之一資料影像，該資料影像包括關於遊戲狀態及使用者在一特定保存時間在遊戲中之狀態的所有資料。隨著使用者玩視訊遊戲，可為使用者創建諸多保存資料影像。例如，在一些實施例中，在玩遊戲期間之特定點，諸如當自一個級別轉變至另一個級別時，或者當自一個場景改變至另一個場景時，以及觸發產生保存資料時之諸多其他時間/時刻，產生使用者之保存資料。而且，在一些實施例中，保存資料之產生係透過使用者之選單選擇來觸發。使用者之一保存資料磁碟鏡像大小為幾兆位元組(MB)。
在一些實施例中，不同類型之使用者資料可具有不同類型之輸入/輸出(I/O)要求，例如不同類型之資 料存取效能要求。因此，在一些實施例中，不同類型之使用者資料可儲存在滿足不同類型之I/O要求的不同雲端儲存系統或不同雲端儲存伺服器上。而且，在一些實施例中，某些資料之可靠性不如其他資料之可靠性重要。從此意義上來說，資料之可靠性指代確保資料之保護及可用性。例如，使用者之保存資料的可靠性係極其重要。但，規模龐大之掛起及恢復資料的可靠性可能並非那麼關鍵。因此，丟失使用者之掛起及恢復資料可能不會像丟失使用者之保存資料那樣對使用者造成損害。而且，在一些實施例中，一些類型之使用者資料具有與其相關聯之一有限壽命。例如，一系統更新或視訊遊戲更新可能導致一些類型之使用者資料不再與使用者玩視訊遊戲相容或相關。而且，在一些實施例中，不同類型之資料可具有不同加載時序要求。例如，當使用者登錄系統時，可能需要立即將系統資料及/或使用者設定檔資料自雲端儲存伺服器109加載至管理伺服器105-1至105-X中。且，當一特定遊戲開始時，可將其他資料自雲端儲存伺服器109加載至管理伺服器105-1至105-X中。鑑於各種類型之使用者資料及系統資料中的I/O要求、可靠性、壽命及加載時間可能存在變動，因此儲存使用者資料及系統資料之雲端儲存伺服器可能存在不同效能層及不同可靠性層。
控制路徑API提供關於視訊遊戲將要存取之資料的資訊。例如，若視訊遊戲將要自一特定保存資料磁碟鏡像中之一特定檔案讀取資料，則視訊遊戲必須首先藉 由「掛載」API呼叫來掛載特定保存資料磁碟鏡像，然後再藉由「打開」API呼叫打開經掛載保存資料磁碟鏡像內之特定檔案。在此情況下，視訊遊戲對「掛載」API及/或「打開」API之呼叫提供視訊遊戲將要存取特定保存資料磁碟鏡像中之資料的資訊。在一些實施例中，自由在雲端遊戲伺服器103-1至103-N上執行之視訊遊戲進行之控制路徑API呼叫獲得之資訊用於觸發提前取得與來自較慢的基於HDD之雲端儲存伺服器109的控制路徑API呼叫相關聯之資料，且將所取得資料儲存在管理伺服器105-1至105-X內之高速記憶體中。然後，藉由存取管理伺服器105-1至105-X內之高速記憶體內的資料，將高速完成由視訊遊戲進行之針對所取得資料之任何後續資料路徑API呼叫。然後，當使用管理伺服器105-1至105-X內之高速記憶體中的資料進行視訊遊戲時，諸如當進行「卸載」控制路徑API呼叫時，管理伺服器105-1至105-X內之高速記憶體中的資料被更新回較慢的基於HDD之雲端儲存伺服器109，其中，更新意指管理伺服器105-1至105-X內之高速記憶體中的資料被複製至較慢的基於HDD之雲端儲存伺服器109，且然後自管理伺服器105-1至105-X內之高速記憶體中刪除。根據實施方式，「寫入」API呼叫可能已將資料寫回至雲端儲存伺服器109。此可透過作業系統以對正在執行之視訊遊戲透明之一方式發生。「卸載」API呼叫始終強制更新待卸載至雲端儲存伺服器109之資料。然而，若資料已藉由「寫入」API呼叫作為一正常操作過程寫回至雲 端儲存伺服器109，則在進行「卸載」API呼叫時不必進行資料更新，因為資料已寫回至雲端儲存伺服器109。
圖2展示根據一些實施例之如何在雲端遊戲伺服器103-1之用於存取經傳送資料的資料路徑API呼叫之前使用雲端遊戲伺服器103-1之控制路徑API呼叫來觸發將資料自雲端儲存伺服器109中之較慢資料儲存裝置傳送至管理伺服器105-1中之一高速資料儲存裝置119之一過程圖示。在一第一步驟中，雲端遊戲伺服器103-1發出一控制路徑API呼叫以掛載一特定保存資料磁碟鏡像(圖2之實例中的保存資料2)。作為回應，管理伺服器105-1掛載特定保存磁碟鏡像。在一第二步驟中，請求雲端遊戲伺服器103-1至103-N掛載之特定保存磁碟鏡像(例如，保存資料2)自雲端儲存伺服器109複製至管理伺服器105-1中之高速資料儲存裝置119。在一些實施例中，高速資料儲存裝置119係諸如RAM或儲存類記憶體之一電腦記憶體裝置，或實質上等效於RAM及/或儲存類記憶體之另一種類型之電腦記憶體。在一些實施例中，高速資料儲存裝置119係NVMe級別之儲存裝置，諸如一SSD。在一第三步驟中，雲端遊戲伺服器103-1發出一或多個資料路徑API呼叫以自特定保存磁碟鏡像讀取資料及/或向特定保存磁碟鏡像寫入資料。然而，不是使雲端儲存伺服器109為來自雲端遊戲伺服器103-1之資料路徑API呼叫提供服務，而是由當前在其高速資料儲存裝置119中具有特定保存磁碟鏡像之管理伺服器105-1為資料路徑API呼叫提供服務。
在一第四步驟中，雲端遊戲伺服器103-1發出一控制路徑API呼叫以卸載特定保存資料磁碟鏡像。回應於卸載API呼叫，儲存系統執行一第五步驟，其中，管理伺服器105-1操作以將當前在其高速資料儲存裝置119中之特定保存磁碟鏡像之資料複製回至雲端儲存伺服器109。在一些實施例中，若寫入高速資料儲存裝置119中之特定保存磁碟鏡像之資料在正常操作過程期間被複製回至雲端儲存伺服器109(例如，當其被寫入至高速資料儲存裝置119時)，則在雲端遊戲伺服器103-1發出卸載API呼叫時，可能無任何資料需要複製回至雲端儲存伺服器109。應理解，回應於雲端遊戲伺服器103-1之卸載API呼叫，管理伺服器105-1操作以確保特定保存磁碟鏡像之當前資料(如在發出卸載API呼叫時儲存在管理伺服器105-1之高速資料儲存裝置119中)亦儲存在雲端儲存伺服器109中。一旦管理伺服器105-1確認特定保存磁碟鏡像之所有當前資料均適當地儲存在雲端儲存伺服器109中，管理伺服器105-1便操作以根據卸載API呼叫卸載特定保存磁碟鏡像。
在一些實施例中，當使用者正在玩視訊遊戲時，使用者之遊戲資料保存在管理伺服器105-1至105-X中。管理伺服器105-1至105-X應具有足夠儲存容量來處置使用者玩視訊遊戲期間之儲存需求。在一些實施例中，管理伺服器105-1至105-X操作以為每個活動使用者保留一定量之儲存區。在管理伺服器105-1至105-X上之儲存壓力/過載之情況下，作為一種選擇，管理伺服器105-1至105-X 可指示儲存存取API呼叫由雲端儲存伺服器109處置，而非由管理伺服器105-1至105-X處置。作為另一種選擇，管理伺服器105-1至105-X可將一些資料更新回至雲端儲存伺服器109以減輕管理伺服器105-1至105-X上之儲存壓力/過載。在此情況下，管理伺服器105-1至105-X將所有資料或一部分資料更新回至雲端儲存伺服器109。在一些實施例中，將資料自管理伺服器105-1至105-X更新回至雲端儲存伺服器109以便減輕管理伺服器105-1至105-X上之儲存壓力/過載之操作將係基於對當前已將資料儲存在管理伺服器105-1至105-X中之所有使用者的當前儲存需求及使用模式的分析。在一些實施例中，若管理伺服器105-1至105-X將資料更新回至雲端儲存伺服器109以減輕儲存壓力/過載，則在預期在由管理伺服器105-1至105-X提供服務之一或多個雲端遊戲伺服器103-1至103-N上執行之一或多個視訊遊戲將需要一些資料之情況下，管理伺服器105-1至105-X將一些資料自雲端儲存伺服器109複製回。在一些實施例中，當一視訊遊戲將資料寫入至管理伺服器105-1至105-X時，該資料將被保存在管理伺服器105-1至105-X中以供視訊遊戲存取，即使該資料有時被複製至雲端儲存伺服器109亦係如此。在一些實施例中，存在各種演算法，該等演算法經實施以在一給定時間對儲存在管理伺服器105-1至105-X中之資料進行分類，以便在管理伺服器105-1至105-X上存在壓力/過載之情況下優先將資料更新回至雲端儲存伺服器109。而且，在一些實施例中，在管理伺 服器105-1至105-X上之儲存壓力/過載之情況下，作為另一種選擇，管理伺服器105-1至105-X可向雲端遊戲伺服器103-1至103-N及/或視訊遊戲通知儲存壓力/過載情況，且使雲端遊戲伺服器103-1至103-N及/或視訊遊戲觸發資料更新回至雲端儲存伺服器109以減輕儲存壓力/過載情況。此選擇可用於藉由在管理伺服器105-1至105-X操作以將資料更新回至雲端儲存伺服器109時阻止雲端遊戲伺服器103-1至103-N及/或視訊遊戲進行任何資料更新來防止資料丟失。
在一些實施例中，圖2之過程在使用者之一線上遊戲會話開始時可能尤其有益。當使用者開始一線上視訊遊戲時，雲端遊戲伺服器103-1至103-N必須自儲存伺服器107加載線上視訊遊戲之可執行代碼。而且，雲端遊戲伺服器103-1至103-N可能必須加載其他資料，諸如音訊資料及/或紋理日(texture day)以及其他資料，以開始視訊遊戲。雲端遊戲伺服器103-1至103-N加載此資料且將視訊遊戲執行至一遊戲選單呈現狀態需要一些時間，諸如約5秒。此時間可用於將使用者之使用者資料自雲端儲存伺服器109加載至管理伺服器105-1至105-X中。例如，在視訊遊戲啟動時，此時間可用於將使用者之對應於使用者在視訊遊戲中之上一個保存點的使用者資料自雲端儲存伺服器109加載至管理伺服器105-1至105-X。然後，當視訊遊戲呈現遊戲選單選項(諸如新遊戲或加載遊戲)時，使用者之針對使用者在視訊遊戲中之上一個保存點的使用者資料已 儲存在管理伺服器105-1至105-X之高速資料儲存裝置119中且準備好在使用者選擇自上一個保存點繼續玩視訊遊戲之情況下，由雲端遊戲伺服器103-1至103-N進行立即及快速存取。然後，當使用者選擇加載先前保存之遊戲時，對在雲端遊戲伺服器103-1至103-N上執行之視訊遊戲進行一打開API呼叫，以打開先前保存資料磁碟鏡像中使用者之保存資料檔案。此打開API呼叫由管理伺服器105-1至105-X處理，使得經請求保存資料檔案自管理伺服器105-1至105-X中之高速資料儲存裝置119讀取，而非自較慢雲端儲存伺服器109讀取。應明白，藉由自管理伺服器105-1至105-X中之高速資料儲存裝置119讀取使用者之保存資料檔案，使用者能夠更快地開始玩視訊遊戲。在雲端遊戲伺服器103-1至103-N上執行視訊遊戲期間，視訊遊戲可發出額外資料儲存存取API呼叫，該等額外資料儲存存取API呼叫觸發將額外資料自雲端儲存伺服器109複製至管理伺服器105-1至105-X中之高速資料儲存裝置119，使得可自管理伺服器105-1至105-X中之高速資料儲存裝置119高速存取視訊遊戲所請求之資料。
在一些實施例中，雲端遊戲伺服器103-1至103-N維護使用者資料在雲端儲存伺服器109中之儲存位置的一資料庫。在一些實施例中，管理伺服器105-1至105-X對雲端儲存伺服器109屏蔽雲端遊戲伺服器103-1至103-N，使得雲端遊戲系統103-1至103-N不需要追蹤資料在雲端儲存伺服器109中之儲存位置。在一些實施例中，管理 伺服器105-1至105-X維護一儲存追蹤資料庫，該儲存追蹤資料庫包含指示各種資料在雲端儲存伺服器109中之儲存位置的資訊。當管理伺服器105-1至105-X藉由一資料儲存存取API呼叫自雲端遊戲伺服器103-1至103-N獲得對一特定類型之使用者資料的一請求時，管理伺服器105-1至105-X操作以查詢儲存追蹤資料庫以判定經請求資料所在之雲端儲存伺服器109之身份，以及經請求資料在經識別雲端儲存伺服器109中的位置。然後，管理伺服器105-1至105-X向經識別雲端儲存伺服器109發送對資料之一請求。在一些實施例中，儲存追蹤資料庫儲存在雲端儲存伺服器109上且加載至其中，管理伺服器105-1至105-X之儲存追蹤資料庫被存取及查詢之高速資料儲存裝置119中。
在一些實施例中，查詢管理伺服器105-1至105-X上之儲存追蹤資料庫以判定其他資料中心中需要更新哪些使用者資料檔案，以便維持多個資料中心中使用者資料之當前冗餘及同步，因為使用者正在旅行及/或出於資料備份目的，及/或出於某些其他原因。而且，在一些實施例中，使用者將在本地遊戲控制台127上而非在雲端遊戲伺服器103-1至103-N上玩視訊遊戲。在此等實施例中，當本地遊戲控制台127需要藉由管理伺服器105-1至105-X存取儲存在雲端儲存伺服器109上之資料時，使用管理系統105-1至105-X上之儲存追蹤資料庫。而且，在一些實施例中，管理伺服器105-1至105-X上之儲存追蹤資料庫用於使使用者在本地遊戲控制台127上之視訊遊戲的本地 玩法與使用者在雲端遊戲伺服器103-1至103-N上之視訊遊戲的雲端遊戲玩法同步。
在一些實施例中，本地遊戲控制台127配備有一SSD，該SSD由於向其寫入資料而磨損。知道此點後，視訊遊戲開發者將視訊遊戲程式化以以考量SSD之有限壽命之一方式指示儲存操作，此對應於SSD內之記憶體單元可承受之有限數量的程式化/寫入循環。而且，視訊遊戲開發者在對視訊遊戲進行程式化時，有考量到向SSD寫入少量資料尤其成問題。因此，對於諸多視訊遊戲，不允許配備SSD之本地遊戲控制台127中之快閃記憶體向SSD寫入小塊資料，而是必須保存資料直至累積足夠資料以向SSD寫入更大區塊之資料為止。為了減少對SSD之寫入/程式化循環量，視訊遊戲經程式化以使用「事務」進行儲存存取。使用事務進行儲存存取亦有利於降低資料損壞之風險等。使用事務進行儲存存取背後之想法係，視訊遊戲仍然使用POSIX API呼叫，諸如讀取、寫入等，但寫入之任何資料僅儲存在RAM中，直至事務完成，那時視訊遊戲呼叫一「提交」API來觸發將儲存在RAM中之資料更新至SSD中。卸載API係一「隱式提交」。因此，使用事務進行儲存存取之配備SSD之本地遊戲控制台127中的一資料存取流程如下：1)(可選，根據需要)創建保存資料磁碟鏡像，2)創建事務資源，3)掛載保存資料磁碟鏡像，4)打開檔案，5)自檔案讀取資料及/或將資料寫入檔案(僅寫入RAM)，6)關閉檔案，7)提交資料，8)刪除事務資源，以及 9)卸載保存資料磁碟鏡像。假設雲端遊戲系統可能正在執行與在配備SSD之本地遊戲控制台127上執行之視訊遊戲相同的視訊遊戲，則雲端遊戲伺服器103-1至103-N、管理伺服器105-1至105-X及雲端儲存伺服器109經共同配置以對使用事務進行儲存存取進行處置。
在一些實施例中，一事務資料緩衝器可由視訊遊戲或雲端遊戲系統103-1至103-N提供。在一些實施例中，事務資料緩衝器在RAM中。在一些實施例中，雲端遊戲系統103-1至103-N使視訊遊戲提供事務緩衝器，因為事務緩衝器之大小較小。此外，由於使視訊遊戲提供事務緩衝器，視訊遊戲意識到事務緩衝器之容量有限。在一些實施例中，當視訊遊戲使用標準資料路徑「寫入API」寫入過多資料時，寫入操作將失敗，出現無足夠空間來完成寫入操作之一錯誤。
在一些實施例中，當雲端遊戲伺服器103-1至103-N呼叫提交API時，雲端遊戲伺服器103-1至103-N允許管理伺服器105-1至105-X亦將其緩衝器變化提交回至雲端儲存伺服器109。在一些實施例中，若提交API呼叫係一阻止API呼叫(默認地或藉由設定一旗標)，則提交API呼叫使視訊遊戲等待直至管理伺服器105-1至105-X完成將資料更新回至雲端儲存伺服器109。否則，在管理伺服器105-1至105-X崩潰之情況下可能發生資料損壞。
在一些實施例中，為了防止資料損壞，存在一種機制來僅在於提交/卸載操作期間發生一電源故障或 其他錯誤狀況之情況下恢復至在執行提交/卸載操作之前存在之一資料狀態。例如，在一些實施例中，在提交資料之前，系統讀取任何預期將被更新之資料，使得在提交操作出現問題之情況下可恢復讀取之資料。在一些實施例中，管理伺服器105-1至105-X經程式化以在執行提交API操作之前讀取預期將被更新之任何資料。管理伺服器105-1至105-X經程式化以追蹤其被請求改變什麼資料以及其被請求如何改變該資料。而且，在一些實施例中，雲端儲存伺服器109經配置以支援事務。在此等實施例中，在由管理伺服器105-1至105-X掛載時，雲端儲存伺服器109追蹤資料變化。然後，一提交/卸載API呼叫觸發資料變化之更新。若將資料變化自管理伺服器105-1至105-X更新至雲端儲存伺服器109不成功，則可使用雲端儲存伺服器109來恢復資料變化。
圖3展示根據一些實施例之雲端遊戲伺服器103-1及管理伺服器105-1之一些內部組件的一例示性圖示。雲端遊戲伺服器103-1之一根聯合體311具有一PCIe(周邊組件互連快速)埠313，該PCIe埠透過一PCIe鏈路309連接至一PCIe交換機305之一PCIe埠315。而且，管理伺服器105-1之一根聯合體317具有一PCIe埠316，該PCIe埠透過一PCIe鏈路307連接至PCIe交換機305之一PCIe埠319。PCIe交換機305包含邏輯，該邏輯用於橋接管理伺服器105-1及雲端遊戲伺服器103-1之記憶體位址空間。例如，用於橋接管理伺服器105-1及雲端遊戲伺服器103-1之 記憶體位址空間之邏輯可包含一非透明橋接器(NTB)或一特殊直接記憶體存取(DMA)引擎，該非透明橋接器及該特殊直接記憶體存取引擎可與管理伺服器105-1及雲端遊戲伺服器103-1兩者通信且負責所需之任何記憶體位址轉譯。在一些實施例中，可在PCIe交換機305內實施一DMA引擎。應理解，雲端遊戲伺服器103-1之根聯合體311及管理伺服器105-1之根聯合體317兩者均包含一PCIe介面或等效介面，舉例而言，諸如根據Gen-Z聯盟開發之Gen-Z通信/互連規範定義之一Gen-Z介面，或本質上等效於PCIe介面或Gen-Z介面之其他未來開發之介面。
例如，在一些實施例中，PCIe交換機305可選地包含一NTB 321。若PCIe交換機305包含NTB 321且處於NTB模式，則NTB 321用於將由雲端遊戲伺服器103-1寫入至一資料I/O(輸入/輸出)命令緩衝器之一記憶體存取命令中之實體記憶體位址轉譯為管理伺服器105-1之一電腦記憶體323內之可由管理伺服器105-1獲得之一記憶體位址。NTB 321在功能上操作以修改PCIe事務層處之記憶體位址，其中，組裝及分解事務層封包(TLP)。在一些實施例中，NTB 321亦用於修改請求者識別符。若雲端遊戲伺服器103-1諸如藉由一儲存CPU 331產生一命令緩衝器，則命令緩衝器最終由根聯合體311包裝在一TLP中。儲存CPU 331操作以確保由儲存CPU 331產生之命令緩衝器內之任何記憶體位址的正確性。而且，儲存CPU 331操作以在管理伺服器105-1需要將資料寫回至雲端遊戲伺服器103-1之情 況下，確保命令緩衝器內之任何記憶體位址係經轉譯位址。當雲端遊戲伺服器103-1將命令緩衝器寫入至管理伺服器105-1中之記憶體位址時，NTB 321開始發揮作用。在此情況下，寫入命令緩衝器之記憶體位址由NTB 321及/或由管理伺服器105-1之電腦記憶體323中之輸出記憶體管理單元(IOMMU)381轉譯。IOMMU 381將裝置可見之虛擬記憶體位址映射至實體記憶體位址。而且，在此情況下，命令緩衝器本身之內容不由NTB 321或IOMMU 381修改。
NTB模式使多個根聯合體能夠彼此交談，即彼此交換資料。在一些實施例中，若PCIe交換機305連接至僅連接NTB裝置之一次級PCIe交換機，則次級PCIe交換機不需要使用NTB，因為其將僅轉送事務層封包(TLP)。電腦記憶體323代表關於圖2提及之高速資料儲存裝置119。在各種實施例中，電腦記憶體323可為RAM或儲存類記憶體，或實質上等效於RAM及/或儲存類記憶體之另一種類型之電腦記憶體。NTB 321處置資料I/O命令緩衝器中之記憶體位址的轉譯，且將經轉譯記憶體位址提供給管理伺服器105-1。若PCIe交換機305不使用NTB 321，則可產生寫入資料I/O命令緩衝器之記憶體存取命令以包含其他後設資料，諸如一主機識別符或其他類型之後設資料，該等後設資料可用於判定資料I/O命令緩衝器中之記憶體位址應映射至的管理伺服器105-1之電腦記憶體323中之記憶體位址。在PCIe交換機305不使用NTB 321之一些實施例中，可使用一DMA引擎將封包跨PCIe交換機305發送至正 確目的地。且，在一些實施例中，若PCIe交換機305不使用NTB 321且連接至一次級PCIe交換機，則次級PCIe交換機操作以將封包轉送至正確目的地。
雲端遊戲伺服器103-1包含連接至一內部資料匯流排327之至少一個CPU 325。在各種實施例中，雲端遊戲伺服器103-1亦可包含連接至內部資料匯流排327之一或多個GPU 329，及/或連接至內部資料匯流排327之一或多個儲存CPU 331，及/或連接至內部資料匯流排327之一或多個解密/加密引擎333，及/或連接至內部資料匯流排327之一或多個解壓/壓縮引擎335。內部資料匯流排327連接至雲端遊戲伺服器103-1之根聯合體311。在各種實施例中，GPU 329係一處理器，該處理器經配置以執行用於呈現影像、動畫及視訊以在電子顯示螢幕上顯示之並行操作。而且，在一些實施例中，GPU 329之並行處理能力可用於需要重複計算之非圖形應用程式中之向量處理。
在各種實施例中，儲存CPU 331經配置以處置對儲存命令之請求且在一特定類型之儲存媒體上分配儲存。在各種實施例中，儲存CPU 331及主CPU 325可具有相同或不同之架構。例如，在一些實施例中，儲存CPU 331可為一高級RISC(精簡指令集電腦)機器(ARM)處理器或一MIPS處理器，其中，主CPU 325係一x86處理器。應理解，在各種實施例中，儲存CPU 331本質上可為任何類型之合適的電腦處理器，且主CPU 325本質上可為任何類型之合適的電腦處理器。而且，在一些實施例中，雲端遊戲 伺服器103-1至103-N僅包含主CPU 325，而非具有主CPU 325及儲存CPU 331兩者，該主CPU亦處置原本由儲存CPU 331執行之操作。然而，出於本文中描述之目的，雲端遊戲伺服器103-1至103-N被認為包含主CPU 325及儲存CPU 331兩者。儲存CPU 331分配資料進行儲存之特定類型的儲存媒體可根據儲存媒體之效能能力(例如，資料讀取速度及/或資料寫入速度)及/或資料在儲存媒體上之儲存形式(例如，基於檔案之資料儲存、基於檔案夾之資料儲存或基於位元組之資料儲存)而變化。在一些實施例中，儲存CPU 331操作以將資料分成多個資料塊以放置至雲端遊戲伺服器103-1之一電腦記憶體337中之各自位置中，其中，基於一儲存表追蹤並更新電腦記憶體337中之各個儲存位置。在各種實施例中，電腦記憶體337可為RAM或儲存類記憶體，或實質上等效於RAM及/或儲存類記憶體之另一種類型之電腦記憶體。儲存CPU 331亦可用於基於每秒輸入/輸出操作次數(IOPS)來將儲存最佳化。在一些實施例中，基於IOPS之儲存最佳化可與可用儲存媒體之存取速度相關，該可用儲存媒體可包含旋轉儲存媒體、固態儲存媒體及/或混合式儲存媒體。在各種實施例中，解密/加密引擎333係一處理器，該處理器經配置用於且專用於應用密碼演算法來解密經加密之資料及加密未加密之資料。在各種實施例中，解壓/壓縮引擎335經配置用於且專用於應用演算法來解壓經壓縮之資料及壓縮未壓縮之資料。
在一些實施例中，雲端遊戲伺服器103-1之 電腦記憶體337連接至根聯合體311。在一些實施例中，雲端遊戲伺服器103-1亦包含連接至根聯合體311之一DMA控制器339。在一些實施例中，電腦記憶體337及/或DMA控制器339可連接至內部資料匯流排327，分別如由線361及363所指示。而且，在一些實施例中，雲端遊戲伺服器103-1可包含透過一PCIe鏈路343連接至根聯合體311之一PCIe埠345的一或多個NVMe SSD 341。而且，在一些實施例中，雲端遊戲伺服器103-1可包含透過一PCIe鏈路349連接至根聯合體311之一PCIe埠351的一或多個SATA控制器347。SATA控制器347可用作HDD 353及PCIe組構中之一者或多者之間的一橋接器。此外，在各種實施例中，一或多個其他啟用PCIe之組件裝置355可透過各自PCIe鏈路359連接至根聯合體311之各自PCIe埠357。在各種實施例中，其他啟用PCIe之組件裝置355可包含一或多個GPU、一或多個現場可程式化閘極陣列(FPGA)、一或多個網路轉接器、一或多個SSD、一或多個SATA/HHD，以及其他裝置。應理解，圖3所示之雲端遊戲伺服器103-1之架構係藉由舉例之方式提供。在各種實施例中，雲端遊戲伺服器103-1可包含比圖3之實例中所示更多或更少之組件。
管理伺服器105-1包含連接至一內部資料匯流排367之至少一個CPU 365。在各種實施例中，管理伺服器105-1亦可包括連接至內部資料匯流排367之一或多個GPU 369及/或連接至內部資料匯流排367之一或多個網路介面卡(NIC)373。內部資料匯流排367連接至管理伺服器 105-1之根聯合體317。管理伺服器105-1亦可包含連接至根聯合體317之一或多個NVMe SSD 371。而且，在一些實施例中，GPU 369及/或NIC 373及/或其他裝置可經配置以使用PCIe，且可直接連接至根聯合體317而非連接至內部資料匯流排367。
本文揭示之系統及方法利用將雲端遊戲伺服器103-1與雲端管理伺服器105-1連接之PCIe組構，以允許雲端遊戲伺服器103-1上之CPU 325及/或儲存CPU 331及/或DMA控制器339(及/或其他裝置)指示在管理伺服器105-1之電腦記憶體323與雲端遊戲伺服器103-1之電腦記憶體337之間發送訊息及複製資料，反之亦然。使用PCIe組構連接雲端遊戲伺服器103-1及管理伺服器105-1且在配置PCIe交換機305之後的結果係跨雲端遊戲伺服器103-1及管理伺服器105-1之「共用記憶體」機制。雲端遊戲伺服器103-1可以極小開銷直接存取管理伺服器105-1內之電腦記憶體323的一指定部分377，例如藉由繞過管理伺服器105-1之CPU 365，如由箭頭379所指示。雲端遊戲伺服器103-1對管理伺服器105-1內之電腦記憶體323的直接存取可由雲端遊戲伺服器103-1內能夠管理資料儲存請求並透過根複合體311連接至PCIe交換機305之任何裝置(諸如CPU 325及/或儲存CPU 331及/或DMA控制器339)來指示。然而，應明白，使用雲端遊戲伺服器103-1之CPU 325來管理資料儲存請求可能並非最有效。因此，儲存CPU 331及/或DMA控制器339可主要用於藉由產生寫入至管理伺服器105-1之電腦記憶 體323中的資料I/O命令緩衝器之記憶體存取命令來管理雲端遊戲伺服器103-1之資料儲存請求。
除了提供「共用記憶體」機制之外，雲端遊戲伺服器103-1透過PCIe交換機305連接至管理伺服器105-1使得藉由將一訊息直接寫入至雲端遊戲伺服器103-1之電腦記憶體337或管理伺服器105-1之電腦記憶體323或PCIe交換機305內之某個記憶體中，來將「訊息」自雲端遊戲伺服器103-1發送至管理伺服器105-1，反之亦然。雲端遊戲伺服器103-1與管理伺服器105-1之間之訊息發送可用於促進寫入至資料I/O命令緩衝器之記憶體存取命令的執行。例如，若雲端遊戲伺服器103-1預期管理伺服器105-1執行某個記憶體存取命令，該命令導致一些請求資料自一資料儲存裝置取得並儲存在雲端遊戲伺服器103-1與管理伺服器105-1之間存在之共用記憶體中之某處，則管理伺服器105-1可將一訊息寫入至由雲端遊戲伺服器103-1監控之一儲存位置，以通知雲端遊戲伺服器103-1何時以及何處經請求資料可供管理伺服器105-1使用。
在一些實施例中，訊息可由雲端遊戲伺服器103-1或管理伺服器105-1發送至透過PCIe交換機305暴露之一或多個門鈴暫存器375。在一些實施例中，由雲端遊戲伺服器103-1寫入至門鈴暫存器375將導致在管理伺服器105-1上觸發一中斷，此繼而導致管理伺服器105-1處置該中斷。在一些實施例中，管理伺服器105-1對中斷之處置導致管理伺服器105-1自存在於雲端遊戲伺服器103-1與管 理伺服器105-1之間之共用記憶體中之一指定位置讀取一訊息(一些資料)。類似地，由管理伺服器105-1寫入至門鈴暫存器375將導致在雲端遊戲伺服器103-1上觸發一中斷，此繼而導致雲端遊戲伺服器103-1處置該中斷。在一些實施例中，雲端遊戲伺服器103-1對中斷之處置導致雲端遊戲伺服器103-1自存在於雲端遊戲伺服器103-1與管理伺服器105-1之間之共用記憶體中的一指定位置讀取一訊息(一些資料)。
訊息之內容取決於用例。在一些用例中，訊息可傳達自一儲存裝置讀取一定量之資料並將讀取之資料儲存在存在於雲端遊戲伺服器103-1與管理伺服器105-1之間之共用記憶體中的一請求。然後，在訊息中之請求完成之後，可發送另一訊息來通知完成。例如，若雲端遊戲伺服器103-1發送請求管理伺服器105-1自資料儲存裝置讀取一些特定資料之一第一訊息，則管理伺服器105-1將執行第一訊息中之請求，然後發送一第二訊息，該第二訊息通知雲端遊戲伺服器103-1第一訊息請求之完成以及特定請求資料儲存在存在於雲端遊戲伺服器103-1與管理伺服器105-1之間之共用記憶體中的位置。
雲端遊戲伺服器103-1及管理伺服器105-1係各自具有自己之記憶體映射的獨立系統。記憶體映射保存電腦記憶體及系統中其他裝置之記憶體位址。PCIe交換機305在雲端遊戲伺服器103-1及管理伺服器105-1之每個記憶體映射中佔據一使用者可配置之記憶體位址空間區域。 在各種實施例中，取決於PCIe交換機305之配置，雲端遊戲伺服器103-1之電腦記憶體337中之實體記憶體位址可映射至管理伺服器105-1之電腦記憶體323中的相同或不同實體記憶體位址。
在一些實施例中，出於安全及/或其他原因，雲端管理伺服器105-1可經配置以諸如藉由實施將裝置可見之虛擬記憶體位址映射至實體記憶體位址之IOMMU 381來隱藏其真實實體記憶體位址。IOMMU 381經配置以將裝置記憶體位址映射至實體記憶體位址，而一常規記憶體管理單元(MMU)經配置以將虛擬記憶體位址映射至實體記憶體位址。對於常規MMU，虛擬記憶體位址係連續的，使得一應用程式可看到一記憶體區塊，例如一64MB記憶體區塊，且對該記憶體區塊進行操作，但實際上，MMU將連續虛擬記憶體位址映射至多個分離之實體記憶體位址，且對應用程式隱藏記憶體映射。類似於常規MMU，IOMMU 381將雲端遊戲伺服器103-1可見之虛擬記憶體位址映射至電腦記憶體323中之多個分離之實體記憶體位址，且對管理伺服器105-1隱藏記憶體映射。以此方式，IOMMU 381之使用允許雲端遊戲伺服器103-1看到存在於管理伺服器105-1上之一連續之虛擬記憶體區塊位址，同時隱藏該連續之虛擬記憶體區塊位址實際上如何映射至跨管理伺服器105-1之電腦記憶體323的不同實體記憶體位址之複雜性。在一些實施例中，IOMMU 381包含在管理伺服器105-1之根聯合體317中。在一些實施例中，雲端 遊戲伺服器103-1之根聯合體311亦可包含一IOMMU 383。
在圖3之配置中，IOMMU 381可允許雲端遊戲伺服器103-1將一特定記憶體位址(裝置位址)視為與管理伺服器105-1之電腦記憶體323中之一特定實體記憶體位址具有一一對應關係，但實際上，IOMMU 381可將如雲端遊戲伺服器103-1看到之特定記憶體位址重新映射至管理伺服器105-1之電腦記憶體323中的一不同實體記憶體位址。而且，在一些實施例中，IOMMU 381可用於阻止對管理伺服器105-1之電腦記憶體323中未授權被雲端遊戲伺服器103-1存取之一或多個指定實體儲存區域進行存取。而且，由於IOMMU 381有效地對雲端遊戲伺服器103-1隱藏管理伺服器105-1之電腦記憶體323中之記憶體碎片，故使用IOMMU 381可簡化雲端遊戲伺服器103-1中之DMA傳送操作。例如，若IOMMU 381不用於將電腦記憶體323中之碎片化的實體記憶體位址作為一連續之虛擬記憶體區塊位址呈現給雲端遊戲伺服器103-1，則雲端遊戲伺服器103-1將需要執行多個DMA傳送操作或分散/收集事務以跨電腦記憶體323中之碎片化的實體記憶體位址讀取資料。然而，藉由使用IOMMU 381來將電腦記憶體323中之碎片化的實體記憶體位址作為一連續虛擬塊之記憶體位址呈現給雲端遊戲伺服器103-1，雲端遊戲伺服器103-1可執行一單個DMA傳輸操作以跨電腦記憶體323中之碎片化的實體記憶體位址讀取資料。
在一些實施例中，如由連接392所指示，管 理伺服器105-1透過NIC 373連接至一雲端儲存系統390。雲端儲存系統390包含一或多個雲端儲存伺服器109-1至109-Y。每個雲端儲存伺服器109-1至109-Y包含一各自NIC 387-1至387-Y。而且，每個雲端儲存伺服器109-1至109-Y分別包含一或多個HDD 389-1至389-Y。而且，在一些實施例中，雲端儲存伺服器109-1至109-Y中之一些包含一或多個NVMe SSD或其他類型之資料儲存裝置。在一些實施例中，雲端儲存系統390經配置且經操作以在複數個實體儲存媒體(HDD)之間散佈資料儲存，且利用重複資料刪除方法來將複數個實體儲存媒體之使用最佳化。雲端儲存系統390可存取/控制之複數個實體儲存媒體可位於藉由高速互連件以及藉由高速交換機互連之複數個不同儲存框中。在一些實施例中，包含可由雲端儲存系統390存取/控制之複數個實體儲存媒體之複數個不同儲存框可安裝在一資料中心內或地理散佈之多個資料中心之間之不同位置。在一些實施例中，可使用一快取系統在多個資料中心之間管理資料儲存，使得一特定請求實體(例如，使用者用來玩一雲端遊戲應用程式之一特定遠端用戶端裝置)利用或需要之資料可移動至離請求實體最近或為請求實體提供一可接受之服務質量的特定資料中心。在一些實施例中，快取系統可利用經定義以將使用者資料及/或遊戲資料遷移至特定資料中心之一遷移演算法。
對遊戲資料之存取通常係唯讀的。然而，對保存資料之存取包含讀取操作及寫入操作兩者。對使用者 資料之存取可由管理伺服器105-1至105-X管理。管理伺服器105-1至105-X自一雲端儲存伺服器109-1至109-Y掛載一經請求保存資料磁碟鏡像，且實施與雲端儲存伺服器109-1至109-Y進行資料通信所必需之一協定。在各個實施例中，管理伺服器105-1至105-X與雲端儲存伺服器109-1至109-Y之間之資料通信可使用各種資料通信協定，諸如基於TCP之資料通信協定，例如Ceph、NFS、Amazon S3(基於http)等，或某種其他類型之對象、檔案或區塊儲存協定。如以上所論述，在一些實施例中，雲端遊戲伺服器103-1至103-N使用PCI Express與管理伺服器105-1至105-X進行資料通信。在一些實施例中，雲端遊戲伺服器103-1至103-N藉由連接至NIC 373之一NIC 393透過一網路與管理伺服器105-1至105-X進行資料通信，如由連接394所指示。雲端遊戲伺服器103-1至103-N與管理伺服器105-1至105-X之間之資料通信根據各種資料通信協定中之一種或多種進行，諸如以太網路(TCP/IP)、RDMA、InfiniBand等。
保存資料(及其他使用者資料)所遵循之資料通信路徑在某種程度上類似於遊戲資料。在這兩種情況下，雲端遊戲伺服器103-1至103-N之CPU 325產生對應於不同控制路徑API及資料路徑API之命令緩衝器。命令緩衝器由雲端遊戲伺服器103-1至103-N之儲存CPU 331處理。儲存CPU 331指示將命令緩衝器傳輸至管理伺服器105-1至105-X，該管理伺服器將自雲端儲存伺服器109-1至109-Y 中之一者或多者掛載雲端儲存。在一些實施例中，控制路徑API可透過一網路連接傳輸，諸如以太網路、RDMA、InfiniBand等。然而，效能關鍵命令緩衝器(諸如包含資料路徑API之緩衝器)將透過快速資料連接(諸如透過PCIe組構)傳輸至管理伺服器105-1至105-X。管理伺服器105-1至105-X經程式化以操作CPU 365以接收並處理自雲端遊戲伺服器103-1至103-N接收之命令緩衝器。根據自雲端遊戲伺服器103-1至103-N接收之命令緩衝器，管理伺服器105-1至105-X操作以使用一網路協定(諸如以太網路、Ceph、NFS、S3等)，根據需要自雲端儲存系統390取得資料。例如，在一些實施例中，「mountSaveDiskImage」控制路徑API觸發將資料自一給定雲端儲存伺服器109-1至109-Y中之一HDD 389-1至389-Y傳送至管理伺服器105-1至105-X內之RAM 323或NVMe SSD 371。在一些實施例中，讀取/寫入資料路徑API存取或修改管理伺服器105-1至105-X之RAM 323中之資料。將資料寫回至雲端儲存系統390之過程取決於係否使用事務。在不使用事務之情況下，寫入/關閉/卸載API會將資料自管理伺服器105-1至105-X更新回至雲端儲存系統390。藉由使用事務，提交API將自管理伺服器105-1至105-X將資料之任何變化更新回至雲端儲存系統390。
本文揭示雲端遊戲系統100之各種實施例，該雲端遊戲系統包含一雲端遊戲伺服器103(其中，雲端遊戲伺服器103係雲端遊戲伺服器103-1至103-N中之任一 者)、雲端儲存伺服器109(其中，雲端儲存伺服器109係雲端儲存伺服器109-1至109-Y中之任一者)，以及一管理伺服器105(其中，管理伺服器105係管理伺服器105-1至105-X中之任一者)。雲端遊戲伺服器103經配置以根據自使用者121之控制器裝置125接收之輸入來執行一視訊遊戲。雲端遊戲伺服器103經配置以指示將反映使用者121玩視訊遊戲之一視訊串流傳輸至使用者121之本地計算系統120。雲端儲存伺服器109與雲端遊戲伺服器103進行資料通信。雲端儲存伺服器109包含一資料儲存裝置389，該資料儲存裝置用於儲存使用者121之使用者資料(其中，資料儲存裝置389為對應雲端儲存伺服器109-1至109-Y中之資料儲存裝置389-1至389-Y)。使用者資料包含記錄使用者121玩視訊遊戲之資料。管理伺服器105與雲端遊戲伺服器103及雲端儲存伺服器109兩者進行資料通信。管理伺服器105包含一高速資料儲存裝置(諸如NVMe SSD 371)，該高速資料儲存裝置以比雲端儲存伺服器109內之資料儲存裝置更高之一資料速率及更低之一延時操作。在一些實施例中，雲端儲存伺服器109內之資料儲存裝置為一HDD，且高速儲存裝置為一NVMe SSD。管理伺服器105經程式化以接收由在雲端遊戲伺服器103上執行之視訊遊戲發出的一資料存取請求。資料存取請求識別儲存在雲端儲存伺服器109內之資料儲存裝置389中的經請求資料。管理伺服器105經程式化以將經請求資料自雲端儲存伺服器109內之資料儲存裝置389複製至管理伺服器105內之高速資料儲存裝置371中。 管理伺服器105亦經程式化以使用高速資料儲存裝置371來回應資料存取請求，而非使雲端儲存伺服器109來回應資料存取請求。
應理解，管理伺服器105-1至105-X與雲端儲存伺服器109之間在儲存效能上存在一差異，其中，管理伺服器105-1至105-X之NVMe SSD操作以以比向雲端儲存伺服器109之HDD提供資料的速度快得多的速度向雲端遊戲伺服器103-1至103-N提供資料。管理伺服器105-1至105-X與雲端儲存伺服器109之間之網路效能亦存在一差異，其中，與雲端儲存伺服器109相比，管理伺服器105-1至105-X提供至及自雲端遊戲伺服器103-1至103-N之更高網路資料傳輸速率(更高之網路頻寬)。藉由使用管理伺服器105-1至105-X作為一資料快取區，可限制與雲端儲存伺服器109之網路通信上之資料負載。使用管理伺服器105-1至105-X作為一資料快取區確保可以極高效能完成自雲端儲存伺服器109之讀取操作。在一些實施例中，在未使管理伺服器105-1至105-X提供一快取之情況下，與雲端儲存伺服器109之有效資料通信頻寬可能顯著降低。
在一些實施例中，雲端儲存伺服器109與雲端遊戲伺服器103-1至103-N位於一不同位置。在一些實施例中，多個雲端遊戲伺服器103-1至103-N置於網際網路服務提供商(ISP)處。出於運營原因，這樣更便宜，因為ISP免費提供電力及網際網路連接。在此等實施例中，ISP之資料中心及雲端遊戲資料中心之間之網路頻寬應係良好， 但對於雲端遊戲伺服器103-1至103-N而言未必好至足以直接將資料寫入至雲端儲存伺服器109中之NVMe SSD磁碟機。因此，在此等實施例中，由管理伺服器105-1至105-X提供之資料快取功能仍然係有益的，即使雲端儲存伺服器109實施比HDD更快之NVMe SSD磁碟機亦係如此。
在一些實施例中，管理伺服器105經程式化以使用一第一網路儲存協定與雲端儲存伺服器109進行雙向資料通信，且管理伺服器105經程式化以使用不同於第一網路儲存協定之一第二網路儲存協定與雲端遊戲伺服器103進行雙向資料通信。在一些實施例中，第二網路儲存協定係PCIe。
在一些實施例中，由在雲端遊戲伺服器103上執行之視訊遊戲發出之資料存取請求係掛載一特定資料分組之一請求。管理伺服器105經程式化以藉由使用高速儲存裝置371來回應如由在雲端遊戲伺服器103上執行之視訊遊戲發出之對特定資料分組的後續資料存取請求，而非使雲端儲存伺服器109來回應該等後續資料存取請求。在一些實施例中，特定資料分組係一資料對象、一資料檔案或一資料區塊。在一些實施例中，特定資料分組係視訊遊戲之一保存資料磁碟鏡像，該保存資料磁碟鏡像包含使用者玩視訊遊戲之保存資料。
在一些實施例中，由在雲端遊戲伺服器103上執行之視訊遊戲發出之一後續資料存取請求係一讀取API呼叫或一寫入API呼叫或一卸載API呼叫或一提交API 呼叫。在一些實施例中，管理伺服器105經程式化以藉由將資料寫入管理伺服器105內之高速儲存裝置371內的特定資料分組來回應寫入API呼叫。在一些實施例中，管理伺服器105經程式化以藉由將資料寫入至管理伺服器105內之高速儲存裝置371內之特定資料分組及雲端儲存伺服器109中之資料儲存裝置389中之特定資料分組兩者中來回應寫入API呼叫。在一些實施例中，管理伺服器105經程式化以藉由自管理伺服器105內之高速儲存裝置371內的特定資料分組讀取資料來回應讀取API呼叫。在一些實施例中，管理伺服器105經程式化以藉由確保當前在管理伺服器105內之高速儲存裝置371內之特定資料分組中的所有資料當前亦存在於雲端儲存伺服器109內之資料儲存裝置389中的特定資料分組中來回應卸載及提交API呼叫。
圖4展示根據一些實施例之用於操作雲端遊戲系統100之方法的一流程圖。該方法包含一操作401，該操作用於根據自使用者121之控制器裝置125接收之輸入在雲端遊戲伺服器103上執行一視訊遊戲。該方法亦包含一操作403，該操作用於操作雲端遊戲伺服器103以指示將反映使用者121玩視訊遊戲之一視訊串流傳輸至使用者121之本地計算系統120。該方法亦包含一操作405，該操作用於將使用者121之使用者資料儲存在雲端儲存伺服器109中。使用者資料包含記錄使用者121玩視訊遊戲之資料。該方法亦包含一操作407，該操作用於在管理伺服器105處接收一資料存取請求。資料存取請求由在雲端遊戲伺服器103 上執行之視訊遊戲發出。資料存取請求識別儲存在雲端儲存伺服器109內之資料儲存裝置389中的經請求資料。該方法亦包含一操作409，該操作用於將經請求資料自雲端儲存伺服器109內之資料儲存裝置389複製至管理伺服器105內之高速資料儲存裝置371中。高速資料儲存裝置371以比雲端儲存伺服器109內之資料儲存裝置389更高之一資料速率及更低之一延時操作。在一些實施例中，雲端儲存伺服器109內之資料儲存裝置389係HDD，且管理伺服器105內之高速儲存裝置371係一NVMe SSD。該方法進一步包含一操作411，該操作用於使用管理伺服器105中之高速資料儲存裝置371來回應資料存取請求，而非使雲端儲存伺服器109來回應資料存取請求。
在一些實施例中，該方法包含使用一第一網路儲存協定來在管理伺服器105與雲端儲存伺服器109之間進行雙向資料通信；以及使用一第二網路儲存協定來在管理伺服器105與雲端遊戲伺服器103之間進行雙向資料通信，其中，第二網路儲存協定不同於第一網路儲存協定。在一些實施例中，第二網路儲存協定係PCIe。
在一些實施例中，資料存取請求係掛載一特定資料分組之一請求。在一些實施例中，特定資料分組係一資料對象、一資料檔案或一資料區塊。在一些實施例中，特定資料分組係視訊遊戲之一保存資料磁碟鏡像，該保存資料磁碟鏡像包含使用者玩視訊遊戲之保存資料。該方法亦包含在管理伺服器105處接收後續資料存取請求， 其中，後續資料存取請求由在雲端遊戲伺服器103上執行之視訊遊戲發出，且其中，後續資料存取請求係針對特定資料分組。該方法亦包含使用管理伺服器105中之高速資料儲存裝置371來回應後續資料存取請求，而非使雲端儲存伺服器109來回應後續資料存取請求。
在一些實施例中，一後續資料存取請求係一讀取API呼叫或一寫入API呼叫或一卸載API呼叫或一提交API呼叫。在一些實施例中，該方法包含操作管理伺服器105以藉由將資料寫入至管理伺服器105內之高速儲存裝置371內的特定資料分組中來回應寫入API呼叫。在一些實施例中，該方法包含操作管理伺服器105以藉由將資料寫入至管理伺服器105內之高速儲存裝置371內之特定資料分組及雲端儲存伺服器109中之資料儲存裝置389中之特定資料分組兩者中來回應寫入API呼叫。在一些實施例中，該方法包含操作管理伺服器105以藉由自管理伺服器105內之高速儲存裝置371內的特定資料分組讀取資料來回應讀取API呼叫。在一些實施例中，該方法包含操作管理伺服器105以藉由確保當前在管理伺服器105內之高速儲存裝置371內之特定資料分組中的所有資料當前亦存在於雲端儲存伺服器109內之資料儲存裝置389中的特定資料分組中來回應卸載及提交API呼叫。
在一些實施例中，管理伺服器105-1至105-X之CPU 365經配置以實施圖4之方法，包含與圖4之方法相關聯的任何可选及/或輔助操作。在一些實施例中，用於 執行圖4之方法的操作之電腦可執行程式指令儲存在管理伺服器105-1至105-X之電腦記憶體323中。
如本文所述，向使用者提供存取以在雲端遊戲系統100內玩線上視訊遊戲。可在一寬廣之地理區域上提供對雲端遊戲系統100之存取。雲端計算係一種計算方式，其中，動態可擴展且通常為虛擬化之資源作為一服務透過網際網路提供。使用者無需成為支援其之計算「雲端」中的技術基礎設施之專家。雲端計算可分為不同服務，諸如基礎設施即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)。雲端計算服務通常提供可自一網頁瀏覽器存取之常見線上應用程式，諸如視訊遊戲，而軟體及資料則儲存在雲中之伺服器計算系統上。術語雲端被用作網際網路之一隱喻，其係基於網際網路在電腦網路圖中之描繪方式，且係其隱藏之複雜基礎設施之一抽象概念。
在一些實施例中，一線上視訊遊戲可由一散佈式遊戲引擎執行。在此等實施例中，散佈式遊戲引擎可在複數個處理實體(諸如雲端遊戲伺服器103-1至103-N)上執行，使得每個處理實體執行線上視訊遊戲在其上運行之一給定遊戲引擎之一功能段。每個處理實體皆被遊戲引擎視為僅係一計算節點。遊戲引擎通常執行一系列功能不同之操作，以執行一視訊遊戲應用程式以及一使用者體驗之額外服務。例如，遊戲引擎實施遊戲邏輯，執行遊戲計算、實體、幾何變換、呈現、照明、著色、音訊以及額外之遊戲內或遊戲相關服務。由遊戲引擎執行之額外服務可 包含例如訊息傳遞、社交實用程式、音訊通信、遊戲回放功能、幫助功能等。雖然遊戲引擎有時可在由一特定伺服器之一管理程式虛擬化的一作業系統上執行，但在其他實施例中，遊戲引擎本身散佈在複數個處理實體中，該複數個處理實體中之每一者可駐留在一資料中心之不同伺服器單元上。在一些實施例中，取決於每個遊戲引擎段之需要，複數個處理實體包含一伺服器單元、一虛擬機及一容器中之一者或多者，以及其他類型之處理實體。例如，若一遊戲引擎段負責相機變換，則該特定遊戲引擎段可能配備與一圖形處理單元(GPU)相關聯之一虛擬機，因為其將進行大量相對簡單之數學運算(例如，矩陣變換)。而且，舉例而言，需要更少但更複雜之操作的其他遊戲引擎段可配備有與一或多個更高功率之中央處理單元(CPU)相關聯之一處理實體。在一些實施例中，一單個雲端遊戲伺服器103-1可為不同使用者託管多個輕量級遊戲(其中，權重係就計算資源消耗而言)。在此等實施例中，將共用雲端遊戲伺服器103-1，包含其儲存CPU 331及其他組件。雲端遊戲伺服器103-1之此共用可導致儲存請求及/或負載平衡之不同級別之優先級，因為網路/PCIe連接將被共用且每個使用者應獲得一相當多之時間量。在一些實施例中，單個雲端遊戲伺服器103-1可託管一輕量級遊戲及一重量級遊戲兩者(其中，權重係就計算資源消耗而言)。
藉由散佈遊戲引擎，遊戲引擎具備不受一實體伺服器單元能力限制之彈性計算性質。相反，遊戲引擎 在需要時配備更多或更少之計算節點來滿足線上視訊遊戲之需求。從線上視訊遊戲及一視訊遊戲玩家之角度來看，散佈在多個計算節點上之遊戲引擎與在一單個處理實體上執行之一非散佈式遊戲引擎無區別，因為一遊戲引擎管理器或監督器散佈工作量且將結果無縫結果整合以為玩家提供線上視訊遊戲輸出分量。
在一些實施例中，使用者/玩家透過用戶端裝置(諸如本地計算系統120)存取由雲端遊戲系統100提供之遠端服務，該等用戶端裝置包含一處理器、一顯示器及輸入/輸出(I/O)裝置。在各種實施例中，用戶端裝置可為一個人電腦、一行動電話、一筆記型電腦、一平板電腦、一個人數位助理裝置或其他類型之計算裝置。在一些實施例中，在雲端遊戲伺服器103-1至103-N上執行之一NIC識別用戶端正在使用之用戶端裝置的類型且根據需要調整雲端遊戲伺服器103-1至103-N與用戶端裝置之間之資料通信方法。在一些實施例中，用戶端裝置使用一標準通信方法，諸如HTML(超文字標記語言)或TCP/IP(傳輸控制協定/網際網路協定)或WebRTC(網頁及時通信)等，來透過網際網路對雲端遊戲伺服器103-1至103-N進行存取。
應明白，可為一特定平台及一特定相關聯之控制器裝置開發一給定線上視訊遊戲或遊戲應用程式。然而，當此線上視訊遊戲經由如本文提及之雲端遊戲系統100變得可用時，使用者可能正在使用一不同控制器裝置存取線上視訊遊戲。例如，可能已針對一遊戲控制台及其 相關聯之控制器開發一視訊遊戲，但使用者可能正在利用一鍵盤及一滑鼠自一個人電腦存取一基於雲端之視訊遊戲版本。在此情況下，一輸入參數配置可定義自可由使用者之可用控制器裝置(在此情況下，為鍵盤及滑鼠)產生之輸入至執行基於雲端之視訊遊戲版本可接受的輸入之一一映射。
在另一示例中，一使用者可透過一平板計算裝置、一觸控螢幕智慧型電話或其他觸控螢幕驅動裝置對雲端遊戲系統100進行存取。在此實例中，用戶端裝置及控制器裝置一起整合在同一裝置中，其中，藉由經偵測觸控螢幕輸入/手勢提供輸入。對於此種裝置，一輸入參數配置可定義對應於視訊遊戲之遊戲輸入的特定觸控螢幕輸入。例如，可在線上視訊遊戲之運行期間顯示或覆蓋按鈕、一方向墊及/或其他類型之輸入元件以指示觸控螢幕上使用者可觸控以產生一遊戲輸入之位置。而且，諸如沿特定方向滑動或具體觸控動作之手勢亦可被偵測為遊戲輸入。在一些實施例中，例如，在開始玩線上視訊遊戲之前，可向使用者提供指示如何透過觸控螢幕提供輸入以進行遊戲之一教程，以便使使用者適應觸控螢幕上之控件的操作。
在一些實施例中，用戶端裝置用作一控制器裝置之一連接點。更具體言之，控制器裝置透過一無線或有線連接與用戶端裝置通信以將輸入自控制器裝置傳輸至用戶端裝置。用戶端裝置繼而可處理此等輸入且透過網路 123將輸入資料傳輸至雲端遊戲伺服器103-1至103-N，該雲端遊戲伺服器可透過諸如一路由器之一本地聯網裝置進行存取。然而，在其他實施例中，控制器本身可為具有將輸入直接透過網路123傳達至雲端遊戲伺服器103-1至103-N之一能力的一聯網裝置，而無需首先透過用戶端裝置傳達此等輸入。例如，控制器可連接至一本地網路裝置(諸如上述路由器)以向雲端遊戲伺服器103-1至103-N發送資料及自該雲端遊戲伺服器接收資料。因此，雖然用戶端裝置可能仍需要自基於雲端之視訊遊戲接收視訊輸出且將其呈現在一本地顯示器上，但可藉由允許控制器直接透過網路將輸入資料發送至雲端遊戲伺服器103-1至103-N來減少輸入延時，以便繞過用戶端裝置。
在一些實施例中，一聯網控制器及一用戶端裝置可經配置以將某些類型之輸入直接自控制器發送至雲端遊戲伺服器103-1至103-N，以及透過用戶端裝置將其他類型之輸入發送至雲端遊戲伺服器103-1至103-N。例如，其偵測不取決於除控制器本身之外之任何額外硬體或處理之輸入可透過網路123自控制器直接發送至雲端遊戲伺服器103-1至103-N，以便繞過用戶端裝置。此等輸入可包含按鈕輸入、操縱桿輸入、嵌入式運動偵測輸入(例如，自一加速度計、一磁力計及/或一陀螺儀獲得之輸入)以及其他類型之輸入。然而，利用額外硬體或需要用戶端裝置處理之輸入可自控制器發送至用戶端裝置，且然後自用戶端裝置發送至雲端遊戲伺服器103-1至103-N。此等輸入可包 含自遊戲環境擷取之視訊或擷取之音訊，該視訊或音訊在被傳輸至雲端遊戲伺服器103-1至103-N之前可能需要由用戶端裝置進行處理。另外，來自控制器之運動偵測硬體的輸入可由用戶端裝置結合經擷取視訊進行處理以偵測控制器之位置及運動，隨後由用戶端裝置將該位置及運動傳達至雲端遊戲伺服器103-1至103-N。應理解，根據各種實施例之控制器裝置亦可自用戶端裝置或直接自雲端遊戲伺服器103-1至103-N接收資料(例如，回饋資料)。
本發明之實施例可利用各種電腦系統配置來實踐，該等電腦系統配置包含手持式裝置、微處理器系統、基於微處理器或可程式化之消費型電子產品、小型電腦、大型電腦及諸如此類。本發明之實施例亦可在散佈式計算環境中實踐，在散佈式計算環境中，任務係由透過一基於有線之網路或無線網路鏈接之遠端處理裝置執行。
儘管本文中一些方法操作可以一特定次序描述，但應理解，其他內務處理操作可在方法操作之間執行，及/或方法操作可經調整使得其在稍微不同之時間發生，或可散佈在允許處理操作以與處理相關聯之各種間隔發生之一系統中，只要方法操作之處理以提供方法之一成功實施之一方式執行即可。
本文揭示之一些實施例可經製造為一電腦可讀媒體上之電腦可讀碼。電腦可讀媒體係可儲存資料之任何資料儲存裝置，該資料隨後可由一電腦系統讀取。電腦可讀媒體之實例包含硬碟機、網路附接儲存裝置(NAS)、 唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶以及其他光學及非光學資料儲存裝置。在一些實施例中，電腦可讀媒體可包含散佈在一耦合網路之電腦系統上之電腦可讀有形媒體，使得電腦可讀碼以一散佈方式儲存及執行。
實施例之前述描述已出於說明及描述目的而提供，且並非旨在窮舉或限制。一特定實施例之個別元件或特徵通常不限於該特定實施例，而是在適用之情況下係可互換的且可在一選定實施例中使用，即使未具體展示或描述。以此方式，來自本文揭示之一或多個實施例之一或多個特徵可與來自本文揭示之一或多個其他實施例之一或多個特徵組合以形成本文未明確揭示而是隱含地揭示之另一實施例。此其他實施例亦可以諸多種方式變化。此等實施例變動不應被視為背離本文之揭示內容，且所有此等實施例變動及修改旨在包含在本文提供之揭示內容的範圍內。
儘管先前實施例已出於清楚理解之目的加以詳細描述，但應明白，可在隨附申請專利範圍之範疇內進行某些改變及修改。因此，本文揭示之實施例應被視為說明性的而非限制性的，且因此並不僅限於本文中給出之細節，而是可在隨附申請專利範圍之範疇及等效物內加以修改。
103-1:雲端遊戲伺服器
105-1:管理伺服器
109-1:雲端儲存伺服器
109-Y:雲端儲存伺服器
119:高速資料儲存裝置
305:PCIe(周邊組件互連快速)交換機
307:PCIe鏈路
311:根複合體
313:PCIe埠
315:PCIe埠
316:PCIe埠
317:根複合體
319:PCIe埠
321:NTB
323:電腦記憶體
325:CPU
327:內部資料匯流排
329:GPU
331:儲存CPU
333:解密/加密引擎
335:解壓/壓縮引擎
337:電腦記憶體
339DMA:控制器
341:NVMe SSD
343:PCIe鏈路
345:PCIe埠
347:SATA控制器
349:PCIe鏈路
351:PCIe埠
353:HDD
355:啟用PCIe之組件裝置
357:PCIe埠
359:PCIe鏈路
361:線/連接
363:線/連接
365:CPU
367:內部資料匯流排
369:GPU
371:NVMe SSD
373:NIC
375:門鈴暫存器
377:電腦記憶體323的指定部分
379:箭頭
381:輸出記憶體管理單元(IOMMU)
383:IOMMU
387-1:網路介面卡(NIC)
387-Y:NIC
389-1:HDD
389-Y:HDD
390:雲端儲存系統
392:連接
393:NIC
394:連接

Claims (25)

  1. 一種雲端遊戲系統，其包括：一雲端遊戲伺服器，其經配置以根據自一使用者之一控制器裝置接收之輸入來執行一視訊遊戲，該雲端遊戲伺服器經配置以指示將反映該使用者玩該視訊遊戲之一視訊串流傳輸至該使用者之一本地計算系統；一雲端儲存伺服器，其包含用於儲存該使用者之使用者資料的一資料儲存裝置，該使用者資料包含記錄該使用者玩該視訊遊戲之資料；及與該雲端遊戲伺服器及該雲端儲存伺服器進行資料通信之一管理伺服器，該管理伺服器包含一高速資料儲存裝置，該高速資料儲存裝置以比該雲端儲存伺服器內之該資料儲存裝置更高之一資料速率及更低之一延時而操作，該管理伺服器經程式化以接收由在該雲端遊戲伺服器上執行之該視訊遊戲發出之一控制路徑應用程式設計介面(API)呼叫，該管理伺服器經程式化以藉由在擷取出的資料被該視訊遊戲所請求之前從該雲端儲存伺服器內之該資料儲存裝置中擷取出與該控制路徑API呼叫相關聯之資料來回應該控制路徑API呼叫，該管理伺服器經程式化以將該擷取出的資料儲存在該高速資料儲存裝置中，該管理伺服器經程式化以接收由該視訊遊戲發出之一後續的資料路徑API呼叫，該管理伺服器經程式化以使用該高速資料儲存裝置來回應該後續的資料路徑API呼叫，而非使該雲端儲存伺服器回應該後續的資料路徑API呼叫。
  2. 如請求項1之雲端遊戲系統，其中，該控制路徑API呼叫係掛載一特定資料分組之一請求。
  3. 如請求項2之雲端遊戲系統，其中，該特定資料分組係一資料對象、一資料檔案或一資料區塊。
  4. 如請求項2之雲端遊戲系統，其中，該特定資料分組係用於該視訊遊戲之一保存資料磁碟鏡像，該保存資料磁碟鏡像包含該使用者玩該視訊遊戲之保存資料。
  5. 如請求項2之雲端遊戲系統，其中，該後續的資料路徑API呼叫為一讀取API呼叫或一寫入API呼叫。
  6. 如請求項5之雲端遊戲系統，其中，該管理伺服器經程式化以藉由將資料寫入至高速儲存裝置內之該特定資料組中來回應該寫入API呼叫。
  7. 如請求項5之雲端遊戲系統，其中，該管理伺服器經程式化以藉由將資料寫入至高速儲存裝置內之該特定資料分組及該雲端儲存伺服器內之該資料儲存裝置中之該特定資料分組兩者中來回應該寫入API呼叫。
  8. 如請求項5之雲端遊戲系統，其中，該管理伺服器經程式化以藉由自高速儲存裝置內之該特定資料組讀取資料來回應該讀取API呼叫。
  9. 如請求項5之雲端遊戲系統，其中，該管理伺服器經程式化以藉由確保當前在高速儲存裝置內之該特定資料分組中的所有資料當前亦存在於該雲端儲存伺服 器內之該資料儲存裝置中的該特定資料分組中來回應一後續的卸載API呼叫或一後續的提交API呼叫。
  10. 如請求項1之雲端遊戲系統，其中，該雲端儲存伺服器內之該資料儲存裝置係一硬碟機，且該高速儲存裝置係一非揮發性記憶體快速固態磁碟機。
  11. 如請求項1之雲端遊戲系統，其中，該管理伺服器經程式化以使用一第一網路儲存協定與該雲端儲存伺服器進行雙向資料通信，該管理伺服器亦經程式化以使用不同於該第一網路儲存協定之一第二網路儲存協定與該雲端遊戲伺服器進行雙向資料通信。
  12. 如請求項11之雲端遊戲系統，其中，該第二網路儲存協定係周邊組件互連快速協定。
  13. 一種用於操作一雲端遊戲系統之方法，該方法包括：根據自一使用者之一控制器裝置接收的輸入在一雲端遊戲伺服器上執行一視訊遊戲；操作該雲端遊戲伺服器以指示將反映該使用者玩該視訊遊戲之一視訊串流傳輸至該使用者之一本地計算系統；將該使用者之使用者資料儲存在一雲端儲存伺服器中，該使用者資料包含記錄該使用者玩該視訊遊戲之資料；在一管理伺服器處接收一控制路徑應用程式設計介面(API)呼叫，該控制路徑API呼叫由在該雲端遊戲伺服器上執行之該視訊遊戲所發出，該控制路徑API呼叫與儲存在 該雲端儲存伺服器內之一資料儲存裝置中的資料相關聯；操作該管理伺服器以藉由在擷取出的資料被該視訊遊戲所請求之前從該雲端儲存伺服器內之該資料儲存裝置中擷取出與該控制路徑API呼叫相關聯之資料來回應該控制路徑API呼叫；操作該管理伺服器以將該擷取出的資料儲存該管理伺服器內之一高速資料儲存裝置中，該高速資料儲存裝置以比該雲端儲存伺服器內之該資料儲存裝置更高之一資料速率及更低之一延時而操作；及使用該管理伺服器中之該高速資料儲存裝置來回應由該視訊遊戲發出之一後續的資料路徑API呼叫，而非使該雲端儲存伺服器來回應該後續的資料路徑API呼叫。
  14. 如請求項13之方法，其中，該控制路徑API呼叫係掛載一特定資料分組之一請求。
  15. 如請求項14之方法，其中，該特定資料分組係一資料對象、一資料檔案或一資料區塊。
  16. 如請求項14之方法，其中，該特定資料分組係該視訊遊戲之一保存資料磁碟鏡像，該保存資料磁碟鏡像包含該使用者玩該視訊遊戲之保存資料。
  17. 如請求項14之方法，其進一步包括：在該管理伺服器處接收後續資料路徑API呼叫，該等後續資料路徑API呼叫由在該雲端遊戲伺服器上執行之該視訊遊戲發出，該等後續資料路徑API呼叫係針對該特定資料分組；及 使用該管理伺服器中之該高速資料儲存裝置來回應該等後續資料路徑API呼叫，而非使該雲端儲存伺服器來回應該等資料路徑API呼叫。
  18. 如請求項17之方法，其中，一後續資料路徑API呼叫係一讀取API呼叫或一寫入API呼叫。
  19. 如請求項18之方法，其進一步包括：操作該管理伺服器以藉由將資料寫入至高速儲存裝置內之該特定資料分組中來回應該寫入API呼叫。
  20. 如請求項18之方法，其進一步包括：操作該管理伺服器以藉由將資料寫入至高速儲存裝置內之該特定資料分組及該雲端儲存伺服器內之該資料儲存裝置中之該特定資料分組兩者中來回應該寫入API呼叫兩者。
  21. 如請求項18之方法，其進一步包括：操作該管理伺服器以藉由自高速儲存裝置內之該特定資料分組讀取資料來回應該讀取API呼叫。
  22. 如請求項18之方法，其進一步包括：操作該管理伺服器以藉由確保當前在高速儲存裝置內之該特定資料分組中的所有資料當前亦存在於該雲端儲存伺服器內之該資料儲存裝置中的該特定資料分組中來回應一後續的卸載API呼叫或一後續的提交API呼叫。
  23. 如請求項13之方法，其中，該雲端儲存伺服器內之該資料儲存裝置係一硬碟機，且該高速儲存裝置係非揮發性記憶體快速固態磁碟機。
  24. 如請求項13之方法，其進一步包括：使用一第一網路儲存協定來在該管理伺服器與該雲端儲存伺服器之間進行雙向資料通信；及使用一第二網路儲存協定來在該管理伺服器與該雲端遊戲伺服器之間進行雙向資料通信，其中，該第二網路儲存協定不同於該第一網路儲存協定。
  25. 如請求項24之方法，其中，該第二網路儲存協定係周邊組件互連快速協定。
TW110123542A 2020-07-01 2021-06-28 雲端遊戲系統及操作雲端遊戲系統之方法 TWI793654B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063047183P 2020-07-01 2020-07-01
US63/047,183 2020-07-01
US17/107,329 2020-11-30
US17/107,329 US11623140B2 (en) 2020-07-01 2020-11-30 High-speed save data storage for cloud gaming

Publications (2)

Publication Number Publication Date
TW202203214A TW202203214A (zh) 2022-01-16
TWI793654B true TWI793654B (zh) 2023-02-21

Family

ID=79166538

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110123542A TWI793654B (zh) 2020-07-01 2021-06-28 雲端遊戲系統及操作雲端遊戲系統之方法

Country Status (6)

Country Link
US (2) US11623140B2 (zh)
EP (1) EP4175727A1 (zh)
JP (1) JP2023532484A (zh)
CN (1) CN115867366A (zh)
TW (1) TWI793654B (zh)
WO (1) WO2022005856A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210308576A1 (en) * 2020-04-07 2021-10-07 CEO Vision, Inc (dba Croquet Studios) Systems and methods for an object movement engine in a gaming environment
US11573718B2 (en) * 2021-02-12 2023-02-07 Western Digital Technologies, Inc. Disaggregation of control path and data path
US20210203704A1 (en) * 2021-03-15 2021-07-01 Intel Corporation Cloud gaming gpu with integrated nic and shared frame buffer access for lower latency
US11748291B2 (en) * 2021-06-08 2023-09-05 Dell Products, Lp System and method for fabricating and executing a wireless gaming keyboard and mouse adapter system
US11836356B2 (en) * 2022-01-14 2023-12-05 Dell Products L.P. Snapshots with smart network interface controller
CN114745271B (zh) * 2022-04-22 2023-09-08 苏州浪潮智能科技有限公司 一种云游戏服务器优化方法、服务器及存储介质
CN116233520B (zh) * 2023-05-06 2023-07-25 海马云（天津）信息技术有限公司 传递和获取视频数据的方法及装置、服务器设备和存储介质
CN117744118B (zh) * 2023-12-21 2024-05-28 北京星驰致远科技有限公司 一种基于fpga的高速加密存储装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160023109A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment America Llc Save Game Load Time Reduction for Cloud Gaming
TWI560628B (en) * 2011-02-15 2016-12-01 Microsoft Technology Licensing Llc Method, system, and processor readable storage device for providing applications with personalized and contextually relevant content
US20170216720A1 (en) * 2016-02-02 2017-08-03 Sony Interactive Entertainment America Llc Systems and methods for downloading and updating save data to a data center
TWI634927B (zh) * 2015-03-06 2018-09-11 新力電腦娛樂美國有限責任公司 經由雲端進行的應用之預測性即時遊玩

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313569B2 (en) * 2013-10-22 2016-04-12 Voyetra Turtle Beach, Inc. Networked gaming headset
US11080245B2 (en) 2017-02-10 2021-08-03 DaStratum, Inc. Multi-tier cloud file system
US11461470B2 (en) * 2020-06-26 2022-10-04 Bank Of America Corporation System and method for providing an application programming interface (API) based on performance and security

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI560628B (en) * 2011-02-15 2016-12-01 Microsoft Technology Licensing Llc Method, system, and processor readable storage device for providing applications with personalized and contextually relevant content
US20160023109A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment America Llc Save Game Load Time Reduction for Cloud Gaming
WO2016014603A1 (en) * 2014-07-22 2016-01-28 Sony Computer Entertainment America Llc Save game load time reduction for cloud gaming
TWI634927B (zh) * 2015-03-06 2018-09-11 新力電腦娛樂美國有限責任公司 經由雲端進行的應用之預測性即時遊玩
US20170216720A1 (en) * 2016-02-02 2017-08-03 Sony Interactive Entertainment America Llc Systems and methods for downloading and updating save data to a data center

Also Published As

Publication number Publication date
CN115867366A (zh) 2023-03-28
EP4175727A1 (en) 2023-05-10
US11623140B2 (en) 2023-04-11
JP2023532484A (ja) 2023-07-28
WO2022005856A1 (en) 2022-01-06
TW202203214A (zh) 2022-01-16
US20220001279A1 (en) 2022-01-06
TW202320062A (zh) 2023-05-16
US20230241494A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
TWI793654B (zh) 雲端遊戲系統及操作雲端遊戲系統之方法
TWI845935B (zh) 實施用於雲端遊戲資料儲存及擷取之高速資料通信組構之系統及方法
KR101993915B1 (ko) 원격으로 액세스되는 데이터의 효율적인 라이브-이송
US9032164B2 (en) Apparatus for performing storage virtualization
Bradford et al. Live wide-area migration of virtual machines including local persistent state
US11645218B2 (en) Network architecture providing high speed storage access through a PCI express fabric between a compute node and a storage server within an array of compute nodes
US11561915B2 (en) Remote sharing of directly connected storage
US20200334177A1 (en) Host system directly connected to internal switching fabric of storage system
US10740259B1 (en) Host mapping logical storage devices to physical storage devices
US8074003B1 (en) Host-based storage controller providing block devices in geographically distributed storage
CN115129625A (zh) 外围设备中的增强的存储协议仿真
TWI855519B (zh) 雲端遊戲系統及操作雲端遊戲系統之方法
US11442860B2 (en) Host cache coherency when reading data
US10970219B2 (en) Host cache coherency when modifying data
US20210216215A1 (en) Data compression for directly connected host
Koukis et al. GMBlock: Optimizing data movement in a block-level storage sharing system over myrinet
TW202205106A (zh) 內容提供商系統及用於內容提供商系統的方法
Ngoc et al. Flexible NVMe request routing for virtual machines