TW201119401A - System and method for compressing video frames or portions thereof based on feedback information from a client device - Google Patents

Description

201119401 六、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於改良使用者操控及存取音訊及視 訊媒體之能力的資料處理系統之領域。 本申請案主張2009年3月23曰申請之題為「System And

Method For Compressing Video Using Feedback」的美國臨 時申明案第61/210,888號之優先權’該臨時申請案為2009 年 1月 23 日申請之題為「System And Method for protecting

Certain Types of Multimedia Data Transmitted Over A Communication Channel」的同在申請中之美國申請案第 12/359,150號之部分接續申請案，且為2〇〇7年η月5曰申請 之題為「Hosting And Broadcasting Virtual Events Using Streaming Interactive Video」的同在申請中之美國申請案 第11/999,475號之接續申請案，該接續申請案為2〇〇2年12 月 10 日申請之題為「Apparatus and Method for Wireless Video Gaming」的申請案第i〇/315,460號之部分接續（CIP) 申請案，其讓與給本CIP申請案之受讓人。 【先前技術】 §己錄之音§fl及動畫媒體自托馬斯·愛迪生（Thomas Edison)之時代起已成為社會之一態樣。在20世紀開始時， 已廣泛散佈記錄之音訊媒體（磁枉及記錄器）及動畫媒體（五 分錢劇院（nickelodeon)及電影），但該兩種技術仍處於其初 期。在2 0世紀2 0年代末期，動畫大量地與音訊組合，繼而 產生具有音訊之彩色動畫。收音機廣播逐漸演進成主要由 147159.doc 201119401 廣告支援之形式的廣播大眾市場音訊媒體。在2〇世紀4〇年 代中期建立電視（τν)廣播標準後，廣播電視作為廣播大眾 市％媒體之形式將先前記錄之動畫或實況動畫帶入至家庭 中。 到20世紀中期，大百分率的美國家庭擁有用於播放記錄 之音訊媒體之唱片播放器、用以接收實況廣播音訊之收音 機及用以播放實況廣播音訊/視訊（A/V)媒體之電視機。常 常將此3個「媒體播放器」（唱片播放器、收音機及τν)址 合在-個共用共同揚聲器之櫃子中，其成為家庭之「媒體 中心」。雖然對消費者而言媒體選擇係有限的，但媒體 「生態系統（ee°SyStem)」相當敎。大多數消費者知道如 何使用「媒體播放器」且能夠充分享受該等媒體播放器之 能力。同日夺’媒體之發行者(主要為動畫及電視工作室， 及音樂公司）能夠將其媒體散佈給劇院及家庭，而不遭成 廣泛的盜版或「二次銷售」(亦即，舊媒體之轉售)問題： 發行者不自二次銷售得到收益，且因此，二次 減少發行者可能另外自新銷售的舊媒體之購買者得到之收 益。雖然肯定存在於20世紀中期期間銷售的 =對於唱片發行者並無大的影響，因為不同於成二 “欠看-次或僅幾次之動畫或視訊節目， 被收聽幾百次或甚至幾千次。 曰”可能 比，音半媒體更不二 動晝/視訊媒體相 日樂媒體更不易壞(亦即’音樂媒體 :有：留價值)。-旦購買了，，若消費者直= 樂，消費者即可能長時間保留該音樂。 。愛5亥曰 147159.doc 201119401 自2 0世 '、’己中期至今，媒體生態系統已經歷了消費者及發 打者之广益及損失的一系列根本變化。隨著音訊記錄器 (尤其是具有高品質立體聲之卡式磁帶)之廣泛引入，消費 者之便利程度無疑更高。但此亦標誌著消費型媒體之普遍 慣例：盜版之開始。毫無疑問，許多消費者純粹為了便利 而使用卡式磁帶對其自己的唱片錄音，但越來越多的消費 者（例如，㈣宿舍中準備好存取彼此之唱片收藏的學生） 會作出盜版複本。此外，消f者會用磁帶錄音經由收音機 播放之音樂，而非自發行者購買唱片或磁帶。 消費型VCR之出現導致更多的消費者便利，因為現在一 VCR可經設定以記錄可在稍後時間觀看之τν節目，且vcr 亦導致視訊租賃行業之形成，其中可按需要存取電影以及 TV節目。大眾市場家庭媒體器件自2〇世紀8〇年代中期以 來的快速發展已導致消費者之史無前例的選擇及便利程 度，且亦已導致媒體發行市場之快速擴張。 現今，消費者面臨著過剩的媒體選擇以及過剩的媒體器 件，其中之許多者受特定媒體形式或特定發行者束缚。貪 心的媒體消費者在家中的各個房間中可能具有連接至τν 及電腦之器件堆疊，從而導致至—或多個電視機及/或個 人電腦（PC)之「鼠巢（rat，s nest)」狀電纜以及一組遙控 器。（在本申請案之内容背景中，術語「個人電腦」或 「PC」指代適合吾人在家庭或辦公室使用的任何種類之電 腦，包括桌上型電腦、Macintosh®電腦或其他非wind_ 電腦、Windows相容器件、Unix變體、膝上型電腦等。）此 147159.doc 201119401 等器件可包括視訊遊戲控制台、VCR、DVD播放器、音訊 繞聲處理器/放大器、衛星視訊轉換器、有線電視視訊 轉換器等。且’對於貪心的消費者，由於相容性問題，可 能存在多個功能類似之器件。舉例而言，消費者可能擁有 HD-DVD播放器及Blu-ray DVD播放器兩者，或Micr〇s〇ft Xbox®視訊遊戲系統及Sony Playstation®視訊遊戲系統兩 者。實際上，由於一些遊戲在遊戲控制台之版本上的不相 容性’故消費者可能擁有XBox與較新版本，諸如Xb〇x 360®。消費者常常關於使用哪個視訊輸入及哪個遙控器而 感到迷惑。即使在將碟片置放至正確的播放器（例如， DVD、HD-DVD、Blu-ray、Xbox或 Playstation)中，為該器 件選擇了視訊及音訊輸入’且找到正確的遙控器之後，消 費者仍面臨技術挑戰。舉例而言，在寬螢幕DVD之情況 下，使用者可能必須首先確定且接著設定其電視或監視器 螢幕之正確縱橫比（例如，4:3、全螢幕（FuU)、縮放 (Zoom)、寬螢幕縮放（Wide Zoom)、劇院寬螢幕（Cinema Wide)等）。類似地，使用者可能必須首先確定且接著設定 正確的音訊環繞聲系統格式（例如，AC-3、杜比數位 (Dolby Digital)、DTS等消費者時常未意識到其可能並 未以其電視或音訊系統之全部能力欣賞媒體内容（例如， 觀看以錯誤縱橫比壓製的電影，或以立體聲而非以環繞聲 收聽音訊）。 基於網際網路之媒體器件已日益地加入到該器件堆疊 中。如Sonos®數位音樂系統之音訊器件直接自網際網路以 147159.doc 201119401 串流形式接收音訊。同樣地，如Slingb〇xTM娱樂播放器之 器件記錄視訊且經由一家庭網路以串流形式接收該視訊或 經由網際網路以串流形式輸出該視訊，可經由網際網路在 pc上遠端地觀看該視訊。網際網路協定電視（ιρτν)服務經 由數位用戶線（DSL)或其他家庭網際網路連接提供類似於 有線電視之服務。最近亦努力將多個媒體功能整合至單一 器件中，諸如執行Windows ΧΡ媒體中心版本iM〇xi⑧媒體 中心及PC。雖然此等器件中之每一者提供便利器件執行之 功能的元件，但每一器件缺少存取大部分媒體之普遍存在 且簡單的方法。此外，往往由於需要昂貴的處理及/或區 域儲存器，此等器件之製造費用常常高達數百美元。另 外，此等現代消費型電子器件通常消耗大量電力（即使在 閒置時），此意謂著該等器件隨時間流逝而花費大且浪費 能源資源。舉例而t，器件可在消費者忘記關閉器件或切 換至不同視訊輸入的情況下繼續操作。且，因為該等器件 中之任一者均非一完全解決方案’所以器件必須與家庭中 之另一器件堆疊整合，其仍留給使用者鼠巢狀的電線及許 多遙控器。 此外，當許多較新的基於網際網路之器件正常工作時， 該等器件通常以比其可能以其他方式得到的形式更一般的 形式提供媒體。舉例而言，經由網際網路以串流形式接收 視訊之器件經常僅以串流形式接收視訊材料，但不以串流 形式接收經常伴隨DVD之互動式「額外内容」，如視訊、L 遊戲之製作」或導演解說。此歸因於以下事實：互動式 147159.doc 201119401 · 材料常常以―特定器件的特定格式產生，意欲用於在本端 處置互動性。舉例而言，DVD、HD_DVC^ Blu_ray碟片中 之每一者具有I自身的特定互動格<。可經發I以支援所 有大眾化格式之任何家庭媒體器件或本端電腦需要—定程 度之完善度及靈活性，其很可能使消費者之操作花費過大 且太過複雜。 使問題增加的;I：，若稍後在未來引入一新格 <，則本端 器件可能不具有支援該新格式之硬體能力，此將意謂著消 費者不得不購買一升級後的本端媒體器件。舉例而言，若 在一稍後日子引入較高解析度視訊或立體視訊（例如，每 一眼一視訊串流）’則本端器件可能不具有解碼該視訊之 計算能力，或本端器件可能不具有以該新格式輸出視訊之 硬體（例如，假設立體視覺係經由與快門眼鏡（shuttered glasses)同步之120 fps視訊（60 fpS傳遞至每一眼）達成，若 消費者之視訊硬體僅可支援60 fps視訊，則此選項在未賭 買經升級硬體的情況下不可用）。 媒體器件之退化及複雜性問題在其遇到完善的互動式媒 體（尤其是視訊遊戲）時成為一嚴重問題。 將現代視訊遊戲應用程式主要劃分成四個主要的非可攜 式硬體平台：Sony PlayStation® 1、2及 3(PS1、PS2 及 PS3) ； Microsoft xbox® 及 Xbox 360® ;及 Nintendo Gamecube®及1Wii™ ;及基於PC之遊戲。此等平台中之每 一者彼此不同，因此經撰寫以在一個平台上執行之遊戲通 常不能在另一平台上執行。一代器件與下一代器件之間亦 147159.doc -9- 201119401 可能存在相容性問題。即使大多數軟體遊戲開發者創造獨 立於一特定平台而設計之軟體遊戲，以在一特定平台上執 行一特定遊戲’亦需要一軟體專屬層（常常稱為「遊戲開 發引擎」）以使該遊戲適合在一特定平台上使用。每一平 台係作為一「控制台」（亦即，附接至一τν或監視器/揚聲 器之獨立盒）銷售給消費者，或其本身為一 PC。通常，該 等視訊遊戲係以諸如Blu-ray DVD、DVD-ROM或CD-ROM 之光學媒體銷售’其含有具體化為一完善的即時軟體應用 程式之視訊遊戲。由於家庭寬頻速度已增加，故視訊遊戲 越來越多地可以下載方式獲得。 歸因於高級視訊遊戲之即時性質及高計算需求，達成與 視訊遊戲軟體之平台相容性的特異性需求極其嚴格。舉例 而言，吾人可能希望一代視訊遊戲至下一代視訊遊戲之完 全遊戲相容性（例如’自χΒ〇χ至χΒ〇Χ 360，或自

Playstation 2(「PS2」）至Playstation 3(「PS3」），就像生 產力應用程式（例如’ Microsoft Word)在一 PC與另一具有 更快處理單元或核心之PC之間存在一般相容性。然而，對 於視訊遊戲情況並非如此。因為視訊遊戲製造商通常在發 行一代視訊遊戲時在一給定價格點尋求最高可能效能，所 以經常對系統作出顯著建築變化，使得針對上一代系統撰 寫之許多遊戲不能在稍後代系統上工作。舉例而言， XBox係基於X86系列處理器，而XBox 360係基於p〇werpc 系列。 可利用技術來仿真一先前架構，但若視訊遊戲為即時應 147159.doc 201119401 用私式’則在仿真中達成完全相同的行為經常難以實現。 此對消費者、視訊遊戲控制台製造商及視訊遊戲軟體發行 者不利ϋ肖費者而言’其意謂著必需保持舊代及新代之 視遢遊戲控制台連接至丁ν才能夠玩所有遊戲。對於控制 台製造商’其意謂著與新控制台之仿真及較慢採用相關聯 之費用。而對發行者而言，其意謂著可能不得不發行新遊 戲之多個版本以獲得所有可能消費者，不僅發行針對視訊 遊戲之母00牌（例如，XBox、Playstation)的版本，而且 吊吊發行針對一給定品牌之每一版本（例如，ps2及pS3)的 版本。舉例而言，針對平台中之XBox、XBox 360、PS2、 PS3、Gamecube、Wii 及 PC 開發 Electronic Arts 之「Madden NFL 08」的單獨版本。 諸如蜂巢式（「行動」）電話及可攜式媒體播放器之可攜 式器件亦對遊戲開發者提出挑戰。越來越多的此等器件連 接至無線資料網路且能夠下載視訊遊戲。但是，市場上存 在多種行動電話及媒體器件，其具有廣泛之不同顯示解析 度及計算能力。此外，因為此等器件通常具有電力消耗、 費用及重量約束，所以該等裝置通常缺少如圖形處理單元 (「GPU」）之高級圖形加速硬體，諸如由Santa ciara，Ca 之NVIDIA製造之器件。因此，遊戲軟體開發者通常同時 為許多不同類型之可攜式器件開發一給定遊戲標題。使用 者可能發現一給定遊戲標題不能用於其特定行動電話或可 攜式媒體播放器。 就家庭遊戲控制台而言，硬體平台製造商通常為了能夠 147159.doc 201119401 在其平台上發佈一遊戲而向軟體遊戲開發者支付版稅。行 動電話無線載體亦通常為了將一遊戲下載至行動電話而向 遊戲發行者支付版稅。就PC遊戲而言，無需為了發行遊戲 而支付版稅，但遊戲開發者通常面臨高費用，此歸因於用 以支援廣泛範圍之PC組態及可能出現的安裝問題的較高用 戶碥服務負擔。此外，PC通常呈現對遊戲軟體之盜版的較 少阻礙，因為PC容易由技術熟練者重新程式化，且遊戲可 能較谷易被么版且較容易散佈（例如，經由網際網路）。因 此，對軟體遊戲開發者而言，在於遊戲控制台、行動電話 及PC上發佈存在費用及缺點。 對控制台及PC軟體之遊戲發行者而言，花費並未就此結 束。為了經由零售渠道散佈遊戲，發行者要求零售商支付 一低於銷售價格之批發價格以使其具有利潤率。發行者亦 通常必須支付製造及散佈保持遊戲之實體媒體之費用。零 售商亦常常要求發行者支付「價格保護費」以為可能的偶 發事件（諸如，遊戲貴不掉的情況，或者遊戲降價的情 況，或者零售商必須退還批發價格之部分或全部及/或自 講買者回收遊戲的情況）支付費用。另外，零售商亦通常 要求發行者支付費用以幫助以廣告傳單形式銷售遊戲。此 外’零售商日益自玩完遊戲之使用者回購遊戲，且接著將 該等遊戲作為舊遊戲（used game)銷售，其通常不與遊戲發 行者共享舊遊戲收益。遊戲經常被盜版且經由網際網路散 佈以供使用者下載及製作免費複本，此增加了遊戲發行者 之費用負擔。 147159.doc 12 201119401 由於網際網路寬頻速度日益增加且寬㈣接在美國及世 界範圍内已變得更加普遍（特別對家庭及出借連接網際網 路之PC的網際網路「咖。非館」而言更是如此)，故遊戲越 來越多地經由下載散佈至Pc或控制台。此外，寬頻連接越 來越多地用於玩多人及大規模的多人線上遊戲（該兩者在 本發明中均以縮寫字「MM0G」指代此等變化降低與 零售散佈相關聯之費用及問題中之一些。下載線上遊戲解 決了對遊戲發行者的不利點中之一些，因為散佈費用通常 較/且為乎不存在未售出媒體之費用。但下載之遊戲仍 遭受盜版’且㈣其大小（大小經常為許多個十億位元 組），下載該等遊戲可能要花相t長時間。另外，多個遊 戲可填滿小型磁碟機，諸如與可攜式電腦或與視訊遊戲控 制台一起銷售之磁碟機。然而，遊戲*MM〇C}需要一線上 連接以使遊戲可玩，盜版問題得以減輕，因為通常需要使 用者具有-有效的使用者帳戶。不同於 • 一相機或一記錄來自揚聲器之音訊之麥二： 線ί生媒體（例如，視訊及音樂），每一視訊遊戲體驗係唯一 的且不旎使用簡單的視訊/音訊記錄來複製。因此，即使 在版權法未嚴格施行且盜版猖獗之區域，亦彳保護 不被盜版，且因此業務可得以支援。舉例而言， S A之「World 〇f Warcraft」MM〇G已在世界範圍内成功部 署而未遭受盜版。因此，許多線上或MM0G遊戲（諸如， Lmden Lab之「Second Life」MM0G)經由内建於遊戲中之 經濟模型（其中資產可買賣且甚至可使用線上工具產生）而 147159.doc •13· 201119401 為遊戲業者產生收益。因此，可使用除習知遊戲軟體購買 或訂用以外的機制來為線上遊戲之使用付費。 儘官歸因於線上或MM〇G2性質常常可減少盜版，但線 上遊戲業者仍面臨剩餘挑戰。許多遊戲需要實質本端（亦 即，豕中）處理資源以使線上或MM〇(3正常工作。若使用 者具有低效能之本端電腦（例如，不具有Gpu之電腦，諸 ^低端膝上型電腦），則其可能不能玩該遊戲。另外，隨 著遊戲控制台變舊，其遠落後於當前技術水平且可能不能 處置更高級遊戲。即使假設使用者之本端PC能夠處置-遊 戲之。十算*求’但常常存在安裝複雜性。可能存在驅動器 :相：(例如’若下載一新遊戲，則其可安裝一圖形驅動 :之一新版本，其使相依於該圖形驅動器之一舊版本之先 月J女裝之遊戲不可操作）。隨著越來越多的遊戲被下載， 工制口可用兀本端磁碟空間。隨著時間的推移，通常在發 現且修正程式錯誤後，或者對該遊戲進行修改（例如，遊 戲1發者發J見遊戲等級太難或太容易玩過的情況）的情 況下，複料戲自韻開發者接收下狀修補程式。此等 修補程式需要新下載。但是有時，不是所有使用者都完成 所有該等修補程放夕 # # ▲ Λ之下載。其他時間，該等下載之修補程 式引入其他相容性或磁碟空間消耗問題。 此外，在玩遊戲期間，可能需要大量資料下載以提㈣ 形或行為資訊至本端PC或控制卜舉例而言，若使用者在 —MM0G進人—相，且遇到由在使用者之本端機器上不 可獲得之圖形資料組成或具有在使用者之本端機器上不可 147I59.doc -14. 201119401 獲得之行為之一場景哎 之眘料“〜戈角色，則必須下載該場景或角色 之網際網路連接不㈣，則此可導致玩遊戲期間 貫延遲。且，若遇到的場景或角色需要超出本端PC 或控制台之儲存空間或計算能力的儲存空間或計算能力， 則其可造成使用者不能繼續玩遊戲或必須以品質降低之 形繼續玩遊戲的情形。因此，線上或咖G遊戲常常限制 f儲存及/或計算複雜性需求。另外，㈣遊戲常常限制 遊戲期間的資料僂谈$旦 .

里。線上或MMOG遊戲亦可縮小可 玩該等遊戲之使用者的市場。 此外’技術熟練者日益逆向王程設計遊戲之本端複本且 修改該等遊戲，使得其可作弊。作弊可像比人類可能快地 重複㈣一按钮一樣簡單（例如’以便極快速地開搶）。在 支援遊戲内資產交易之遊戲中，作弊可達到一定程度之欺 編，其導致涉及具實際經濟價值之資產的詐欺交易。者一 線上或MMOG經濟模型基於此等資產交易時，此可對:戲 業者造成貫質不良後果。

Ik著PC及控制台能夠產生不斷完善之遊戲⑽如，具有 更真貫感化之圖形，諸如即時射線追縱，及更真實感化之 行為，諸㈣時實體模旬，開發一新遊戲之費用已増 長。在視訊遊戲產業之早期，視訊遊戲開發為一極類似於 應用程式軟體開發之過程“亦即，與圖形、音訊及行為要 素或「資產」（諸如’可針對—具有大量特殊效果之動晝 開發的圖形、音訊及行為要素或「資產」）之開發相比， 大部分開發費用用於軟體之開發。現今，相比於軟體開 147159.doc 15· 201119401 發，許多完善的視訊遊戲開發之努力更類似於富含特殊效 果之動晝開發。舉例而言，許多視訊遊戲提供3D世界之模 擬，且越來越多地產生相片真實感化的角色、道具及環境 (亦即，似乎與以攝影方式拍攝之實景影像一樣真實感化 的電腦圖形）〇相片真實感化的遊戲之開發之大部分挑戰 態樣之一為形成一難以與實景人臉區別的電腦產生之人

臉。諸如由 San Francisco，CA 之 Mova開發的 ContourTM

Reality Capture之面部擷取技術以高解析度擷取且追蹤一 處於運動中的表演者之面部之精確幾何形狀。此技術允許 在一 PC或遊戲控制台上再現一實質上難以與一所擷取之實 景面部區別的3D面部。精確地擷取及再現一「相片真實感 化」的人臉在若干方面有用。首先，經常在視訊遊戲中使 用非常容易辨別之名人或運動員（經常以高費用雇用），且 使用者可顯而易見瑕疵，從而使得觀看體驗易分心或不愉 快。常常需要一高細節程度來達成一高的相片真實感化— 需要再現許多多邊形及高解析度紋理，隨著面部移動，多 邊形及/或紋理可能逐圖框變化。 备具有s羊細紋理之高多邊形計數之場景快速變化時，支 援遊戲之pc或遊戲控制台可能不具有足夠RAM來儲存用 於在遊戲片段中產生之所需數目個動畫圖框的足夠多邊形 及紋理資料。此外，通常可用於pc或遊戲控制台之單一光 碟機或單一磁碟機通常比RAM慢得多，且通常跟不上GPU 在再現夕邊形及紋理時可接受之最大資料速率。當前遊戲 通常將該等多邊形及紋理之大部分載入至RAM中，此意謂 I47159.doc 201119401 著一給定場景在複雜性及持續時 間上很大程度上受限於 麗之谷量。舉例而言’就面部動畫而言，此可將PC或 遊戲控制台限於一非相片真實感化之低解析度面部，或者 限於一相片真實感化㈣，其僅可在補暫停且載入更多 圖框之多邊形及紋理（及苴‘ 製作動全。 八貝枓）之刖為有限數目個圖框 當pc或控制台顯示一類似於「載入中」之訊息時，看著 -進度列緩慢地移動通過螢幕係、作為—固有缺點而為現今 複雜視訊遊戲之制者所接受。自磁碟（除非另有限定， 否則本文中之「磁碟」指代非揮發性光學或磁性媒體，以 及諸如半導體「快閃」f己憶體之非磁碟媒體）載入下一場 景時的延遲可為幾秒或甚至幾分鐘。此延遲浪費時間 遊戲玩家而言可為相當令人沮喪的。如先前所論述’大部 分或所有延遲可歸因於多邊形、紋理或其他資料自磁碑之 載入時間，但其亦可為載入時間之部分用於pc或控制台中 之處理器及/或GPU為場景準備資料的情況。舉例而言，一 足球視訊遊戲可允許玩家在許多球員、料、運動場及天 氣條件中進行選擇。因此，視所選擇之特定組合而定，場 景可能需要不同多邊形、紋理及其他資料(共同稱為「物 件」)(例…同球隊之制服具有不同色彩及圖案)。可能 列舉各種排列中之多者或全部且提前預先計算該等物件中 之多者或全^且將該等物件儲存於用以儲存遊戲之磁碟 上。但是’右排列之數目很大，則所有該等物件所需之儲 存空間之量可能過大而不能裝配在磁碟上(或過於不切實 147159.doc 201119401 際而不能下載）。因此’現有PC及控制台系統在給定尸 之複雜性及遊戲持續時間兩方面通常受約束且遭受複雜^ 景之長載入時間。 土每 先前技術視訊遊戲系統及應用程式軟體系統之另一顯— 限制在於，該等系統越來越多地使用（例如）必須载入至p 或遊戲控制台中以進行處理之3D物件（諸如，容.息p 夕进形及紋 理）之大型資料庫。如上文所論述，此等資料庫在本端儲 存於一磁碟上時可耗費一長時間來載入。然而，若資料庫 係儲存於一遠端位置且經由網際網路存取， 、J秋八Bf·間通 常更長。在此情形下，下載一大型資料庫可能耗時幾分 鐘、幾小時或甚至幾天。此外，經常以大的開銷(例如： 供遊戲、電影或歷史紀錄片中使用之詳細的裝有高桅桿之 帆船的3D模型）產生此等資料庫，且打算銷售給本端終端 使用者。然而，該資料庫存在風險：其一旦下載至本端使 用者後即被盜版。在許多情況下，—使用者僅為了評估一 資料庫以看看#是否適合該使用者之需#而想&下載該資 料庫（例如，在該使用者執行一特定移動時，一遊戲角色 之3 D服裝具有一令人滿意之外表或外貌的情況卜長載入 時間可為該使用者在決定購買之前評估該3D資料庫的障 礙。 類似問題出現在MMOG中，特別是允許使用者越來越多 地利用定製角色之遊戲。若一PC或遊戲控制台要顯示一角 色，則其必須存取3D幾何形狀（多邊形、紋理等）以及該角 色之行為(例如’若該角色具有一盾牌(shield)，不管該盾 I47159.doc •18· 201119401 牌是否足夠強以使一矛偏轉)的資料庫。通常，當使用者 第-次玩-MMOG時’角色之許多資料庫已可用二戲之初 始複本獲得，該初始複本可在本端於遊戲之光碟上獲得或 下載至-磁^但是，隨著遊戲進行，若使用者遇❹料 庫不能於本端獲得的角色或物件（例如，若另一使用者已 產生一定製角色）’則在可顯示該角色或物件之前，必須 下載其資料庫。此下載可導致遊戲之實質延遲。 先前技術視訊遊戲控 一挑戰在於，開發一

給定視訊遊戲之完善度及複雜性， 制台之視訊遊戲開發者及發行者的另 視訊遊戲經常需要2至3年的時間及幾千萬美元的費用。若 新視訊遊戲控制台平台係以大致每五年—次的速率引入， 則遊戲開發者必須在㈣戲㈣台發行之前料就開始遊 戲的開發卫作，以使視訊遊戲在新平台發行之同時仍可 用來自競爭製造商之若干控制台有時大約在相同時間發 行（J 在兩年内），但留待查看的是每一控制台之風 行度，例如，哪個控制台會產生最高視訊遊戲軟體鎖量。 舉例而言，在一最近控制台循環中，Microsoft XBox 360 Sony Playstat_ 3及脳如加㈣經排程以大約在大 體相同的時間範圍引入。但在該等引入之前的幾年中，遊 戲開發者實質上必須就哪些控制台平台會比其他平台成功 ,打賭」’且相應地投入其開發資源。動畫製作公司亦必 須在^電影發行之前基於其對該電影之成功可能性之適當 十來刀派其有限的製作資源。若視訊遊戲所需之投資等 、’ s長中貝ij遊戲製作變得越來越像動畫製作，且遊戲 147159.doc •19- 201119401 製作公司基於其對一特定視訊遊戲之未來成功的估計常規 地投入其製作資源。但是’不同於動畫公司’此打賭不僅 僅基於製作本身之成功；實情為’其以意欲用來執行遊戲 的遊戲控制台之成功為基礎。同時發行多個控制台之遊戲 可降低風險，但此額外努力會增加費用，且常常使遊戲之 實際發行延遲。 pc上之應用程式軟體及使用者環境變得更具計算密集 性、動態性及互動性，此不僅使其在視覺上對使用者更有 吸引力，而且使其更有用且直觀。舉例而言，新的鲁 Windows Vista作業系統及Macintosh®作業系統之後續版 本均併有視覺動畫效果。諸如來自Autodesk，Inc•之 Maya的咼級圖形工具提供極完善之3D再現及動晝能 力，該等工具增加了當前技術水平CPU及GPU之限制。然 而，此等新工具之計算需求對此等產品之使用者及軟體開 發者造成許多實際問題。 由於作業系統（〇s)之視覺顯示必須對廣泛類別之電腦 (包括不再銷售、但仍可用新os升級之先前代電腦）起作鲁 用故〇S圆形需求很大程度上受為OS之目標的電腦之最 少共同點限制’該等電腦通常包括未包括GPU之電腦。此 嚴格限制了 OS之圖形處理能力。此外，由於cpu或Gpu中 之高計算活動通常導致較高電力消耗及較短電池壽命，故 電池供電之可攜式電腦(例如，膝上型電腦)限制該視覺顯 此：。可攜式電腦通常包括在不利用處理器時自動減少 處理器活動以降低電力消耗之軟體m腦模型中， 147159.doc •20- 201119401 使用者可手動地減少處理器活動。舉例而言，S〇ny之 VGN-SZ280P膝上型電腦在一側具有一標記為「Staminaj 之開關（適用於低效能、長電池壽命）且在另一側具有標記 為「Speed」之開關（適用於高效能、短電池壽命）。即使在 電腦以其一小部分峰值效能能力執行的情況下，一在一可 攜式電版上執行之OS必須能夠有效地工作。因此，〇s圖 形處理效能常常保持遠低於當前技術水平可用的計算能 力。

常常銷售高端的計算密集型應用程式（如Maya)以期望其 :在高效能PC上使用。此通常產生—高得多的效能及較昂 貝且較差可攜性的最4共同點需求。因此，此等應用程式 具有比通用OS(或通用生產力應用程式，如Micr〇s〇ft OD更多的有限目標受眾，且其銷售量通常比通用〇8軟 體或通用應用程式軟體更低。因為_預期使用者時常難以 提前試用此等計算密集型應用程式，所以潛在m步 :限制。舉例而言’假設一學生想要學習如何使用Maya或 已瞭解此等應用程式之潛在靖買去相a 士 啤貝者想要在投資購買之前 试用Maya(其很可能亦涉及購買— 貝此夠執行Maya之高端電 細）。儘官該學生或該潛在購買者 J以下載Maya之示範版 本或侍到不範版本之一實體媒體 .^ , 脰複本，但若該學生或該潛

在購貝者無一能夠充分執行M 旦、今♦, 〈例如，處置一複雜3D場 厅、）之電腦，則該學生或該潛在蹲 〇.貝者將不能獲得對該產 口〇之基於王σρ可靠資訊之評定。 庫用鞀十夕“ 此貫質上限制了此等高端 應用耘式之梵眾。其亦有助於— η鈉售價格，因為開發費 147159.doc -21 · 201119401 用通常在比通用應用程式少得多的購買量上攤銷。 高價格應用程式亦造成個人及企業使用應用程式軟體之 盜版複本之更多誘因。結果，高端應用程式軟體遭受猖獗 盜版，儘管此軟體之發行者努力經由各種技術來減少此盜 版。儘管如此，即使當使用盜版的高端應用程式時，使用 者仍不能避免買進昂貴的當前技術水平pc以執行盜版複本 之需要。因此，雖然使用者可用軟體應用程式之實際零售 價格之一小部分獲得軟體應用程式之使用，但仍需要盜版 軟體之使用者購買或者獲得一昂貴PC以充分利用該應用程 式。 對高效能盜版視訊遊戲之使用者同樣如此。雖然盜版者 可用該等遊戲之實際價格之一小部分獲得該等遊戲，但仍 需要其購貝正常玩遊戲所必須之昂貴計算硬體（例如， GPU增強之PC ’或如XBox 3 60之高端視訊遊戲控制台）。 若視訊遊戲對消費者而言通常為消遣’則高端視訊遊戲系 統之額外費用可具有抑制作用。此情形在工人目前之平均 年收入相對於美國工人之平均年收入非常低的國家（例 如，中國）更糟。結果，很小百分率的人擁有高端視訊遊 戲系統或高端PC。在此等國家中，「網際網路咖啡館」（使 用者在此可支付費用以使用連接至網際網路之電腦）相當 普遍。此等網際網路咖啡館常常具有不具有高效能特徵 (諸如，GPU)之較舊模型或低端之PC ,該等高效能特徵可 另外使玩家能夠玩計算密集型視訊遊戲。此係在低端pc上 執行之遊戲（諸如，Vivendi之「World of Warcraft」）成功 147159.doc -22- 201119401 之—關鍵因素，該遊戲在中國非常成功且通常在網際網路 咖啡館中玩該遊戲。與之相反，不太可能在中國的網際網 路咖啡館中所安裝之PC上玩如「Sec〇ndUfe」之計算密集 «戲。僅可存取網際網路咖啡館中之低效能pc之使用者 貫質上不能存取此等遊戲。

對於考慮購貝一視訊遊戲且願意藉由經由網際網路將示 範下载至其豕庭電腦來先試用該遊戲之一示範版本的使用 者亦存在阻礙。一視訊遊戲示範經常為該遊戲之一完全 成熟版本，但其中一些特徵被停用或對玩遊戲之量有限 制。此可涉及一在可在一 PC或一控制台上安裝且執行該遊 戲之前下載若干個十億位元組之資料的長過程（可能有幾 個丨時）。在PC之情況下，該過程亦可涉及瞭解該遊戲需 要那些特殊驅動程式（例如，Directx或〇penGL驅動程 式）、下載正確版本、安裝驅動程式且接著判定該PC是否 能夠玩該遊戲。此後一步驟可涉及判定該PC是否具有足夠 處理（CPU及GPU)能力、足夠RAM及一相容OS(例如，一些 遊戲在Windows XP上執行，但不能在vista上執行）。因 此’在一嘗試執行一視訊遊戲示範之長過程之後，使用者 很可能發現’由於使用者之PC組態，可能不能玩該視訊遊 戲不範。更糟的是，一旦使用者已下載了新驅動程式以試 用不範’此等驅動程式版本可能與使用者通常在PC上使用 的其他遊戲或應用程式不相容，因此一示範之安裝可能使 先前可操作之遊戲或應用程式不可操作。此等阻礙不僅阻 撓使用者’而且成為視訊遊戲軟體發行者及視訊遊戲開發 147159.doc •23- 201119401 者銷售其遊戲之阻礙。 導致經濟低效率之另一問題與以下事實有關：給定pc* 遊戲控制台通常經設計以適應應用程式及/或遊戲之特定 效能需求等級。舉例而言，一些PC具有哎多戋+之 RAM、或慢或快之CPU，及或慢或快之Gpu(若該等pc完 全具有GPU)。一些遊戲或應用程式利用一給定或控制 台之全部計算能力，而許多遊戲或應用程式不利用一給定 PC或控制台之全部計算能力。若一使用者對遊戲或應用程 式之選擇未達到本端PC或控制台之峰值效能能力，則該使φ 用者可能將錢浪費在了 p c或控制台之未利用特徵上。就控 制台而言，控制台製造商可能支付比補貼控制台費用所必 需之錢多的錢。 視訊遊戲之銷售及享受中存在的另一問題涉及：允許一 使用者在提_買該遊戲之前者觀看其他人玩遊戲。存在 用於記錄視訊遊戲以在精後時間重播的若干先前技術方 法。舉例而言’美國專利第5,558,339號教示將「玩遊戲」 期間之遊戲狀態資訊(包括遊戲控制器動作)記錄在視訊遊

戲用戶端電腦(為相同或不同使用者所有)中。此狀態資

可在稍後時間用以在一視訊遊戲用戶端電腦(例如，PC 控制台)上重播-些或全部的遊戲動作。此方法之一顯 缺點在於’對—觀看記錄之遊戲的使用者而言，該使用 必須擁有-能夠玩該遊戲之視訊遊戲用戶端電腦且必須) 夠在錢腦上執行純料戲剌料，们 遊戲狀態時遊戲玩法6全知门 ^ 艰戲玩法π全相同。除此之外， 147J59.doc •24· 201119401 之遊戲與播放之遊戲之間不存 存在可此的執行差異之方式撰 寫該視訊遊戲應用程式。 Λ撰 舉例而言，通常以逐圖框大 c方式計算遊戲圖形。對於許多 遊戲，遊戲邏輯有時可用比—個 圖框時間（frame 1;丨1116)短攻 長的時間來計算下一圖框所趦_ ^ ^ ^ 所顯不之圖形，此取決於場景是 否特別複雜，或是否存在使勃 定執仃邊慢的其他延遲（例如， 在一 PC上，可能正在執行仂田 用遊戲應用程式之CPU循環的

另一處理程序）。在此遊戲中，畀 τ最終可出現一在稍微小於 一個圖框時間之時間（即幾個Γ U I戍個CPU時脈循環或更少）中計算 出之「臨限」圖框。當再攻估田〜Λ 人使用元全相同的遊戲狀態資訊 計算相同場景日夺，其可容易地耗時多於—個圖框時間的幾 個CPU時脈循環（例如，若—内部CPU匯流排猶微與—外部 DRAM匯流料同相且其引人幾個CPU循環時間之延遲， 即使不存在自佔用遊戲處理之若干毫秒之cpu時間的另— 過程之大延遲）。因此’當播放遊戲時，纟兩個圖框時間 而非單-ffl框時間巾計算圖框。—些行為係基於遊戲計算 一新圖框之頻率（例如，遊戲何時對來自遊戲控制器之輸 入取樣）。當玩遊戲時，不同行為在時間參考上之此偏差 不影響遊戲玩法，但該偏差可導致播放之遊戲產生一不同 結果。舉例而言，若以60 fps之穩定速率計算籃球之發射 特性（ballistics)，但基於計算之圖框的速率對遊戲控制器 輸入取樣’則計算之圖框的速率在記錄遊戲時可為53 fp s而在重播遊戲時為5 2 fp s ’此情況可造成是否阻止籃 球進入籃筐之差異，從而產生一不同結果。因此，使用遊 147159.doc •25- 201119401 戲狀態記錄視訊遊戲需要非常仔細的遊戲軟體設計，以確 保使用相同遊戲狀態資訊之重播產生完全相同的結果。

用於記錄視訊遊戲之另一先前技術方法為僅記錄-PC或 視訊遊戲系統之視訊輸出（例如，記錄至一 vcr、〇彻己 錄器’或記錄至-PC上之—視訊擷取卡)。可接著倒轉並 重播該視訊’或者’通常在壓縮之後將該記錄之視訊上載 至網際網路。此方法之—缺點在於，當播放—扣遊戲序列 時使用者限於僅自S己錄該序列之觀看點觀看該序列。換 言之，使用者不能改變場景之觀看點。

此外，當在-家庭PC或遊戲控制台上播放的記錄之遊戲 序列之”·！壓縮之視A 由其他使用者經由網際網路獲得 時，即使該視訊以即時方式壓縮，亦可能不能即時地將該 經廢縮之視訊上載至網際網路。其原因在於，世界上連接 至網際網路之許多家庭具有極不對稱之寬頻連接（例如， 說及電鐵數據機通常具有遠高於上傳頻寬之下傳頻寬)。 ㈣之高解析度視訊序列常常具有高於網路之上傳頻寬容 量之頻寬’從而不可能即時地上載該等視訊序列。因此， 在播放遊戲序列之後，在網際網路上之另—使用者能夠觀 看該遊戲之别’會存在_顯著延遲（也許幾分鐘或甚至幾 小時）。雖然此延遲在特定情形下（例如，觀看在—先前時 間出現的遊戲玩家玩過的遊戲）可忍受，但該延遲消除觀 看-實況比赛（例如，由冠軍玩家參加之—籃球競赛）之能 力或具有當播放一實況比赛時「即時重播」的能力。 另-先刖技術方法允許―具有—電視機之觀眾觀看實況 147159.doc -26- 201119401 視訊遊戲，且僅受電視製作人員控制。美國及其他國家的 一些電視頻道提供視訊遊戲觀看頻道，其中電視觀眾能夠 在視訊遊戲頻道上觀看特定視訊遊戲使用者（例如，參加 競赛之頂級玩家）。藉由將視訊遊戲系統（pc及/或控制台） 之視訊輸出饋送至電視頻道之視訊散佈及處理設備中來實 現此觀看。此情況與電視頻道廣播一實況籃球比賽的情況 相同，在该比賽中，若干相機提供籃球場周圍不同角度之 實況饋送。電視頻道接著能夠利用其視訊/音訊處理及效 果6又備操縱來自各種視訊遊戲系統之輸出。舉例而言，電 視頻道可將指示不同玩家之狀態的文字覆疊於來自一視訊 遊戲之視訊之上（就像電視頻道可在一實況籃球比赛期間 覆疊文字），且電視頻道可用一來自一可討論在比赛期間 發生之動作的明員之音訊配音。另夕卜，可將視訊遊戲輪 出與比賽之實際玩家的相機記錄視訊組合（例如，展示玩 家對遊戲之情緒反應）。 該方法之-問題在於’此實況視訊饋送必須可由電視頻 道之視訊散佈及處理設備以即時方式獲得以使其具有實況 廣播之刺激性。然而，如先前所論述，#視訊遊戲系統在 豕庭中執行時，尤其是該廣播之部分包括來自一擷取遊戲 玩豕之真貫世界視訊之相機的實況視訊時，此經常係不可 能的。此外’在一競赛情況下，所關心的是家中玩遊戲者 可能修改比賽且作弊’如先前所描述。出於此等原因，電 視頻道上之此等視訊遊戲廣播經常安排玩家及視訊遊戲系 統聚集在-共同位置（例如，聚集在一電視演播室或一競 147159.doc •27· 201119401 赛場）’電視製作設備在該共同位置可接受來自多個視訊 遊戲系統及可能的實況相機之視訊饋送。 雖然此等先前技術視訊遊戲電視頻道可將一極精彩表演 提供給電視觀眾，該表演為一類似於一實況體育比賽之體 驗（例如’在其在視訊遊戲世界中之動作之方面及在其在 現貫世界中之動作之方面，視訊遊戲玩家表現為「運動 員」）’但此等視訊遊戲系統經常侷限於玩家實體上彼此 接近的情況《且，由於電視頻道經廣播，故每一廣播之頻 道僅可展示由電視頻道之製作人員選擇的一個視訊串流。 由於此等限制及廣播時間、製作設備及製作人員之高費 用，此等電視頻道通常僅展示參加頂級競赛的頂級玩家。 另外，一向所有電視觀眾廣播一視訊遊戲之一全螢幕影 像之給定電視頻道一次僅展示一個視訊遊戲。此嚴格限制 了電視觀眾之選擇。舉例而言，電視觀眾可能對在一給定 時間展不之比赛不感興趣。另一觀眾可能僅對觀看電視頻 道在一給定時間未給予特別顯示之一特定玩家之遊戲玩法 感興趣。在其他情況下，觀眾可能僅對觀看一老練的玩家 如何處置一遊戲中之一特定等級感興趣。另外其他觀眾可 能希望控制觀看視訊比赛之觀看點（該觀看點不同於由製 作團隊選擇之觀看點）等。簡而言之，即使可利用若干不 同電視頻道，電視觀眾亦在觀看視訊遊戲方面可能具有無 數偏好，該等視訊遊戲可能並未由電視網路之特定廣播容 納。出於所有前述原因，先前技術視訊遊戲電視頻道在將 視訊遊戲呈現給電視觀眾方面具有顯著限制。 I47159.doc -28- 201119401

先前技術視訊遊戲系統及應用程式軟體系統之另一缺點 在於’其複雜且常常經受錯誤、毀損及/或不欲且不當之 行為（統稱為「程式錯誤」）。雖然:遊戲及應用程式在:行 之前通常經歷-除錯及調諧過程（常常稱為「軟體品質保 證」或SQA)，但幾乎不變的是，一旦遊戲或應用程式向 此領域中之廣泛受眾發行’程式錯誤會突然心。不幸的 疋’軟It開發者難以在發行之後識別且追 中之許多者。軟體_可_注意到程式== 該等開發者知道-程式錯誤，僅可能存在有限量之資訊可 供其用於識別導致該程式錯誤的原因。舉 可撥打-遊戲開發者之客户服務專線且留二息使= 明在玩遊戲時，螢幕開始閃爍，接著變成純藍色且％凍 結。該訊息為SQA團隊提供在追蹤一程式錯誤中有用的很 少資訊。一些以線上方式連接之遊戲或應用㈣有時在特 定情況下可提供更多資舉例而言，一「看門狗」處理 程序有時可用以監視遊戲或應用程式之「毁損」。該看門 狗處理程序可收集關於遊戲或應用程式處理程序在毀損時 的狀態（例如，堆疊之狀態、記憶體使用之狀態、遊戲或 應用程式已進行多少等）之統計資料且接著經由網際網路 將該資訊上載至寧團隊。但[在—複雜遊戲或應用程 式中’解推此資以準確地確定使用者在毀損時正在幹什 麼可能要花很長時間。即使如此，亦可能不能確定哪一事 件序列導致了毁損。 與PC及遊戲控制台相關聯之又一問題在於，其經受使消 147159.doc -29- 201119401 費者非常不方便的服務問題。服務問題亦影響PC或遊戲控 制台之製造商’因為其通常需要發送一特殊框以安全地運 送損壞PC或控制台，且若PC或控制台有服務保證，則產 生修理費用。遊戲或應用程式軟體發行者亦可由於PC及/ 控制台處於修理狀態而受銷售損失（或線上服務使用）影 響。 圖1說明一先前技術視訊遊戲系統，諸如s〇ny

Playstation® 3、Microsoft Xbox 360®、Nintendo WiiTM、 基於Windows之個人電腦或App丨e Macintosh。此等系統中 之每一者包括用於執行程式碼之一中央處理單元（CPlJ)(通 常為用於執行高級圖形操作之一圖形處理單元（Gpu)),及 用於與外部器件及使用者通信的多種形式之輸入端/輸出 立而（I/O)。為簡單起見，將此等組件組合在一起展示為一單 一單元100。亦展示包括以下各者的圖丨之先前技術視訊遊 戲系統.一光學媒體驅動機1〇4(例如，DVD-ROM驅動 機）；用於儲存視訊遊戲程式碼及資料之一硬碟機1〇3 ;用 於玩多人遊戲之一網路連接105,其用於下載遊戲、修補 程式、示範或其他媒體；用於儲存當前由CPU/GPU 100執 行之程式碼的一隨機存取記憶體（RAM)1〇1 ;用於在玩遊 戲期間自使用者接收輸入命令之一遊戲控制器1〇6 ;及一 顯示器件102(例如，一標準清晰度電視（SDTV)/高清晰度 電視（HDTV)或一電腦監視器）。 圖1中所示之先則技術系統遭受若干限制。首先，與 RAM 1〇1之存取速度相比，光碟機104及硬碟機1〇3傾向於 147159.doc 201119401 具有慢得多的存取速度》實務上，當直接經由RAM 1〇1工 作時，CPU/GPU 100每秒可處理之多邊形遠遠多於當直接 自硬碟機103或光碟機104讀取程式碼及資料時可能處理的 量，此歸因於RAM 101通常具有更高頻寬且不遭受碟片機 構之相對較長搜尋延遲之事實。但是，在此等先前技術系 統中僅提供有限量之RAM(例如，256_512百萬位元組因 此，常常需要一「載入中…」序列，其中RAM 1〇1週期性 地填充以視訊遊戲之下一場景之資料。 一些系統嘗試在玩遊戲的同時重疊程式碼之載入，但此 重疊僅可在存在事件之一已知序列時進行（例如，若一汽 車沿著一道路行駛，則道路旁的漸近的建築物之幾何形狀 可在該汽車行駛時載入）。對於複雜及/或快速的場景變 化，故此類型之重疊通常不起作用。舉例而言，在使用者 處:戰鬥中且RAM⑻完全填滿了表示彼時看得見的物件 :身料之情況下，若使用者快速地移動視野至左邊以觀看 當前未載入於RAM 1〇1中之物件，則將產生動作之不連續 性，因為無足夠時間將新物件自硬碟機1〇3或光學媒體⑽ 載入至RAM 101中。 圖1之系統之另一問題由於硬碟機103及光學媒體1〇4之 =存容量之限制而出現。雖然可製造具有-相對大儲存容 里（例如，5G個十億位元組或更大容量）之磁碟儲存器件， ㈣等磁㈣存ϋ件仍不能為在當前視訊遊戲中所遇到之 特定情境提供^夠儲存容量。舉例而言，如U所提及， 一足球視訊遊戲可允許使用者在世界範圍㈣許多球隊、 147159.doc -31- 201119401 球員及運動場中選擇。對於每一球隊、每一球員及每一運

動場，需要許多紋理圖及環境圖來特性化遊戲世界中之3D 表面（例如，每一球隊具有一獨特球衣，且每一球衣需要 一獨特紋理圖）。 一種用以解決此後一問題之技術為，一旦使用者為遊戲 選定了紋理圖及環境圖，便預先計算紋理圖及環境圖。此 技術可能涉及許多計算密集型處理程序，包括解壓縮影 像、3D製圖、繪影（shading)、組織資料結構等。結果，當 視訊遊戲執行此等計算時，使用者可能感覺到延遲。一種 減小此延遲之方法原則上為在最初開發該遊戲時執行所有 此等計算，包括球隊、球員名冊及運動場之每一排列。遊 戲之已發行版本因而可包括儲存於光學媒體丨〇4或網際網 路上之一或多個伺服器上的此預處理資料之全部，且在使 用者作出一選擇後，經由網際網路將一給定球隊、球員名 冊、運動場選擇之選定預處理資料下載至硬碟機1〇3。然 而，作為一實際問題，玩遊戲中可能的每個排列之此預載 入資料很容易為若干太位元組之資料，此遠遠超過現今的 光學媒體器件之容量。此外，一給定球隊、球員名冊、運 動場選擇之資料很容易為數百個百萬位元組之資料或更 多。在一比如說10 Mbps之家庭網路連接下，經由網路連 接1 〇 5下載此資料所用的時間將比於本端計算該資料所用 的時間長。 因此，圖1中所示之先前技術遊戲架構使使用者在複雜 遊戲之主要場景轉換之間遭受顯著延遲。 147159.doc •32- 201119401 諸如圖1中所示之方法的先前技術方法之另一問題在 於，這些年來，視訊遊戲傾向於變得更加高級且需要更高 CPU/GPU處理能力。因此，即使假設一無限量2RAM，視 Λ遊戲硬體需求仍超出此等系統中可用之處理能力之峰值 等級。結果，需要使用者每隔幾年對遊戲硬體升級以跟得 上备則技術（或在較低品質等級下玩較新遊戲）。視訊遊戲 不斷變高級之趨勢之一結果為供家庭使用之視訊遊戲播放 機通常在經濟上效率低下，因為其費用通常由其可支援之 最尚效能遊戲之需求確定。舉例而言，χΒ〇χ 36〇可用以玩 一如「GearsofWar」之遊戲，其要求一高效能cpu、gpu 及數百個百萬位元組之RAM，或χΒ〇χ 36〇可用以玩pac Man，一種2〇世紀70年代之遊戲，其僅需要幾千位元組之 RAM及一極低效能CPU。實際上，ΧΒ〇χ 36〇具有足以同時 代管許多同時進行的Pac Man遊戲之計算能力。 視訊遊戲機在一週中的大部分時間通常關閉。根據2〇〇6 年7月之對13歲及以上之作用中玩家之NUlsen娛樂研究， 作用中玩家平均每週將十四個小時或僅一週之總時間的 12 /〇用來玩視讯遊戲控制台。此意謂著平均視訊遊戲控制 台在88_時間中閒置’此係對昂貴資源之低效率使用。 右視甙遊戲控制台常常由製造商補貼以降低購買價格（期 望可藉由未來的視訊遊戲軟體購買之版稅賺回補貼），則 此情況特別顯著。 視Λ遊戲控制台亦產生與幾乎任何消費型電子器件相關 聯之費用。舉例而言’豸等系統之電子器件及機構必須收 147159.doc -33- 201119401 納在一外殼中。製造商必須提供-服務保證。銷售該系統 之零售商必須自系統之銷售及/或自視訊遊戲軟體之銷隹 獲得利潤。所有此等因素增加視訊遊戲控制台之成本，： 成本增加必須由製造商來補貼、轉嫁給消費者或其兩者。 另外，盗版為視訊遊戲產業之主要問題。實質上每個主 要視訊遊戲系統上所利用之保全機制這些年來山 、由 朋 潰從而導致視訊遊戲之未經授權複製。舉例而言， Xbox 360保全系統在2〇〇6年7月崩潰，且使用者如今能夠 以線上方式下載非法複本。可下載之遊戲㈠列如，pc或 Mac之遊戲)特別容易受盜版侵害。在世界上盜版管制不力 的某些地區’實質上不存在獨立視訊遊戲軟體之可生存市 場’因為使用者可用很少的費用胃到盜版複本，就像購買 合法複本一樣容易。此外，在世界上的許多地方，遊戲控 制台之成本占收入之很高百分率，使得即使盜版得到控 制，亦很少有人能負擔起當前技術水平遊戲系統。 另外，舊遊戲市場使視訊遊戲產業之收益減少。當一使 用者對一遊戲感到厭倦時，其可將該遊戲銷售給一商店， 該商店將該遊戲轉售給其他使用者。此未經授權但报常見 之慣例使遊戲發行者之收益顯著減少。類似地，當每幾年 出現一次平台轉換時’通常出現約5〇%的銷量減少。此係 因為使用者在其知道較新版本之平台即將發行時停止購買 用於較舊平台之遊戲（例如’當piayStati〇n 3即將發行時， 使用者停止購買Playstati(m 2遊戲綜合起來，銷售損失 及與新平台相關聯之增加的開發費用可對遊戲開發者之收 I47I59.doc -34- 201119401 益具有一特別重大的不良影響。 新遊戲控制台亦非常昂貴。Xbox 36〇、Nintend〇別4及

Sony Playstation 3之零售價格全部為幾百盖 义 叹a夫兀。尚性能個 人電腦遊戲系統之價格可尚達$8〇〇〇。特別考慮到硬體在 幾年之後變得無用及許多系統係為兒童購買的之事實此 表示使用者之一重大投資。 前述問題之一解決方法為線上遊戲，其中在一伺服器上 代管遊戲程式碼及資料且視需要將其作為在一數位寬頻網 路上_流之經壓縮之視訊及音訊傳遞至用戶端機器。諸如 芬蘭之G-Cluster(現為日本的 S0FTBANK Br〇admedia之一 子公司）的一些公司目前以線上方式提供此等服務。類似 遊戲服務已變得可在區域網路中獲得，諸如在旅館内且由 DSL及有線電視提供者提供之區域網路。此等系統之一主 要缺點為延時（亦即，信號行進至遊戲伺服器及自遊戲伺 服器行進所用的時間）之問題，遊戲伺服器通常位於一業 者之「頭端（head-end)」。快速動作視訊遊戲（亦稱為「抽 動（twrtch)」視訊遊戲）在使用者用遊戲控制器執行一動作 的時刻與顯示幕經更新而展示使用者動作之結果的時刻之 間需要極低延時。低延時係必需的，使得使用者具有該遊 戲係「立即」回應的感覺。視遊戲之類型及使用者之技能 等級而定，使用者可對不同延時間隔感到滿意。舉例而 ° 1 〇〇毫秒之延時係一緩慢休閒遊戲（如backgammon)或 一 fe動作角色扮演遊戲可忍受的，但在一快速動作遊戲 中’超過70毫秒或8〇毫秒之延時可導致使用者在遊戲中表 147I59.doc -35· 201119401 現較差且因此不可接受。舉例而言，在一需要快速反應時 間之遊戲中，當延時自50毫秒增加至丨〇〇毫秒時，準確度 急劇下降。 當將一遊戲或應用程式伺服器安裝在一附近受控網路環 楗中或至使用者之網路路徑可預測及/或可容忍頻寬峰值 之網路環境中時，就最大延時而言且就延時之一致性而 δ，很容易控制延時（例如，因此，使用者觀測來自經由 網際網路串流之數位視訊之穩定運動）。可在有線電視網 路頭端與有線電視用戶之家之間，或自DSL總局至DSL用 戶之家，或在一伺服器或一使用者之商務辦事處區域網路 (LAN)% i兄中達成此控制等級。此外，可能在具有保證頻 寬及延時的企業之間獲得特別分級之點對點私用連接。但 疋，在於一連接至一般網際網路之伺服器中心中代管遊戲 且接著經由一寬頻連接將經壓縮之視訊串流至使用者的遊 戲或應用程式系統中，延時由許多因素引起，從而導致對 先前技術系統之部署的嚴格限制。 在一典型寬頻連接家庭中，使用者可具有用於寬頻服務 之DSL或電纜數據機。此等寬頻服務通常引起使用者之家 與一般網際網路之間的多達25毫秒之往返延時（有時更 咼）β另外，存在由經由網際網路投送資料至一伺服器中 心引起之往返延時。經由網際網路之延時基於給出資料之 路徑及在投送資料時引起之延遲而改變。除路由延遲以 外，往返延時亦由光通過互連大部分網際網路之光纖之速 度引起。舉例而έ，歸因於光通過光纖之速度及其他額外 147l59.doc -36 - 201119401 負擔’引起每1000哩大約22毫秒之往返延時。 歸因於串流通過網際網路之資料之資料速率，可出現額 外延時。舉例而言，若一使用者具有一作為「6 Mbps DSL 服務」銷售之DSL服務，則實務上，該使用者最多可能得 到小於5 Mbps之下傳輸送量’且很可能看到：連接歸因於 各種因素（諸如，數位用戶線存取多工器（DSLam)在峰值 載入時間期間的壅塞）而週期性地降級。在於環路通過鄰 域之區域共用同軸電纜中或在電纜數據機系統網路中之其 他地方中存在壅塞的情況下，可能出現—類似問題，用於 作為「6 Mbps電纜數據機服務」銷售之一連接之一電缓數 據機的資料速率被減少至遠小於彼資料速率。若4 Mbpst 穩疋速率之資料封包係以使用者資料報協定（UDp)格式經 由此等連接單向地自一伺服器中心串流，若一切順利進 行’則該等資料封包將通過而不引起額外延時，但若存在 壅塞（或其他障礙）且僅3.5 Mbps可用於將資料串流至使用 者，則在典型情況下，封包將被丟棄，從而導致資料丟 失，或封包將在壅塞點處排入仔列，直至可發送該等封 包，藉此引入額外延時。不同壅塞點具有保持延遲之封包 之不同佇列容量，因此，在一些情況下’立即丟棄不能通 過壅塞之封包。在其他情況下，若干百萬位元之資料要排 入佇列且最終被發送。但是，在幾乎所有情況下，壅塞點 處之佇列具有容量限制，且一旦超過彼等限制該等佇列 將溢出且封包將被丟棄。因此，為了避免引起額外延時 (或更糟情況’冑包丟失）’必須避免超過自遊戲或應用程 I47I59.doc 201119401 式伺服器至使用者之資料速率容量β ㈣器ι縮視訊及用戶端器件解歷縮視訊所需之時間亦 引起延時。當-在—词服器上執行之視訊遊戲正在計算待 顯示，下-圖框時’進—步引起延時。當前可用之視訊魔 縮演算法遭受高資料速率或高延時。舉例而言，運動jpeg ，一以低延時為特性之僅圖框内有損壓縮演算法。視訊之 每-圖框獨立於視訊之每_其他圖框而I縮。在_用戶端 器件接收到經壓縮之運⑽EG視訊之—圖框時，㈣戶端 器件可立即解壓縮該圖框且顯示該圖冑，從而導致極低延 時。但是，因為每—圖框係分開壓縮，所以該演算法不能 利用連續圖框之間的相似性，且結果，僅圖框内視訊壓縮 演算法遭受極高的資料料。I例而言，60 fps(每秒圖 框）之640x480運動jPEG視訊可需要4〇 Mbps(每秒百萬位 元）或更高速率之資料。在許多寬頻應用（且無疑對於大部 分消費者而言，基於網際網路之應用）中，此等低解析度 視讯視窗之此等高資料速率費用高得驚人。此外，因為獨 立地壓縮每一圖框，所以圖框中可能由有損壓縮引起之假 影可能出現在連續圖框中之不同位置。此可導致在視訊經 解壓縮後呈現給觀眾的是一移動之視覺假影。 諸如 MPEG2、H.264 或 Microsoft Corporation之 VC9 的其 他壓縮演算法在其用於先前技術組態時可達成高壓縮比 率，但向壓縮比率是以高延時為代價的。此等演算法利用 圖框間以及圖框内壓縮。此等演算法週期性地對一圖框執 行一僅圖框内壓縮。將此圖框稱為關鍵圖框（key frame)(通 147159.doc -38- 201119401 常被稱為「Ij圖框）。接著，此等演算法通常比較i圖框與 先刖圖框及後續圖框。並非獨立地壓縮先前圖框及後續圖 框，該演算法確定影像中已在〗圖框與先前圖框及後續圖 框之間發生的變化，且接著將彼等變化儲存為稱為「B」 圖框（在I圖框之前的變化）及Γρ」圖框（在〗圖框之後的變 化）。此導致比僅圖框内壓縮低得多的資料速率。但是， 忒廣算法通常以較高延時為代價而實現。j圖框比Β或ρ圖 框大得多（常常為其1 〇倍），且結果，以一給定資料速率傳 輸I圖框所用之時間成比例增長。 舉例而5，考慮如下情況：1圖框之大小為Β圖框及Ρ圖 框的10倍，且每個單一〗内圖框存在29個8圖框+3(Η@ρ圖框 =59個中間圖框，或每一「圖框群組」（G〇p)總共有6〇個圖 框。因此，在60 fps下，每一秒有Hgj6〇圖框之g〇p。假設 傳輸頻道具有-2 Mbps之最大資料速率。為了在該頻道中 達成最高品質視訊，該壓縮演算法可產生一2 Mbps資料串 抓，且給定以上比率，此可導致每個内圖框2百萬位元 (Mb)/(59+l〇)=3〇,394個位元且每個ϊ圖框3〇3,935個位元。 田藉由解壓縮演算法接收經壓縮之視訊串流時，為了穩定 地播放δ玄視讯，必須解壓縮每一圖框且以規則間隔（例 如，60 fpS)顯示。為達成此結果，若任何圖框經受傳輸延 時，則所有圖框必須延遲至少該延時，因此，最壞情況圖 框延時將界定每個視訊圖框之延時。該等j圖框由於其最 大而引入最長的傳輸延時，且整個j圖框將必須在解壓縮 及顯示該I圖框（或任何相依於該丨圖框之中間圖框）之前接 147I59.doc -39· 201119401 收。若頻道資料速率為2 Mbps，則傳輸一 I圖框將耗時 3 03,93 5/2Mb=145毫秒。 歸因於I圖框相對於一圖框之平均大小的較大大小，一 如上所述之使用傳輸頻道之頻寬的大百分率的圖框間視訊 壓縮系統將經受長延時。或者，換言之，儘管先前技術圖 框間壓縮演算法達成一比僅圖框内壓縮演算法低的平均每 圖框資料速率（例如，2 Mbps對40 Mbps)，但該等演算法 由於大的I圖框而仍遭受一高峰值每圖框資料速率（例如， 303’935*60 = 18·2 Mbps)。應記住，儘管如此，以上分析假 設P圖框及B圖框均比ϊ圖框小得多。雖然此情況通常真 貫，但對於具有與先前圖框不相關、高運動或場景變化之 咼景> 像複雜性的圖框並不成立。在此等情況下，p圖框或B 圖框可變得與I圖框一樣大（若一 ？或6圖框變得大於一1圖 框’則一完善之壓縮演算法通常將「強加」一 I圖框且用 一 I圖框替代P或B圖框）。因此’ I圖框大小之資料速率峰 值可在任何時刻在一數位視訊串流中出現。因此，對於經 壓縮之視訊，當平均視訊資料速率接近傳輸頻道之資料速 率谷量時（此係常見情況’給定對視訊之高資料速率要 求）’ I圖框或大的P或B圖框之高峰值資料速率導致一高圖 框延時。 當然’以上論述僅特性化由G〇p中之大的B、p或I圖框 造成之壓縮演算法延時。若使用B圖框，則延時會更高。 其原因在於，在可顯示一 B圖框之前，必須接收在該B圖 框之後的所有B圖框及該I圖框。因此，在一諸如 147159.doc -40· 201119401

BBBBBIPPPPPBBBBBIPPPPP(其中每一 I圖框之前有5個B 圖框）之圖像群組（GOP)序列中，在接收到隨後B圖框及I圖 框之前’第一個B圖框不能由視訊解壓縮器顯示。因此， 若視訊正以60 fps(亦即，16.67毫秒/圖框）串流，則在可解 壓縮第一個B圖框之前，不管頻道頻寬有多大，將耗時 16.67*6 = 100毫秒來接收五個b圖框及該I圖框，且此僅具 有5個B圖框。具有3 〇個B圖框之經壓縮之視訊序列相當普

遍。且，在低頻道頻寬（如2 Mbps)下，I圖框之大小所導致 的延時影響主要附加至由等待B圖框到達引起之延時影 響。因此，在一 2 Mbps頻道上，對於許多B圖框，使用先 前技術視訊壓縮技術很容易超過5〇〇毫秒之延時或更長的 延時。右未使用B圖框（以給定品質等級之較低壓縮比率為 代價），則未引起B圖框延時，但仍引起上述的峰值圖框大 小所導致的延時。 許夕視訊遊戲之性質使該問題惡 之視訊壓縮演算法已很大程度上經最佳化以供意欲用於被 動觀看之實況視訊或動晝材料使用。通常，相機（不論是 真貫相機，還是一電腦產生之動畫情況下之一虛擬相機) 及場景相對穩定5僅僅因為，若相機或場景過於顫抖地到 處移動，則觀看該視訊或電影材料⑷通常令人不愉快，且 ::正在觀看，則觀眾通常未嚴密注視相機突然顏抖時的 動作（例如，若相機在拍攝m吹滅生日蛋糕上 時受衝擊且突然顫抖地離開蛋 * 贫未，、並復原，則觀眾通常 在孩子及蛋糕上，且忽視了當相機突然移動時的短暫中 147159.doc 201119401 斷）°在視訊面談或視訊電話會議之情況下，相機可固持 在固疋位置且完全不移動，從而根本導致極少的資料峰 值。但是，3D高動作性視訊遊戲之特性在於不斷運動（例 如，，考慮3D赛車，其中整個圖框在比赛之持續時間期間快 速運動’或考慮第-人稱射擊者，其中虛擬相機始終顏抖 地到處移動）。此等視訊遊戲可產生具有大且頻繁之峰值 的圖框序列，其中使用者可能必須清楚地看到在彼等突然 運動期間發生的事。因此，壓縮假影在犯高動作性視訊遊 戲中較不可容忍。因此，許多視訊遊戲之視訊輸出由於其 I·生質而產生一具有極高且頻繁之峰值的經壓縮之視訊 流。 0 若快速動作視訊遊戲之使用者幾乎不能容忍高延時，且 給出全部的料之以上原因，料今，已存在對在網際網 路上串流視訊之祠服器代管之視訊遊戲的限制。此外，若 在一般網際網路上代管應用程式且應用程式串流視訊，則 需要一高度互動性之應用程式之使用者遭受類似限制。此 等服務需要一網路組態’其中代管伺服器在—商業環境令 直接設定在一頭端（電纜寬頻之情況）或總局（數位用戶線 (脱）之情況）中或在-LAN中（或在一特殊分級之私用連接 上），使得自用戶端器件至伺服器之路線及距離受控制以 使延時變得最小’且可適應峰值而不引起延時。具有足夠 頻寬之LAN(通常具有】00 Gbps之速率）及租用線路 通常可支援夸值頻寬需求（例如，18Μ—之峰值頻寬為一 100 Mbps LAN容量之一小部分）。 147J59.doc •42· 201119401 若形成特殊設施，則住宅寬頻基礎結構亦可適應峰值頻 寬需求。舉例而言，在一有線電視系統上，可給予數位視 訊訊務專用頻寬，其可處置諸如大型I圖框之峰值。且， 在DSL系統上，可提供一較高速度之DSL數據機，從而 允許高峰值，或可提供—可處置-較高資料速率的特殊分 級之連接。但是，附接至—般網際網路之習知電變數據機 及DSL基礎結構遠遠不能滿足經壓縮之視訊之峰值頻寬需 求。因此，線上服務（其在距離用戶端器件很遠的伺服器 中心中代管視訊遊戲或應用程式，且接著經由習知住宅寬 頻連接在網際網路上串流經壓縮之視訊輸出）遭受顯著延 時及峰值頻寬限制，特別相對於需要極低延時之遊戲及應 用程式（例如’第-人稱射擊者及其他多使用者的互動式 動作遊戲，或需要一快速回應時間之應用程式卜 【實施方式】 自隨後的[實施方式]及自隨附圖式將更全面地理解本發 明’然而’該等隨附圖式不應被認為將所揭示之標的偈限 於所展不之特定實施例，而是僅用於解釋及理解。 在以下描述中’陳述諸如器件類型、系統組態、通信方 法等特定細節，以提供對本發明之透徹理解。然而，一般 熟習相關技術者將瞭解’可能並非必需此等特定細節來實 踐所描述之實施例。. 圖2a至圖2b提供兩個實施例之高階架構，其中視訊遊戲 及軟體應用程式由主機代管服務21〇代管且由使用者場所 211處之用戶端器件205經由網際網路2〇6(或其他公眾或私 147159.doc -43· 201119401 訂用服務存取（請注意，「❹者場所」意謂著使 者所處之位置’包括使用行動器件時的戶外用戶端 器件加可為諸如基於Mier〇s〇ftWind()ws或基於以聰之％ 或Apple，Macintoshf腦之通用電腦（具有至網際網路 之-有線或無線連接)，其具有内部或外部顯示器件222, 或者該等用戶端器件可為專用用戶端器件，諸如輸出視訊 及音汛至-監視器或電視機222之視訊轉換器(具有至網際 網路之有線或無線連接），或者該等用戶端器件可為行動 器件，其可能具有至網際網路之無線連接。 此等器件中之任一者可具有其自身的使用者輸入器件 (例如’鍵盤、按鈕、觸控螢幕、軌跡板或慣性感測棒、 視訊擷取相機及/或運動追蹤相機等），或者該等器件可使 用以有線或無線方式連接之外部輸入器件221(例如，鍵 盤、滑鼠、遊戲控制器、慣性感測棒、視訊擷取相機及/ 或運動追蹤相機等）。如下文更詳細描述，主機代管服務 21 〇包括各種效能等級之伺服器’包括具有高性能 CPU/GPU處理能力之伺服器。在玩主機代管服務21〇上之 遊戲或使用主機代管服務210上之應用程式期間，家庭或 辦公室用戶端器件205自使用者接收鍵盤及/或控制器輸 入’且接著，該用戶端器件經由網際網路206將該控制器 輸入傳輸至主機代管服務210，該主.機代管服務作為回應 執行遊戲程式碼且產生遊戲或應用程式軟體之視訊輸出之 連續圖框（視訊影像之一序列）（例如，若使用者按壓一導向 螢幕上之一角色向右移動之按鈕，則遊戲程式會接著形成 147159.doc •44· 201119401

展示該角色正向右移動的視訊影像之一序列）。接著使用 一低延時視訊壓縮器壓縮視訊影像之此序列，且主機代管 服務210接著經由網際網路2〇6傳輸低延時視訊串流。該家 庭或辦公室用戶端器件接著解碼該經壓縮之視訊串流且於 一監視器或TV上再現解壓縮之視訊影像。因此，用戶端 器件205之計算及圖形硬體需求顯著減少。用戶端2〇5僅必 須具有將鍵盤/控制器輸入轉發至網際網路2〇6及解碼且解 壓縮一自網際網路206接收之經壓縮之視訊串流之處理能 力，實質上，現今任何個人電腦能夠在其cPU上以軟體進 行此處理（例如s以大約2 GHz執行之Intel c〇rp〇rati〇n Core Duo CPU能夠解壓縮使用諸如乩264及wind〇ws Media VC9之壓縮器編碼之720p HDTV)。且，在任何用戶端器件 之情況下，專用晶片亦可比通用cpu(諸如，一現代可 能需要之CPU)低得多的費用及少得多的電力消耗即時地執 行此等標準之視蘭壓縮。值得注意，為了執行轉發控制 器輸入及解壓縮視矾之功能，家庭用戶端器件2〇5不需要 任何專門圖形處理單S(GPU)、光碟機或硬碟機，諸如^ 中所示之先前技術視訊遊戲系統。 隨著遊戲及應用程式軟體變得更複雜且更相片真實感 化，遊戲及應用程式可能需要較高效能之cpu、Gpu、較 多RAM及較大且較快之磁碟機’且可能要繼續升級主機代 管服務21G之計算能力，但終端使用者無需更新家庭或辦 a至用戶端平口 2G5 ’因為在利用給定視訊解壓縮演算法 的情況下’關於顯示解析度及圖框速率，該平台之處理需 147159.doc -45- 201119401 求將保持恆定。因此，現今看到的硬體限制及相容性問題 並不存在於圖2a至圖2b中所說明之系統中。 此外，因為遊戲及應用程式軟體僅在主機代管服務2ι〇 中之伺服器中執行，所以使用者之家中或辦公室中絕不會 有遊戲或應用程式軟體之複本（呈光學媒體之形式，或作 為下載之軟體）（除非另有限定，否則本文中所使用之「辦 公至」應包括任何非住宅環境，包括例如教室）^此顯著 減小遊戲或應用程式軟體被非法複製（被盜版）之可能 性，亦可能減小一可由一遊戲或應用程式使用的有價值資 料庫被盜版之可能性。實際上，若需要實際不適合家庭或 辦公至使用之專門伺服器（例如，需要非常昂貴、大型或 有噪音之設備）來玩遊戲或應用程式軟體，則即使獲得遊 戲或應用程式軟體之盜版複本，亦不能在家中或辦公室操 作其。 在一實施例中，主機代管服務21〇提供軟體開發工具給 設計視訊遊戲之遊戲或應用程式軟體開發者（其通常指代 軟體開發厶司、遊戲或電影工作室，或遊戲或應用程式軟 體發行者）220，使得遊戲或應用程式軟體開發者可設計能 夠在主機代言服務21 〇上執行之遊戲。此等工具允許開發 者利用在一獨立PC或遊戲控制台中通常不可用的主機代管 服務之特徵（例如，對複雜幾何形狀之特大資料庫之快速 存取(除非另有限定，否則「幾何形狀」在本文中應用以 指代多邊形、紋理、裝置裝配（Hgging)、照明、行為及定 義3D資料集之其他分量及參數））。 147159.doc -46- 201119401 在此架構下可能存在不同企業模型。在一模型下，主機 代官服務210自終端使用者收取訂用費且向開發者22〇支付 版稅，如圖2a中所示。在一替代實施中，如圖汕中所示， 開發者220直接自使用者收取訂用費且為代管遊戲或應用 私式内谷向主機代官服務2丨〇付費。此等基本原理不限於 用於提供線上遊戲或應用程式代管之任何特定企業模型。 經壓縮之視訊之特性 如先前所論述，以線上方式提供視訊遊戲服務或應用程 式軟體服務之一顯著問題為延時問題。70毫秒至80毫秒之 延時（M吏用者致動-輸\器件時起至一回應顯示於顯示 器件上）為需要快速回應時間之遊戲及應用程式之上限。 然而，歸因於許多實際及實體約束，在圖2a及圖2b中所示 之架構的情況下極難達成此延時。 如圖3中所指不，當一使用者訂用一網際網路服務時， 通常按照至使用者之家庭或辦公室之標稱最大資料速率 φ 3〇1對連接定額。視提供者之策略及路由設備能力而定， 該最大資料速率或多或少可受到嚴格施行，但由於許多不 同原因中之一者，實際可用資料速率通常較低。舉例而 言，在DSL總局或在本端電纜數據機迴路上可能存在過多 網路訊務’或者電I線上可能存在造成丟㈣包之雜訊， 或者提供者可確定每個使用者每月之最大位元數。目前， 電覜及DSL服務之最大下傳資料速率通常介於幾百個千位 7L/秒（Kbps)至30 Mbps。蜂巢式服務通常限於幾百個Kbps 之下傳資料。然而，寬頻服務之速度及訂用寬頻服務的使 147159.doc •47· 201119401 用者之數目會隨時間急劇增加。目前，一些分析家估計 33/〇的美國寬頻用戶具有一 2 Mbps或更高的下傳資料速 率。舉例而言，一些分析家預測，到2〇 1〇年，85%以上的 美國寬頻用戶將具有一 2 Mbps或更高的資料速率。 如圖3中所指示，實際可用最大資料速率3〇2可隨時間波 動。因此，在低延時的線上遊戲或應用程式軟體之情況 下，有時難以預測一特定視訊串流之實際可用資料速率。 若對特疋1之％景複雜性及運動在給定解析度及給定每 秒圖框數目（fps)(例如，6〇 fps下的64〇χ48〇)下維持一給定 品質等級所需之資料速率3〇3超過實際可用最大資料速率 302(如圖3中之峰值所指示），則可能出現若干問題。舉例 而5，一些網際網路服務將僅丟棄封包，從而導致使用者 之視訊螢幕上資料丢失及影像失真/丢失。其他服務將臨 夺對額外封包進行緩衝（亦即，排入件列）且以可用資料速 率將該等封包提供給用戶端，從而導致延時增加，其係許 多視訊遊戲及應用程式不可接受之結果。最後，—些網際 網路服務提供者將該資料速率增加看作為—惡意攻擊，諸 如阻斷服務攻擊（駭客用以停用網路連接之熟知技術），且 使使用者之網際網路連接中斷一規定時間段。因此，本文 中所描述之實施例設法麵—視訊遊戲之所需資料速率不 超過可用最大資料速率。 主機代管服務架構 圖4a說明根據—實施例之主機代管服務21()之架構。主 機代官服務210可位於—單一伺服器中心中，或可分散於 147159.doc •48- 201119401 複數個伺服器中心上（以為使用者提供較低延時連接（該等 使用者至特定伺服器中心比至其他伺服器中心具有較低延 時路徑）’ k供使用者間之負載平衡’且在一或多個飼服 器中心故障之情況下提供冗餘度）β主機代管服務21〇最終 可包括幾十萬或甚至幾百萬個伺服器4〇2，該等伺服器飼 服一極大的使用者庫。主機代管服務控制系統4〇丨提供對 主機代管服務210之總體控制，且指導路由器、伺服器、 視訊壓縮系統、記賬及帳戶處理系統等。在一實施例中， 主機代管服務控制系統401係實施在一分散式基於[比似之 處理系統上’該系統連結至用以儲存使用者資訊、伺服器 >訊及系統統計資料之資料庫的獨立磁碟冗餘陣列 (raid)。在前述描述中’藉由主機代管服務控制系統4〇1 來起始及控制由主機代管服務210實施的各種動作（除非該 等動作歸因於其他特定系統）。 主機代管服務210包括許多伺服器402，諸如目前可自 Intel、IBM及Hewlett Packard及其他公司購得的伺服器。 或者，該等伺服器402可以組件之一定製組態組裝，或最 終可整合’使得整個伺服器實施為一單一晶片。雖然此圖 出於說明原因而展示少量伺服器402，但在實際部署中， 可能存在少則一個伺服器4〇2，或多至上百萬個伺服器 4〇2 ’或更多伺服器。伺服器4〇2可全部以相同方式組態 (作為組態參數中之一些之一實例，具有相同的Cpu類型及 效能；具有或不具GPU，且若具有GPU，則具有相同的 GPU類型及效能；具有相同數目之CPU及GPU ;具有相同 147159.doc •49· 201119401 量之RAM及相同的RAM類型/速度；及具有相同RAM組 態），或伺服器402之各種子集可具有相同組態（例如，25% 的伺服器可以一特定方式組態’ 5〇%的伺服器以—不同方 式組態，且25%的伺服器以另一方式組態），或每—個伺服 器402可不同。 在一實施例中，伺服器4〇2無磁碟，亦即，並非具有其 本身的本端大容量儲存器（其為光學或磁性儲存器，或諸 如快閃記憶體之基於半導體之儲存器，或伺服類似功能之 其他大容量儲存構件），每一伺服器經由快速背板或網際 周路連接存取共用大容量儲存器。在一實施例中，此快速 連接為一連接至一系列獨立磁碟冗餘陣列（RAID)4〇5之儲 存區域網路（SAN)403，且器件之間的連接使用十億位元乙 太’爲路來貫施。如熟習此項技術者已知，San 403可用以 將許多RAID陣列405組合在一起，從而導致極高頻寬，接 近或可能超過自當前遊戲控制台及PC中所使用之ram可 獲得的頻寬。因此，雖然基於旋轉媒體（諸如磁性媒體）之 RAID陣列常常具有顯著的搜尋時間（seek_time)存取延時， 但基於半導體儲存器之RAID陣列可以低得多的存取延時 來實施。在另一組態中’伺服器402中之一些或全部於本 端提供其自身的大容量儲存器中之一些或全部。舉例而 言’伺服器402可將頻繁存取之資訊（諸如，其作業系統及 一視訊遊戲或應用程式之一複本）儲存於低延時的本端基 於快閃記憶體之儲存器上，但該伺服器可利用SAN以較低 頻率存取具有較高搜尋延時之基於旋轉媒體之rAID陣列 147159.doc -50· 201119401 405 ’以存取幾何形狀或遊戲狀態資訊之大型資料庫。 另外’在一實施例中，主機代管服務21〇使用下文將詳 細描述之低延時視訊壓縮邏輯404。視訊壓縮邏輯404可以 軟體、硬體或其任何組合實施（將在下文中描述該邏輯之 特定實施例）。視訊壓縮邏輯404包括用於壓縮音訊以及視 覺材料之邏輯。

在操作中，當經由一鍵盤、滑鼠、遊戲控制器或其他輸 入盗件421在使用者場所211玩視訊遊戲或使用應用程式 時’用戶端415上之控制信號邏輯413將表示使用者致動之 按鈕按壓（及其他類型之使用者輸入）的控制信號406a-b(通 名呈UDP封包之形式）傳輸至主機代管服務21〇。將來自一 、’。定使用者之控制信號投送至適當伺服器（或諸多伺服 器，若多個伺服器對該使用者之輸入器件有反應）4〇2。如 圖a中所說明，控制信號4〇6a可經由san投送至飼服器 402。另外或其他，控制信號4〇6]3可經由主機代管服務網 路（例如，—基於乙太網路之區域網路）直接投送至伺服器 不S控制彳§號係以何種方式傳輸，該或該等伺服器 均回應於控制信號4〇6a-b執行遊戲或應用程式軟體。雖然 圖鈍中未說明，但諸如防火牆及/或閘道器之各種網路連 接、’且件可在主機代管服務2丨〇之邊緣（例如，在主機代管服 0與凋際網路410之間）及/或在介於網際網路410與家庭 或辦公至用戶端415之間的使用者場所211之邊緣處理傳入 傳出務。將已執行的遊戲或應用程式軟體之圖形及音 輸出（亦即’視讯影像之新序列）提供給低延時視訊壓縮 147159.doc 201119401 邏輯404，其根據低延時視訊壓縮技術（諸如，本文中所描 述之視訊壓縮技術）壓縮視訊影像之該等序列，且經由網 際網路，或如下文所描述，經由—繞過一般網際網路之 最佳化高速網路服務）將一經壓縮之視訊串流（通常具有經 壓縮或未經壓縮之音訊）傳輸回至用戶端415。用戶端415 上之低延時視訊解壓縮邏輯412接著解壓縮視訊串流及音 訊串流且在顯示器件422上再現該經解壓縮之視訊串流且 通常播放該經解壓縮之音訊串流。或者，可用與顯示器件 422刀離之揚聲器播放該音訊或根本不播放該音訊。請注鲁 意，儘官輸入器件421及顯示器件422在圖2a及圖孔中經展 丁為獨立器件之事實，但該等器件可整合在諸如可攜式電 腦或行動器件之用戶端器件中。 家庭或辦公室用戶端415(先前在圖2a及圖U中描述為家 庭或辦公至用戶端2G5)可為-非常廉價且低功率之器件（具 有極有限的計算或圖形效能）且很可能具有極有限的本端 大容量儲存器或不具有本端大容量儲存器。與之相比，耦 接至SAN 403及多個rAID 4〇5之每一伺服器4〇2可為一 · 格外高效能之計算系統’且實際上，若在一並行處理組態 ▲中以合作方式使用多個词服器，則幾乎不存在對可利用的 什算及圖形處理能力之量的限制。因此，由於低延時視訊 屋縮404及低延時視訊解壓縮412，故使用者可感知，正將 飼服器402之#算此力提供給使用者。當使用者按屋輸入 器件421上之一按知時，顯示器422上之影像回應於按紐按 Μ而更新’感覺上無大的延遲，就好像遊戲或應用程式軟 I47I59.doc •52· 201119401 體在本鳊執行一樣。因此，在利用為極低效能電腦或僅為 實施低延時視訊解壓縮及控制信號邏輯413之廉價晶片的 家庭或辦公室用戶端415的情況下，使用者有效地具備來 自一遠端位置的任意計算能力，其看起來似乎可於本端獲 得。此給予使用者玩最高級處理器密集型（通常為新）視訊 遊戲及最高效能應用程式之能力。 圖4c展示一非常基本且廉價的家庭或辦公室用戶端器件 465。此器件為來自圖牦及圖仆之家庭或辦公室用戶端‘Η 之貝施例。该器件大約2忖長。該器件具有一與具有乙 太網路電源（PoE)之乙太網路電纜介接的乙太網路插口 462，該乙太網路插口 462自該電纜取得其電力及至網際網 路之連接性。其能夠在一支援網路位址轉譯（NAT)之網路 中執行NAT纟辦公至環境中，許多新型乙太網路交換器 具有PoE且直接將PoE送達辦公室中之乙太網路插口。在 此情形下，所需的僅為一自牆壁插口（wall jack)至用戶端 465之乙太網路電纜。若可用乙太網路連接不帶電源（例 如，在具有DSL或電纜數據機而無p〇E之家庭中），則可以 利用廉價的牆壁「磚塊」（亦即，電源供應器），其接受一 無電源乙太網路電纜且輸出具有p〇E之乙太網路。 用戶端465含有耦接至一藍芽無線介面之（圖乜之）控制信 號邏輯413，该藍芽無線介面與藍芽輸入器件479(諸如， 鍵盤、滑鼠、遊戲控制器及/或麥克風及/或頭戴式耳機）介 接。此外，用戶端465之一實施例能夠以12〇 fps輸出視 Λ，且與顯不器件468及一副快門眼鏡466耦接，該顯示器 147159.doc -53- 201119401 件能夠支援120 fps之視訊及信號（通常經由紅外線），且該 快門眼鏡用每一連續圖框交替地遮蔽一隻眼，接著遮蔽另 一隻眼。使用者感覺到的效果為一「跳出」顯示幕之立體 3D影像。 支挺此操作之此顯不|§件468為Samsung HL-T5076S。由於針對每一隻眼之視訊串流為分開的，故 在一實施例中’主機代管服務210壓縮兩個獨立視訊串 流’該等圖框在時間上交錯’且該等圖框係作為用戶端 465中之兩個獨立解壓縮處理程序而解壓縮。 用戶端465亦含有低延時視訊解壓縮邏輯4丨2，其解壓縮 傳入視訊及音訊且經由高清晰度多媒體介面（HDmi)連接 器463輸出’該連接器插入至標準清晰度電視（sdtv)或高 清晰度電視（HDTV)468中，從而為TV提供視訊及音訊，或 插入至支援HDMI之監視器468中。若使用者之監視器 不支援HDMI ’則可以使用一 HDMI_t〇_DVI(數位視訊介 面），但音訊會丟失。根據HDMI標準，顯示能力（例如， 支援之解析度、圖框速率）464傳達自顯示器件468，且接 著經由網際網路連接462將此資訊傳遞回至主機代管服務 210，因此，該主機代管服務可以一適合於顯示器件之格 式串流經壓縮之視訊。 圖4d展示一家庭或辦公室用戶端器件475，除該用戶端 器件具有更多外部介面之外，其與圖4(；中所示之家庭或辦 a至用戶端器件465相同。此外，用戶端475可接受用p〇E 供電’或其可用—插人於牆壁中之外部電源供應配接器 (圖中未展示）。使用用戶端475 USB輸入，視訊相機477將 147159.doc •54- 201119401 經壓縮之視訊提供給用戶端475，該經壓縮之視訊由用戶 端475上載至主機代管服務210以用於下文所描述之用途。 一利用下文所描述之壓縮技術之低延時壓縮器内建於相機 477 中。 除具有用於網際網路連接之一乙太網路連接器之外，用 戶端475亦具有至網際網路之一 802. llg無線介面。該等介 面均能夠在一支援NAT之網路中使用NAT。 此外，除具有用以輸出視訊及音訊的一 HDMI連接器之 外，用戶端475亦具有一雙鏈路DVI-I連接器，其包括類比 輸出端（且一標準配接器將提供VGA輸出端）。該用戶端亦 具有用於複合視訊及S視訊之類比輸出端。 對於音訊’用戶端475具有左/右類比立體聲RCA插口， 而對於數位音訊輸出’用戶端475具有一 TOSLINK輸出 端。 除至輸入器件479之一藍芽無線介面之外，該用戶端亦 具有用以介接至輸入器件之USB插口。 圖4e展示用戶端465之内部架構之一實施例。圖中所示 之該等器件之全部或一些可實施於一場可程式化邏輯陣列 中，實施於一定製ASIC中，或實施於定製設計或現成的若 干離散器件中。 具有PoE之乙太網路497附接至乙太網路介面481。電源 499來源於具有P〇E之乙太網路497且連接至用戶端465中之 其他器件。匯流排480為用於器件間之通信的一共用匯流 排。 147159.doc -55- 201119401 執行-來自快閃記憶體4 7 6之小型用戶端控制應用程式 之控制CPU 483(幾乎任何小型cpu皆可勝任’諸如1〇〇 MHz之具有嵌式RAMiMlps以〇〇〇系列cpu)實施網路之 協疋堆疊（亦即，乙太網路介面）且亦與主機代管服務加通 信’且組態用戶端465中之所有器件。該控制cpu亦處置 與輸入器件469之介面且將封包隨使用者控制器資料（其在 必要時受前向錯誤更正保護)發送回至主機代管服務⑽。 此外，控制CPU 483監視封包訊務（例如，在封包丟失或延 遲的情況下仍對其到達做時間戳記）。將此資訊發送回至 主機代管服務210，使得其可持續監視該網路連接且相應 地調整其發送内容》快閃記憶體476最初在製造時載入用 於控制CPU 483之控制程式且亦載入一只有特定用戶端465 單元才有的序號。此序號允許主機代管服務21〇唯一地識 別用戶端465單元。 藍芽介面484經由天線（在用戶端465内）以無線方式與輸 入器件469通信。

視訊解壓縮器486為一經組態以實施本文中所描述之視 訊解壓縮之低延時視訊解壓縮器。存在許多視訊解壓縮器 件’其或為現成的’或為一可整合至一 FPGA或一定製 ASIC中之設計之智慧財產（IP)。一提供h_264解碼器之1? 之公司為 NSW Australia之 Ocean Logic of Manly。使用 IP 之優點在於’本文中所使用之壓縮技術不必符合壓縮標 準。一些標準解壓縮器可足夠靈活地組態以適應本文中之 壓縮技術’而一些標準解壓縮器則不能。但是，利用Ip， 147159.doc •56· 201119401 存在按需要重新設計解壓縮器之完全靈活性。 視afL解壓縮器之輸出端耦接至視訊輸入子系統a?，其 將視訊耦接至HDMI介面490之視訊輸出端。 音訊解壓縮子系統488係使用一可獲得之標準音訊解壓 縮器實施’ 4其可貫施為ip，<該音m解壓縮可在控制處 理器483中實施，控制處理器483可（例如）實施Μ#音訊 解壓縮器（可自Vorbis.com獲得）。 實鈿a Λ解壓縮之器件耦接至將音訊耦接至η〇μι介面 490之音訊輸出端的音訊輸出子系統489。 圖4f展示用戶端475之内部架構之—實施例。如可見， 除來自一電源供應配接器之額外介面及可選外部直流電源 之外，該架構肖用戶# 465之架構相jgj，該電源供應配接 器插入於牆壁中且在使用其時替換可能來自乙太網路p〇E 497之電源。下文將不重複與用戶端465 一樣的功能性，但 額外功能性描述如下。 CPU 483與該等額外器件通信且組態該等額外器件。

WiFi子系統482經由其天線提供無線網際網路存取以作 為至乙太網路497之替代。WiFi子系統可自許多製造商購 得’其包括 Santa Clara，C“Ather〇s c〇mmunicati〇ns。 USB子系統485提供用於有線USB輸入器件479之藍芽通 #之替代。USB子系統相當標準且容易用於FpGA及 ASIC，而且常常内建於執行如視訊解壓縮之其他功能的現 成器件t。 視訊輸出子系統487產生比用戶端465中之視訊輸出更廣 147159.doc -57· 201119401 範圍之視訊輸出。除提供HDMI 490視訊輸出之外，視訊 輸出子系統487亦提供DVI-I 491、S視訊492及複合視訊 493。此外，當將DVI-I 491介面用於數位視訊時，顯示能 力464將自顯示器件傳遞回至控制CPU 483，使得控制CPU 483可通知主機代管服務210顯示器件478之能力。由視訊 輸出子系統487提供的所有該等介面為非常標準的介面且 容易以許多形式獲得。 音訊輸出子系統489經由數位介面494(S/PDIF及/或 Toslink)以數位方式輸出音訊且經由立體聲類比介面495以籲 類比形式輸出音訊。 往返延時分析 當然，為了實現之前段落之益處，使用者之使用輸入器 件421之動作與在顯示器件42〇上看到該動作之結果之間的 往返延時不應大於70毫秒至8〇毫秒。此延時必須考慮到自 使用者場所2U中之輸入器件421至主機代管服務21〇及再 次返回至使用者場所211之顯示器件422之路徑中的所有因 素圖4b說明各種組件及網路（信號必須在網路上傳播）， 且在此等組件及網路之上的是一時間表，其列出在一實際 實施中可能之例示性延時。請注意，圖4b經簡化，使 得僅展示要徑路由。以下將描述用於系統之其他特徵之資 ㈣其他路由。雙頭箭頭（例如’箭頭453)指示往返延時， 且單頭箭頭（例如’箭頭457)指示單向延時，且「〜表八 近似量測。應指出，會存在所列出之延時不能達成料^ 世界情況，但在許多情況下，在美國，使用至使用者場！ 147159.doc -58 - 201119401 叫之職及電徵數據機連接，可在下—段路中所描述之 下達成此等延k。此外，請注意，雖然至網際網路之 蜂巢式無線連接性肯定會配合所展示之系統，但大多數當

前us蜂巢式資㈣統（諸如，EVDC)H丨起極高延時且將不 能達成圖4b中所示之延時1而，可對可能能夠實施此延 時等級之未來蜂巢式技術實施此等基本原理。此外，存在 諸多遊戲及應用程式情境（例如，不需要快速使用者反應 時間之遊戲，冑如國際象棋），其中經由當前蜂巢式資料 系先引起之延時（儘管使用者容易看到）係該遊戲或應用程 式可接受的。 自使用者場所211處之輸入器件421開始，一旦使用者致 動輸入器件42丨’便將一使用者控制信號發送至用戶端 415(其可為諸如視訊轉換器之獨立器件，或其可為在諸如 PC或行動器件之另一器件中執行之軟體或硬體），且將該 使用者控制信號封包化（在一實施例中以UDp格式）且給予 該封包一目的地位址以到達主機代管服務21〇。該封包亦 將含有指不該等控制信號來自哪一個使用者之資訊。接著 經由防火牆/路由器/網路位址轉譯（NAT)器件443將該（該 等）控制信號封包轉發至WAN介面442。WAN介面442為由 使用者之網際網路服務提供者（lsp)提供給使用者場所21丄 之介面器件。WAN介面442可為一電纜或DSL數據機、一 WiMax收發器、一光纖收發器、一蜂巢式資料介面、一電 力線網際網路協定介面’或至網際網路之許多介面中之任 何其他介面。此外，防火牆/路由器/NAT器件443(及可能 147159.doc •59· 201119401 的WAN介面442)可整合至用戶端415中。此整合之一實例 可為一行動電話，其包括用以實施家庭或辦公室用戶端 415之功能性之軟體，以及用以經由某一標準（例如， 802.11g)以無線方式路由及連接至網際網路之構件。 WAN介面442接著將該等控制信號投送至本文中應稱為 使用者之網際網路服務提供者（Isp)之「網路連接點」441 的介面，其為提供連接至使用者場所211之WAN傳送與一 般網際網路或私用網路之間的介面之設施。網路連接點之 特性將視所提供之網際網路服務之性質而改變。對於 DSL，網路連接點通常應為—DSLAM所在之電話公司總 局。對於電纜數據機，網路連接點通常應為一電纜多系統 業者（MSQ)頭端。對於蜂巢m網路連接點應為一與 蜂巢式塔（cellular tower)相關聯之控制室。但是，不管網 路連接點之性質如何，其接著將該（該等）控制信號封包投 送至-般網際網路41〇。該（該等）控制信號封包接著將被投 送至WAN介面441，报可能經由—光纖收發器介面投送至 主機代管服務210。WAN 441接著將該等控制信號封包投 送至路由邏輯409(其可以許多不同方式實施，其包括乙太 網路父換器及路由飼服|| ) ’路由邏輯柳評估使用者之位 址且將該（該等）控制信號投送至給定使用者之正確飼服器 402 ° 伺服器402接著將該等控制信號作為正在祠服器術上執 打之遊戲或應用程式軟體之輸人且制料㈣信號處理 遊戲或應用程式之下―圖框…旦產生下—圖$，視訊及 147159.doc -60- 201119401 曰。扎即自伺服器402輸出至視訊壓縮器404。視訊及音訊可 經由各種手段自伺服器4〇2輸出至壓縮器4〇4。首先，壓縮 斋404可内建於伺服器術中，因此&缩可於本端在飼服器 中貫施。或者’視訊及/或音訊可經由至一網路之—網 路連接（諸如乙太網路連接）以封包化形式輸出，該網路為 一介於伺服器402與視訊壓縮器404之間的私用網路，或為 一共用網路（諸如，SAN 4〇3)β或者，視訊可經由一來自 φ 伺服器402之視訊輸出連接器（諸如，一 DVI或VGA連接器） 輸出，且接著由視訊壓縮器404擷取。此外，音訊可作為 數位音訊（例如，經由一 TOSLINK或S/PDIF連接器）或作為 類比音訊（其由視訊壓縮器404中之音訊壓縮邏輯數位化且 編碼）自伺服器402輸出。 一旦視訊壓縮器404已自伺服器4〇2擷取在圖框時間期間 產生之視訊圖框及音訊，該視訊壓縮器即使用下文所述之 技術壓縮視訊及音訊。一旦視訊及音訊被壓縮，即用一位 φ 址將視訊及音訊封包化以將其發送回至使用者之用戶端 415，且將其投送至WAN介面441，WAN介面441接著經由 一般網際網路410投送該等視訊及音訊封包，一般網際網 路41 〇接著將忒等視訊及音訊封包投送至使用者之網路 連接點441，ISP網路連接點441將該等視訊及音訊封包投 送至使用者場所處之WAN介面442，WAN介面442將該等 視訊及音訊封包投送至防火牆/路由器/NAT器件443，防火 牆/路由器/NAT器件443接著將該等視訊及音訊封包投送至 用戶端415。 147159.doc -61 - 201119401 用戶端41 5解厘縮視訊及音訊，且接著在顯示器件 422(或用戶端之内建顯示器件）上顯示視訊，且將音訊發送 至顯示器件422或發送至單獨放大器/揚聲器或發送至建置 於用戶端中之放大器/揚聲器。 為了使使用者感覺到剛才所描述之整個過程感覺上無滞 後’往返延遲必須小於70毫秒或8〇毫秒。所述往返路徑中 之延時延遲中之一些受主機代管服務21〇及/或使用者控 制，而其他延時延遲則不受主機代管服務21〇及/或使用者 控制。儘管如此，基於對許多真實世界情境之分析及測籲 試，以下為近似量測結果。

用以發送控制信號45 1之單向傳輸時間通常小於丨毫秒 通過使用者場所452之往返路由通常使用容易獲得之消養 級防火牆/路由器/NAT交換器在乙太網路上在約i毫秒内^ 現。使用者isp在其往返延遲453上變化很大，但對於ds: 及電纜數據機提供者，吾人通常發現往返延遲介於1〇毫毛 與25毫秒。一般網際網路410上之往返延時可視訊務之名 送方式及投送中是否存在任何故障（及以下所論述之此驾 問題）而有很多變化，但通常，在給定了至目的地之距靡 的情況下，一般網際網路提供最佳路線，且延時主要由夫 通過光纖之速度確定。如下文進—步所論述，吾人已將 麵哩確U吾人期望主機代管服務21Q距離使用者場所 川的大致最遠距離。在刪哩（2_哩往返）處，信號經由 網際網路之實際轉送時間為大約22毫秒。主機代管服務 210之WAN介面441通f為—具有可忽略延時之商^級光鐵 147159.doc -62- 201119401 冋速介面。因此，-般網際網路延時454通常介於❻秒與 10毫衫之間。經由主機代管服務21()之單向路由455延時可 在）於1毫秒内達成。词服器術通常將在少於—個圖框時 間（在60 fps下為16 7毫秒）内計算一遊戲或一應用程式之— 新圖框，因此16毫秒為可使用的合理最大單向延時456。 在本文中所描述之視訊壓縮及音訊壓縮演算法之一最佳化 硬體實施中，壓縮457可在1毫秒内完成。在次最佳化版本 φ 巾’壓縮可能耗時多達6毫秒（當#，更次最佳化版本將耗 時更多，但此等實施會影響往返之總延時且需要其他延時 較紐（例如，減少通過一般網際網路之允許距離）以維持70 毫私至80毫移之延時目標）。已考慮了網際網路、使用 者ISP 453及使用者場所路由452之往返延時，因此，剩下 ，要考慮的是視訊解壓縮458延時，其視視訊解壓縮458是 實施於專用硬體中或是在用戶端器件415(諸如，pC或行動 态件）上以軟體實施而定，該延時可視顯示器之大小及解 φ 壓縮CPU之效能改變。通常，解壓縮458耗時介於1毫秒與 8毫秒之間。 因此，藉由將在實踐中見到的最壞情況延時全部加在一 走' :〇人可以確弋圖4a中所示之系統之使用者預期可經歷 之最壞情況往返延時。最壞情況延時為：1 + 1+25+22+ K16+6 + 8 = 80毫秒。且，實際上，實務上（在下文論述警 告），此延時大致為使用圖牦中所示之系統之原型版本、 使用現成Windows PC作為美國之用戶端器件及家庭脱及 電數據機連接所預見之往返延時。當然，比最壞情況稍 147159.doc -63 - 201119401 但該等情境在開發廣泛使用之 好之情境可導致較短延時 商業服務上不可靠。 在：般網際網路上達成圖4b中所列出之延時需要用戶端 一的來自圖4a之視訊壓縮器404及視訊解壓縮器412產 ^ 一具有”特別特性之封包串流，以使得經由自主機代 Β服務210至顯示器件422之整個路徑所產生之封包序列不 經受延遲或過多封包丢失’且詳言之，一貫適合使用者在 使用者之經由WAN介面442及防火牆/路由器舰了⑷之網 際網路連接上可獲得的頻寬之約束。此外’該視訊壓縮器 必須產生-封包串&，其足夠穩固，使得其可容忍在正常 網際網路及纟料傳輸中出現料可避免之封包丟失及封包 重新排序。 低延時視訊壓縮 為實現前述目標’一實施例將一新方法用於視訊壓縮， 該方法縮短傳輸視訊之延時及峰值頻寬需纟。在描述此等 實施例之前，將關於圖5及圖6a至圖6b提供對當前視訊壓 縮技術之分析。當然、，若使用者具備足以處置此等技術所 需之資料速率之頻寬，則可根據基本原理使用此等技術。 清注意，除了說明音訊壓縮與視訊壓縮同時實施且與視訊 壓縮同步之外’本文中未解決音訊壓縮。存在滿足此系統 之需求的先前技術音訊壓縮技術。 圖5說明一種用於壓縮視訊之特定先前技術，其中每一 個別視訊圖框501-503由壓縮邏輯520使用一特定壓縮演算 法壓縮以產生一系列經壓縮之圖框511_513。此技術之一 I47159.doc •64· 201119401 貫施例為「運動jpEG」，其中基於離散餘弦變換（Dct)， 根據一聯合圖像專家群（JPeg)壓縮演算法壓縮每一圖框。 然而’可使用各種不同類型之壓縮演算法，同時仍遵守此 等基本原理（例如，諸如JPEG-2000的基於小波之壓縮演算 法）。 此類型壓縮法之一問題在於，其降低每一圖框之資料速 率’但其未利用連續圖框之間的相似性，而降低整個視訊 串OIL之資料速率。舉例而言，如圖5中所說明，假設一 640x480x24 位元 / 像素=640*480*24/8/1024=900 千位元組 / 圖框（KB/圖框）之圖框速率，對於一給定品質之影像，運 動JPEG僅可將該串流壓縮為原來的十分之一，從而導致一 90 KB/圖框之資料串流。在6〇圖框/秒的速率下，此壓縮 法將需要一90 K1B*8 bits*60圖框/秒=42·2 Mbpsi頻道頻 寬，該頻寬對美國現今幾乎所有家庭網際網路連接而言為 極尚頻寬，且對許多辦公室網際網路連接而言為過高頻 寬。實際上，若該壓縮法在此高頻寬下要求一恆定資料速 率，且該壓縮法僅伺服一個使用者，則即使在一辦公室 LANi衣;I兄中’ s亥壓縮法將消耗一 1 〇〇 MbpS乙太網路[αν之 頻寬的大百分率且為支援LAN之乙太網路交換器之沉重負 擔。因此，運動視訊之壓縮與其他壓縮技術（諸如，下文 所描述之壓縮技術）相比為低效率的。此外，如JpEG及 JPEG-2000之使用有損壓縮演算法之單一圖框壓縮演算法 產生在靜態影像中可能不明顯之壓縮假影（例如，場景中 之稠密葉子中之假影可能不表現為假景多，因$眼睛不準確 147159.doc -65- 201119401 知道稠密葉子如何出現）。但是，_ ~景運動，假影即 可突出，因為眼睛偵測到假影在圖框間 假影位於假影在靜態影像中可能不明顯的場景 _。此導致對圖框之序列中之「背景雜訊」之感覺，其在 外觀上類似於在邊緣類比τν接收期間可見之「雪花 (sn〇w)」雜訊。當然，此類型之壓縮法仍可在本文中所描 述之特定實施例中使用，但—般而言，為了避免場景中之 背景雜訊，一給定感知品質需要一高資料速率（亦即，一 低壓縮比率）。 其他類型之壓縮法（諸如，Η·264，或Wind〇ws Media VC9、MPEG2及MpEG4)在壓縮一視訊串流時全部更有效 率’因為其利用連續圖框之間的相似性。此等技術全部依 賴相同一般技術來壓縮視訊。因此，雖然將描述Η·264標 準’但可將相同一般原理應用於各種其他壓縮演算法。許 多Η.264壓縮器及解壓縮器可用’包括用於壓縮η.264之 x264開放原始軟體程式庫及用於解壓縮η.264之FFmpeg開 放原始軟體程式庫。

圖6a及圖6b說明一例示性先前技術壓縮技術，其中一系 列未經壓縮之視訊圖框501-503、559-561由壓縮邏輯620壓 縮成一系列「I圖框」611、671，「P圖框」61 2-613，及 「B圖框」670。圖6a中之垂直軸通常表示該等經編碼圖框 中之每一者的所得大小（雖然該等圖框未按比例繪製）。如 上所述，熟習此項技術者非常瞭解使用I圖框、B圖框及P 圖框之視訊編碼。簡單地說，I圖框611為完全未經壓縮之 I47159.doc -66- 201119401 圖框5 01 (類似於如上所述之經壓縮之JpE(}影像）的基於 DCT之壓縮。p圆框612-613在大小上整體顯著小圖框 611，因為P圖框利用先前ϊ圖框或p圖框中之資料；亦即’ P圖框含有指示先前I圖框或P圖框之間的變化之資料。除 了 B圖框使用之後參考圖框中之圖框以及可能使用之前參 考圖框中之圖框之外，B圖框670類似於p圖框。 針對以下論述，將假設所要圖框速率為6〇圖框/秒，每 一 I圖框為大約160 Kb，平均P圖框及B圖框為1 6 Kb，且每 私產生'~~新的I圆框。根據此組參數，平均資料速率可 為.1 60 Kb+1 6 Kb *59 = 1.1 Mbps。此資料速率肯定屬於至 家庭及辦公室之許多當前寬頻網際網路連接之最大資料速 率。此技術亦傾向於避免僅圖框内編碼之背景雜訊問題， 因為P圖框及B圖框追蹤該等圖框之間的差異，因此，壓縮 假影不容易在圖框之間出現或消失，藉此減少上述之背爭 雜訊問題。 先則類型之壓縮法之一問題在於，雖然平均資料速率相 對較低（例如，1.1 Mbps)，但單一 I圖框之傳輸耗時若干圖 框時間。舉例而言，使用先前技術，一 2.2 Mbps網路連接 (例如，具有來自圖3a之最大可用資料速率302之2.2 Mbps 峰值的之DSL或電纜數據機）通常足以在1.1 Mbps下串流 160 Kbps(每60個圖框一個I圖框）之視訊。可藉由在解壓縮 視訊之前使解壓縮器將視訊排入佇列1秒來實現此串流。 在1秒中，將傳輸1.1 Mb之資料，一2.2 Mbps最大可用資料 速率容易適應此傳輸，即使假設可用資料速率可能週期性 147159,doc •67· 201119401 地下降多達50%。不幸的是，此先前技術方法由於接收器 處之1秒視訊緩衝而夢致視訊之1秒延時。此延遲對許多先 前技術應用（例如，線性視訊之播放）足以勝任，但對於不 能容忍多於70毫秒至80毫秒之延時的快速動作視訊遊戲為 一極長延時。 若嘗試消除該1秒視訊緩衝，則仍不能導致快速動作視 訊遊戲之延時之足夠縮短。舉例來說，如先前所描述，B 圖框之使用需要接收在一 I圖框之前的所有B圖框及該J圖 框。若假設59個非I圖框大致分散在p圖框與b之間，則在 可顯示任何B圖框之前，將接收至少29個b圖框及一工圓 框。因此，不管頻道之可用頻寬如何，需要每六十分之一 秒持續時間29+1=30個圖框之延遲，或5〇〇毫秒之延時。該 延遲無疑非常長。 因此，另一方法可為消除B圖框及僅使用丨圖框及p圖 框。（此方法之一結果為，對於一給定品質等級，資料速 率將增加，但為此實例中之一致性起見，繼續假設：每一 I圖框之大小為160Kb且平均p圖框之大小為i6Kb，且因此 資料速率仍為1.1 Mbps)。此方法消除由Bgj框引入的不可 避免延時，因騎-Ρ0框之解媽僅㈣先前接收到的圖 C此方法之剩餘問題在於，Γ圖框&平均p圖框大得多， 以致於在-低頻寬頻道上（如大部分家冑中及許多辦公室 中典型的）’ 1圖框之傳輸增加實質延時。在圖6b中說明此 情況。除1圓框以外，視訊串流資料速率624在可用最大資 料速率621以下，其中⑽框所需之峰值資料速㈣3遠遠 147159.doc •68· 201119401 超過可用最大資料速率622(及甚至額定最大資料速率 621)。P圖框所需之資料速率小於可用最大資料速率。即 使2.2 Mbps之可用最大資料速率峰值穩定地保持在其2.2 Mbps峰值速率，傳輸I圖框亦將耗時16〇 Kb/2.2 Mb=71毫 秒’且若可用最大資料速率622下降50%( 1.1 Mbps)，則傳 輸I圖框將耗時142毫秒。因此，傳輸I圖框之延時落在71毫 秒與142毫秒之間的某處。此延時增加至圖4b中識別出之 籲 延時’在最壞情況下，該延時總計為70毫秒，因此，此將 導致自使用者致動輸入器件42丨時起至一影像出現在顯示 器件422上為止的141毫秒至222毫秒之極高的總往返延 時。且’若可用最大資料速率降至2·2 Mbps以下，則延時 將進一步增加。 亦清注意’以遠遠超過可用資料速率622之峰值資料速 率623干擾」ISP通常造成嚴重後果。不同up中之設備 會有不同表現，但當以比可用資料速率622高得多的資料 • 速率接收封包時，以下行為在DSL及電纜數據機中相當普 遍.（a)藉由將封包排入佇列（引入延時）來延遲封包，（b)丟 棄該等封包之一些或全部，（0停用該連接一段時間（很可 能因為ISP擔心其為一惡意攻擊，諸如「阻斷服務」攻 擊）。因此，以全資料速率傳輸一具有諸如圖补中所示之 特！生的特性之封包串流並非一可行選項。峰值⑶可在主 機代管服務210處排入仵列且以一在可用最大資料以下的 資料速率發送，從而引入之前段落中所描述的不可接受之 延時。 147159.doc -69- 201119401 此外，圖6b t所示之視訊爭流資料速率序列624為一非 常「緩和之」視訊串流資料速率序列，且為吾人期望自壓 縮來自-變化不大且具有很少運動之視訊序列之視訊產生 的資料速率序列種類（例如，其視訊電話會議中常見，其 中相機處於固定位置且很少運動，且場景(例如，就座者 在談話）中之物件展示很少運動）。 圖6c申所示之視訊串流資料速率序列634為吾人期望自 具有很多動作之視訊（諸如，在動畫中或在視訊遊戲中或 在某一應用程式軟體中可能產生之視訊）看到的事物所特 有之序列。請注意，除I圖框峰值633之外，亦存在諸如 63 5及636之P圖框峰值，該等圖框峰值相當大且多次超過 可用最大資料速率。雖然此等p圖框峰值不如I圖框峰值 大，但該等峰值仍太大而不能以全資料速率由頻道載運， 且與I圖框峰值一樣，該等P圖框峰值必須緩慢傳輸（藉此 導致增加的延時）。 在一尚頻寬頻道（例如，一 100 Mbps LAN，或一高頻寬 100 Mbps私用連接）上，網路應能夠容忍諸如I圖框峰值 633或P圖框峰值636之大峰值，且原則上，可維持低延 時。但是’此等網路常常由許多使用者共用（例如，在辦 公室環境中），且此「有峰值」之資料將影響LAN之效 能，特別在網路訊務經投送至一私用共用連接的情況下 (例如，自一遠端資料中心至一辦公室）。首先，應記住， 此實例係關於60 fps下之640x480像素的相對低解析度視訊 串流。60 fps下之1920x1080之HDTV串流容易由現代電腦 I47159.doc •70· 201119401 及顯示器處置，且60 fps下之2560χ1440解析度顯示器越來 越谷易獲得（例如，Apple，Inc.之30，·顯示器）。為達成一合 質等級，60 fps下之192Ox 1 〇80之高動作性視訊序列可 能需要4.5]^1131^(使用11.264壓縮法）。若假設1圖框峰值1〇 倍於私稱資料速率’則此導致45 Mbps之峰值，以及較小 但仍要考慮的P圖框峰值。若若干使用者正在相同的1〇〇 Mbps網路（例如，一介於一辦公室與資料中心之間的私用 周路連接）上接收視訊串流，則容易看到來自若干使用者 之視訊串流的峰值如何發生對齊，從而覆沒網路之頻寬且 可能覆沒網路上之支援使用者的交換器之背板之頻寬。即 使在一十億位元乙太網路之情況下，若足夠多使用者使足 夠的峰值同時對齊，則其可覆沒網路或網路交換器。且， 一旦2560x1440解析度視訊變得更常見，平均視訊串流資 料速率即可為9·5 Mbps，從而可能導致一95 Mbps之峰值 資料速率。不必說，一介於一資料中心與一辦公室之間的 100 Mbps連接（其現今為一特別快之連接）可完全為來自一 單一使用者之峰值訊務所淹沒。因此，即使lAN及私用網 路連接可更能容忍有峰值之串流視訊，但具有高峰值之串 流視訊並不合乎需要且可能需要辦公室之IT部門之特殊規 劃及調節。 當然，對於標準線性視訊應用，此等問題不成問題，因 為資料速率在傳輸點處經「平滑化」且每一圖框之資料速 率在最大可用資料速率622以下，且用戶端中之一緩衝器 在解壓縮圖框之前儲存I圖框、P圖框及B圖框之一序列。 147159.doc 201119401 因此’網路上之資料速率保持接近於視訊串流之平均資料 速率。不幸的是，即使未使用B圖框，此做法亦引入延 時’其係需要快速回應時間之諸如視訊遊戲及應用程式之 低延時應用程式不可接受的。 一種用以減少具有高峰值之視訊串流的先前技術解決方 法為使用一經常稱為「固定位元速率」（CBR)編碼之技 術。雖然術語CBR似乎暗示所有圖框經壓縮以具有相同位 疋速率（亦即，大小），但其通常指代的是一壓縮範例，其 中允許特定數目個圖框（在本發明情況下為丨個圖框）上之最 大位兀速率。舉例而言，在圖6(;之情況下，若將一 cbr約 束應用於編碼，其將位元速率限於（例如）額定最大資料速 率621之70%，則壓縮演算法將限制該等圖框中之每一者 之壓縮，使得任何圖框經壓縮而具有較少位元，通常情況 下該等圖框經壓縮而使用大於額定最大資料速率621之 70%。此壓縮之結果為，通常需要較多位元來維持一給定 品質等級之圖框將「缺乏」位元，且彼等圖框之影像品質 將比不需要比額定最大資料速率621之70。/〇多的位元之其 他圖框之影像品質差。此方法可產生特定類型之經壓縮之 視訊之可接受結果，在該經壓縮之視訊中，⑷預期存在很 少運動或場景變化且(b)使用者可接受週期性品質降級。 CBR適合之應用之一良好實例為視訊電話會議因為存在 很夕峰值且右。。質紐暫降級(例如’若相機被搖動從 而導致明顯的場景運動及大令值，則在搖動期間，益足夠 位元可用於高品質影像壓縮，此將導致降級之影像品 147159.doc •72· 201119401 質），則大部分使用者可接受。不幸的是，CBR並不十分 適合具有高複雜性或大量運動之場景及/或需要相當恆定 之品質等級的許多其他應用。

一實施例中所使用之低延時壓縮邏輯4〇4使用若干不同 技術，來解決關於串流低延時經壓縮之視訊，同時維持高 品質的一系列問題。首先，低延時壓縮邏輯404僅產生1圖 框及P圖框，藉此緩和對等待若干圖框時間以解碼每一 B圖 框之需要。另夕卜’如圖乃中所說明，在一實施例中，低延 時壓縮邏輯404將每一未經壓縮之圖框7〇卜76〇細分成一系 列影像塊（tlle)」且將每一影像塊個別編碼為一〗圖框或 一 P圖框。本文中將經壓縮之J圖框及p圖框之群組稱為「r 圖框」711-770。在圖7a中所示之特定實例中，將每一未 經壓縮之圖框細分成一16個影像塊之4χ4矩陣。然而，此 等基本原理不限於任何特定細分方案。 在實施例中，低延時壓縮邏輯404將視訊圖框劃分於 許多影像塊，且將來自I a t 目母圖框的一個影像塊編碼（攻 即’壓縮)為一1圖框(亦即，該影像塊經壓縮，就好像其為 一大^為完整影像之十六分之_之單獨視訊圖框且用於 :「迷你」圖框之壓縮法匐圖框壓縮法)，且將剩餘影偉 塊編碼（亦即，麼縮）為P圖框（亦即，用於每-「迷你十 Γ分之—圖框之壓縮法為p圖框壓縮法卜應將壓縮為⑽ 圖1之影像塊分別稱為「T影像塊」及「P影像塊」。 =一後繼視訊圖框，待編碼為I影像塊之影像塊有變 。因此，在―給^圖框時間中，視訊圖框中之該等影像 147159.doc •73· 201119401 塊中僅有一個影像塊為1影像塊，且該等影像塊之剩餘者 為P影像塊。舉例而言’在圖以中，將未經廢縮之圖框7〇1 之影像塊0編碼為！影像塊！。且將剩餘之影像塊卜15編碼為p 影像塊Pl至Pl5以產生R圖框川。在下一個未經壓縮之視 訊圖框7〇2中，將未經屋縮之圖框如之影像塊i編碼為⑸ 像塊且將剩餘之影像塊〇及2至15編碼為p影像塊p。及&至 ^以產生R圖框712。因此，影像塊之I影像塊及P影像塊 在連續圖框上按時間逐漸交錯。繼續該過程，直至產生一

R影像塊7 7 0，且矩陳φ夕吳祕 . 且矩陣中之最後-個影像塊經編碼為一工影 ，塊（亦即’W。該過程接著從頭開始，從而產生諸如圖 框之另-R圖框（亦即，編碼影像塊〇之 今也 在貫施例中，r圖框之視訊序列 ㈣wIf彡像塊（亦即’使得 ::運動用之參考影像資料”或者，在-實施例中：

二 =Γ用相同1影像塊圆案，但其不包括尚未用-1 :像塊編碼之彼等影像塊之ρ影像塊。換言之’在第一斶 像塊到達之前不用任何眘 ’、/ 避免圖Μ之視訊串_料2定影像塊進行編碼，藉此 在下文進一步解釋。此外2率934中的起動峰值，此將 大：及形狀用於影像塊，而仍符合此等基本原理。 在用戶端415上執行之視訊解 4 塊為小型！圖框及Ρ圖框 W 2好像母衫像 ¥ it ik.^ η μ - 蜀視汛序列一樣的解壓縮每一 二每一影像塊提供給驅動顯示器件-之 圖—舉例而言，使用來自R圖框711至77。之⑷。 147 丨 59.doc •74. 201119401 解錢及再現視訊影像之影像塊類似地，使用來自關 框711至770之L及Ρι重建影像塊1，諸如此類。如上所述， I圖框及p圖框之解壓縮係此項技術中熟知的且可藉由在 用戶端415中執行—視訊㈣縮器之多個執行個體來曰實現！ 影像塊及P影像塊之解壓縮。雖然倍增的過程似乎增加了 用戶端415之計算負擔，但實際上並非如此，因為景;像塊 本身相對於額外過程之數目按比例較少，所以所顯示的像

素之數目與存在-個過程且使用f知完整大小之！圖框及p 圖框的情況相同。 此R圖框技術顯著減少圖6b及圖6c中所說明之通常與工圖 框相關聯之頻寬峰值，因為任何給定圖框主要由通常小於 I圖框之P圖框組成。舉例而言，再次假設一典型I圖框為 160 Kb，則圖7a中所說明之該等圖框中之每一者之丨影像 塊大致為此量之1/16或10 Kb。類似地，假設—典型p圖框 為16 Kb，則圖7a中所說明之該等影像塊中之每一者的卩圖 框可為大致1 Kb。最終結果為一大約10Kb+15*1Kb=25Kb 之R圖框。因此，每一 60圖框序列將為25Kb*6〇=：1.5 MbPs。因此’在60圖框/秒的情況下，此將需要一能夠維 持一 1.5 Mbps之頻寬之頻道，但歸因於〗影像塊散佈在6〇圖 框間隔中，該頻道具有低得多的峰值。 凊注意’在I圖框及p圖框之相同假設資料速率之先前實 例中’平均資料速率為1.1 Mbps。此係因為在先前實例 中’每60個圖框時間僅引入一新I圖框一次，而在此實例 中’組成一 I圖框之16個影像塊在16個圖框時間中循環通 147159.doc •75· 201119401 過’且ϋ此’每16個目框時間引入一 j圖框之等價物，從 而導致一稱微較高之平均資料速率。實務上，儘管平均資 料速率增加，但較頻繁地引人10框並未使資料速率線性 地增加。此歸因於P圖框（或p影像塊）主要對先前圖框與下 -圖框之間的差異編碼之事實。因此，若先前圖框非常類 似於下一圖框，則P圖框將極小，若先前圖框與下一圖框 非常不同，則P圖框將極大。但是，因為?圖框主要自先前 :框導出而非自實際圖框導出，所以所得經編碼圖框可能 合有比一具有足夠數目位元之I圖框多的錯誤（例如，視覺 饭影）。且，在一個P圖框跟在另一 p圖框之後的情況下， 可Ab發生錯誤之累積，此在存在長的p圖框序列之情況下 變侍更糟。現在，一完善的視訊壓縮器將偵測到如下事 實.影像之品質在P圖框之一序列之後降級，且在必要 時，該壓縮器將更多位元分配給隨後p圖框以提昇該品 質，或在其為最有效之動作過程的情況下用一 I圖框替換 一 P圖框。因此，當使用長的P圖框序列時（例如，如在上 文之先前實例令，59個p圖框），特別當場景具有大量複雜 性及/或運動時，P圖框隨著其距離一I圖框更遠而需要更多 位元》 或者，自相反觀點看P圖框，緊跟在一〗圖框之後的p圖 框傾向於需要比距離一 I圖框較遠之P圖框少的位元。因 此，在圖7a中所示之實例中，p圖框距離一在其之前的1圖 框不多於1 5個圖框，而在先前實例中’一 P圖框可距離一 Ϊ 圖框59個圖框。因此，由於I圖框較常出現，P圖框較小。 147159.doc -76- 201119401 田 準確的相對大小將基於視訊串流之性質改變，但在 圖〜之實例中，若一 1影像塊為10 Kb，則P影像塊在大小 上平均可為僅0.75 kb ’從而導致i〇Kb+15*〇.75Kb=21.25 Kb’或在每秒6〇個圖框下，資料速率可為21251^*6〇=13 Mbps’或比i.i MbpS下之一具有一繼之以59個p圖框之】圖 框之串流南約丨6%的資料速率。再次，此等兩個視訊壓縮 方法之間的相對結果將視視訊序列改變，但通常，吾人已 根據經驗發現，對於一給定品質等級，使用R圖框需要比 使用Ι/P圖框序列多約2〇〇/0的位元。但是，當然，R圖框顯 著減少峰值，其使可使用之視訊序列具有遠小於I/p圖框序 列之延時。 視視訊序列之性質、頻道之可靠性及可用資料速率，可 以各種不同方式組態R圖框。在一替代實施例中，使用不 同於4x4組態中之1 6的數目之影像塊。舉例而言，2個影像 塊可用於一 2x1或1x2組態中，4個影像塊可用於一 2χ2、 4x1或1x4組態中，6個影像塊可用於一3χ2、2χ3、6χ1或 1 x6組態中，或者8個影像塊可用於一 4χ2(如圖7b中所示）、 2x4、8x1或1x8組態中。請注意，該等影像塊不必為正方 形’視訊圖框不必為正方形或甚至矩形。影像塊可分解成 最適合所使用之視訊串流及應用之任何形狀。 在另一實施例中’ I影像塊及P影像塊之循環不鎖定影像 塊之數目。舉例而言’在一 8影像塊之4X2組態申，如圖7b 中所說明，仍可使用一 16循環序列。將順序未經壓縮之圖 框7 21、7 2 2、7 2 3各自劃分成8個影像塊〇 _ 7且個別地壓縮 147159.doc • 77- 201119401 :影像塊。自R圖框731，僅將影像塊〇壓縮為一工影像 且將剩餘影像塊壓縮為？影像塊。對於隨後R圖框 2所有該等8影像塊墨縮為p影像塊，且接著對於隨 似圖㈣3，將影像塊丨壓縮為χ影像塊且將其他影像塊全 «縮為Ρ影像塊。且’因此該排序繼續針對⑹固圖框， 在" 像塊’因此，最後—個I影像塊 係在第15個圖框時間期間關於影像塊7產生（圖7b中未展 不）’且在第16個圖框時間期間，使用所有p影像塊壓缩r 圖框。接著’該序列再次以將影像❹壓縮為…影像 塊且將其他影像塊壓縮為p影像塊開始。如在先前實施例 中’整個視訊序列之第—個圖框通常全部為旧像塊以 為此後的P影像塊提供一參考。〖影像塊及p影像塊之循環 甚至不必為影像塊之數目的偶倍數。舉例而言，對於8個 影像塊，在使用另一〗影像塊之前，具有影像塊之每一 圖框可繼之以具有全部？影像塊的2個圖框。在又一實施例 中，若（例如）已知螢幕之特定區域更加動態而需要更頻繁 的I衫像塊，而其他區域更加靜態（例如，展示一遊戲之比 分）而需要較不頻繁的1；影像塊，則特定影像塊可經排序而 比其他影像塊具有更影像塊。此外，雖然在圖7a至圖 7b中說明每一圖框具有一單一 I影像塊，但可在一單一圖 框中對多個I影像塊編碼（視傳輸頻道之頻寬而定）。相反， 可不用I影像塊（亦即，僅用P影像塊）來傳輸特定圖框或圖 框序列。 之則段落之方法適用的原因在於，雖然未將I影像塊散 147159.doc -78 - 201119401 佈在每個單一圖框上似乎導致大峰值，但系統之行為並不 如此簡單。由於每一影像塊係與其他影像塊分開壓縮，故 iw著影像塊變小，每一影像塊之編碼之故率可變低，因為 用於一給定影像塊之壓縮器不能利用來自其他影像塊之類 似影像特徵及類似運動。因此，將螢幕劃分成16個影像塊 通常將導致不如將螢幕劃分成8個影像塊有效之一編碼。 但疋’若將螢幕劃分成8個影像塊且每8個圖框而非每丨6個 φ 圖框引入一完整1圖框之資料，則其導致一總體高得多的 肓料速率。因此，藉由每16個圖框而非每8個圖框引入一 完整I圖框，總資料速率減小。此外，藉由使用8個較大影 像塊而非16個較小影像塊，總資料速率減小，此亦使該等 較大影像塊導致之資料峰值減小至某一程度。 在另一實施例中，圖7a及圖7b中之低延時視訊壓縮邏輯 404控制位元至R圖框中之各種影像塊之分配，其基於待壓 縮之視訊序列之已知特性而藉由設定來預先組態，或基於 φ 母衫像塊中對影像品質之一進行中分析而自動進行。舉 例而s，在一些赛車視訊遊戲中，玩家汽車之前部（其在 場不中相對較少運動）佔據大部分的下半部分螢幕，而上 半部分螢幕完全為迎面而來的道路、建築物及風景（其幾 乎總是在執行中）填滿。若壓縮邏輯4〇4將相等數目之位元 分配給每一影像塊，則圖7b中之未經壓縮之圖框721中的 在下半部分螢幕上之影像塊（影像塊4_7)通常經壓縮而具有 比圖7b中之未經壓縮之圖框72 i中的在上半部分螢幕中之 影像塊（影像塊0-3)高的品質。若已知此特定遊戲或該遊戲 147159.doc •79- 201119401 之此特定場景具有此等特性，則主機代管服務21〇之業者 可組態壓縮邏輯404以使分配給螢幕頂部中之影像塊的位 7L比分配給螢幕底部中之影像塊的位元多。或者，壓縮邏 輯404可在壓縮圖框之後評估影像塊之壓縮品質（使用許多 壓縮。口質量度中之-或多者’諸如峰值信號與雜訊比 (PNSR)) ’且若確定在一特定時間窗巾，特定影像塊—貫 地產生較佳品質結果，則該壓縮邏輯逐漸將更多位元分配 給產生較低品質結果之影像塊，直至各種影像塊達到—類 似品質等級。在一替代實施例中’壓縮器邏輯4〇4分配位 疋以達成一特定影像塊或影像塊群組之較高品質。舉例而 言’該邏輯可提供-在螢幕之中心比邊緣處具有更高品質 之較佳總體感覺外觀。 在貫施例中，為了改良視訊串流之特定區域之解析 度，相較於具有相對較少場景複雜性及/或運動的視訊_ 流之區域，視訊壓縮邏輯4〇4使用較小影像塊編碼具有相 對更多場景複雜性及/或運動的視訊串流之區域。舉例而 α，如圖8中所說明，在一具有一個尺圖框811之區域中之 一移動角色805周圍使用較小影像塊（可能繼之以一系列具 有相同影像塊大小之R圖框（圖中未展示））。接著，當角色 8 05移動至影像之一新區域中時，在另一尺圖框812中之此 新區域周圍使用較小影像塊，如所說明。如上所述，可將 各種不同大小及形狀用於影像塊而仍符合此等基本原理。 雖然上述之循環Ι/P影像塊實質上減小一視訊串流之資 料速率之峰值’但其並未完全消除該等峰值，特別在快速 147159.doc 201119401 變化或極複雜之視訊成像的情況下，諸如隨動晝、視訊遊 戲及某一應用程式軟體出現的情況。舉例而言， 办 σ 牡—大然

琢景轉換期間，一複雜圖框可繼之以完全不同的另—複雜 圖框。gp使右干I影像塊可㉟已領先於該場景轉換僅幾個 圖框時間，該等影像塊亦對此情況無幫助，因為新圖框之 材料與先前I影像塊無關。在此情況下（及在即使並非所有 事物變化，但影像之大部分變化的其他情況下），視訊壓 縮器404可確定P影像塊中之多者（若非全部）編碼為〗影像塊 更有效，且其結果為該圖框之資料速率中之極大峰值。 如先前所論述，事實很簡單，對於大多數消費級網際網 路連接（及許多辦公室連接），超過圖6(：中展示為622之可用 最大資料速率以及額定最大資料速率621之「干擾」資料 並不可行。請注意’額定最大資料速率62丨（例如，「6

Mbps DSL」）實質上為針對考慮購買一網際網路連接之使 用者的銷售數字’但其通常並不保證效能等級。對於此應 用而言，其並不相關，因為人們僅關心當經由該連接串流 視訊時的可用最大資料速率622。因此，在圖9a及圖9c 中，當吾人描述峰值問題之一解決方法時，圖中省略了額 定最大資料速率，且僅展示可用最大資料速率922。視訊 牟流資料速率不能超過可用最大資料速率922。 為解決此問題’視訊壓縮器4〇4首先要做的事為確定一 蜂值資料速率94 1，其為頻道能夠容易地處置之資料速 率。此速率可藉由許多技術確定。一此技術為藉由將一資 料速率越來越高的測試串流自主機代管服務210逐漸發送 147159.doc -81 - 201119401 至用戶端415(圖4a及圖财），且使該用戶端將關於封包丢 失等級及延時之反饋提供給該主機代管服務。當封包丟失 及/或延時開始展示一急劇增加時，指示達到可用最大資 料速率922。此後’主機代f服務21()可逐漸減小該測試串 流之資料速率，直至用戶端415報告：在一合理時間段 中’該測試串㈣以-可接受之封包丟失等級接收且延時 接近最小。此確定一最大峰值資料速率941，其將接著用 作為用於串流視訊之一峰值資料速率。峰值資料速率 將隨時間波動（例如 家庭中之另一使用者開始頻繁使用 網際網路連接之情況）’且用戶端415將必須持續監視資料 速率以查看封包丟失或延時是否增加，從而指示可用最大 資料速率922正降至該先前確定之峰值資料速率941以下， 且若封包丟失或延時增加，則可用最大資料速率922降至 峰值資料速率941以下。類似地，若用戶端415經過一段時 間發現：封包丟失及延時保持在最佳等級，則該用戶端可 請求視訊壓縮器緩慢增加資料速率以查看可用最大資料速 率是否已增加（例如，家庭中之另一使用者已停止頻繁使 用網際網路連接），且再次等待，直至封包丟失及/或較高 延時指示已超過可用最大資料速率922，且可再次發現峰 值資料速率941之一較低等級，但該等級可能高於測試一 增加之資料速率之前的等級。因此，藉由使用此技術（及 如同此技術之其他技術），可發現一峰值資料速率941且按 需要週期性地調整該資料速率。峰值資料速率94丨確定可 由視訊壓縮器404使用以將視訊串流至使用者之最大資料 147159.doc •82· 201119401 速率。用於確定峰值資料速率之邏輯可實施於使用者場所 2U處及/或在主機代管服務21()上實施。在使用者場所川 處，用戶端器件415執行用以確定峰值資料速率之計算且 將此資訊傳輸回至主機代管服務21〇 ;在主機代管服務21〇 處，該主機代管服務處之一飼服器4〇2執行用以基於自用 戶端415接收之統計資料（例如，封包丟失、延時、最大資 料速率等）確定峰值資料速率之計算。 圖9a展不一具有實質場景複雜性及/或運動之實例視訊 率流資料速率934,其已使用先前所描述且在圖〜、圖％ 及圖8中說明之循環I/P影像塊壓縮技術而產生。視訊壓縮 器4 0 4已經組態而以一在峰值資料速率9 4丨以下的平均資料 速率輸出經壓縮之視訊，且請注意，在大部分時間中，視 訊串流資料速率保持在峰值資料速率941以下。資料速率 934與圖6c中所示之使用I/P/B或I/p圖框產生的視訊_流資 料速率634之比較展示循環I/P影像塊壓縮產生一更平滑之 資料速率。並且，在圖框2倍峰值952(其接近2倍峰值資料 速率942)及圖框4倍峰值954(其接近4倍峰值資料速率944) 處’資料速率超過峰值資料速率941，此係不可接受的。 實務上，即使對於來自快速變化之視訊遊戲的高動作性視 訊’超過峰值資料速率941之峰值在少於2%的圖框中出 現’超過2倍峰值資料速率942之峰值很少出現，且超過3 倍峰值資料速率943之峰值幾乎從未出現。但是，當該等 峰值出現時（例如’在一場景轉換期間），其所需之資料速 率係產生一良好品質視訊影像所必需的。 147159.doc -83- 201119401 種解決此問題之方法僅為：組態視訊壓縮器4〇4，使 得其最大資料速率輸出為峰值資料速率941。不幸的是， 該等峰值圖框期間之所得視訊輸出品質不佳，因為該壓縮 演算法「缺少」位元。其結果為當存在突然轉換或快速運 動時出現壓縮假影，且及時地，使用者突然認識到：假影 總是在存在突然變化或快速運動時突然出現，且該等假影 可變得相當討厭。 雖然人類視覺系統對在突然變化或快速運動期間出現之 視覺假影相當敏感，但人類視覺系統對偵測此等情況下之 圖框速率減少並不特別敏感。實際上，當此等突然變化出 現時，看來好像人類視覺系統全神貫注於追蹤該等變化， 而其並未注意到圖框速率是否暫時自60 fps降至3〇 fps且接 著立即返回60 fps。且，在一極顯著的轉換（如一突然場景 變化）之情況下，人類視覺系統並未注意到圖框速率降至 20 fps或甚至15 fps且接著立即返回6〇 fpS。既然圖框速率 減少僅很少出現，對一人類觀測者而言，看來好像視訊以 60 fps連續傳播。 人類視覺系統之此特性為圖9b中所說明之技術所利用。 伺服器402(來自圖4a及圖4b)以一穩定圖框速率（在一實施 例中以60 fps)產生一未經壓縮之視訊輸出串流。一時間表 展示每六十分之一秒輸出之每一圖框961-970。將每一未 經壓縮之視訊圖框（自圖框961開始）輸出至低延時視訊壓縮 器404 ’該視訊壓縮器在小於一圖框時間中壓縮圖框，從 而產生第一圖框之經壓縮之圖框1 981。如先前所描述， 147159.doc -84- 201119401 視許多因素而定，為經壓縮之圖框丨981產生之資料可能 較大或較小。若該資料足夠小而使其可以峰值資料速率 941在一圖框時間（六十分之—秒）或更少時間中傳輸至用戶 端415 ,則該資料係在傳輸時間（xmh時間）991期間傳輸（箭 頭之長度指示傳輸時間之持續時間）。在下—圖框=^ 中，伺服器402產生未經壓縮之圖框2 962，將該未經壓縮 之圖框壓縮成經壓縮之圖框2 982，且該經壓縮之圖框係 以峰值資料速率在小於一圖框時間的傳輸時間992期間傳 胃輸至用戶端415。 接著，在下一圖框時間中’伺服器4〇2產生未經壓縮之 圖框3 963。在視訊壓縮器404壓縮該未經壓縮之圖框後， 所得經壓縮之圖框3 983具有比在一個圖框時間中以峰值 資料速率941可傳輸之資料多的資料。因此，該經壓縮之 圖框係在傳輸時間（2倍峰值）993期間傳輸，該傳輸時間佔 據該圖框時間之全部及下一圖框時間之部分。現在，在下 φ 一圖框時間期間，伺服器402產生另一未經壓縮之圖框4 964且將其輸出至視訊塵縮器4〇4，但忽略資料且以說 明。此係因為視訊壓縮器404經組態以忽略在該視訊壓縮 器仍傳輸一先前經壓縮之圖框時到達的其他未經壓縮之視 訊圖框。當然，用戶端415之視訊解壓縮器將不能接收圖 框4，但該視訊解壓縮器僅繼續在顯示器件422上顯示圖框 3達2個圖框時間（亦即，暫時將圖框速率自6〇 fps降至3〇 fps)。 對於下一圖框5，伺服器402輸出未經壓縮之圖框5 147159.doc -85- 201119401 965 ’將該未經壓縮之圖框壓縮成經壓縮之圖框5 985且在 傳輸時間995期間在1個圖框内傳輸該經壓縮之圖框。用戶 端41 5之視訊解壓縮器解壓縮圖框$且將其顯示於顯示器件 422上。接下來，伺服器4〇2輸出未經壓縮之圖框6 966， 視訊壓縮器404將該未經壓縮之圖框壓縮成經壓縮之圖框6 986，但此時，所得資料極大。經壓縮之圖框係以峰值資 料速率94丨在傳輸時間（4倍峰值）996期間傳輸，但傳輸該圖 框幾乎耗時4個圖框時間。在接下來的3個圖框時間期間， 視訊壓縮器404忽略來自伺服器4〇2的3個圖框，且用戶端 415之解壓縮器將圖框6穩定地保持在顯示器件422上達々個 圖框時間（亦即，暫時將圖框速率自60 fps降至15 fps)。接

著最後伺服器402輸出圆框1 〇 970，視訊壓縮器404將驾 圖框壓縮成經壓縮之圆框1G 987，且該經壓縮之圖框係名 傳輸時間997期間傳輸，且用戶端415之解壓縮器解壓縮圖 框1〇且將其顯示於顯示器件422上，且再次，該視訊以6( fps重新開始。

旁'主意冑然視讯壓縮器404丢棄來自由飼服器402i ^視訊串流的視訊圖枢，但該視訊壓縮器並未丢棄音言 f不e曰訊係以何種形式傳入，該視訊塵縮器在吾邊 Λ圖框時繼續壓縮音訊資料且將音訊資料傳輸至用戶 11，該用戶端繼續解壓縮音訊資料且將音訊提供給由 、用來播放音訊之任何器件。因此，音訊在圖框被晏 立週期期間保持不減弱。與經I缩之視訊相比，經壓縮 凡’肖耗頻寬之相對較小百分率，且因此其對總資料速 H7I59.doc * 86 - 201119401 中之任一者中說明此， 經壓縮之音訊串流保留 無重大影響。雖然未在資料速率圖 但峰值資料速率941中總是存在為 之資料速率容量。

選擇剛才在圖9b中所描述之實例來說明圖框速率如何在 資料速率峰值㈣下降，但未說明的是：當使W前所描 述之循％I/P影像塊技術時，即使在高場景複雜性/高動作 性序列（諸如’在視訊遊戲、動畫及某—應用程式軟體中 出現的序列）期間，此等資料速率峰值及隨之發生的丟棄 圖框係罕見的。因&，降低之圖框速率很少發生且為暫時 的，且人類視覺系統不會偵測到降低之圖框速率。 若將剛才描述之圖框速率減少機制應用於圖％中所說明 之視訊串流資料速率，則在圖究中說明所得視訊串流資料 速率。在此實例中，2倍峰值952已減小至平坦化2倍峰值 953，且4倍峰值955已減小至平坦化4倍峰值955 ’且整個 視訊串流資料速率934保持在峰值資料速率941或以下。 因此，使用上述技術，一高動作性視訊串流可經由一般 網際網路且經由一消費級網際網路連接以低延時傳輸。此 外’在一辦公室環境中’在一 LAN(例如，1 〇〇 Mbs乙太網 路或802.llg無線網路）上或在一私用網路（例如，介於一資 料中心與一辦公室之間的100 Mbps連接）上，可傳輸一無 峰值之高動作性視訊串流，使得多個使用者（例如，在4.5

Mbps下以6〇 fps傳輸1920χ1080)可使用該LAN或共用私用 資料連接而不重疊峰值’其中重疊峰值會覆沒網路或網路 交換器背板。 147159.doc • 87· 201119401 資料速率調整 在實施例中，主機代管服務21 〇最初評定頻道之可用 最大Η料速率622及延時以確定視訊串流之適當資料速率 且接著作為回應動態地調整資料速率。為了調整資料速 率，主機代管服務210可（例如）修改待發送至用戶端415的 視訊串流之影像解析度及/或每秒圖框數。此外，該主機 代管服務可調整壓縮影像之品質等級。當改變視訊串流之 解析度（例如，自1280x720解析度變為64〇x36〇)時，用戶 端415上之視訊解壓縮邏輯412可按比例放大該影像以在顯 示幕上維持相同影像大小β 在一實施例十，在完全放棄頻道的情況下，主機代管服 務210暫停遊戲。在一多人遊戲的情況下，主機代管服務 向其他使用者報告：使用者已放棄遊戲及/或暫停其他使 用者之遊戲。 丟棄或延遲之封包 在貫施例中，若由於圖4a或圖4b中之視訊壓縮器404 與用戶端415之間的封包丟失，或由於一到達過遲而不能 解壓縮且滿足經解壓縮之圖框之延時需求的封包係非按序 接收，而丟失資料，則視訊解壓縮邏輯412能夠減少視覺 假影。在一串流Ι/P圖框實施中，若存在一丟失/延遲之封 包，則整個螢幕受影響，可能使螢幕完全凍結達一時間段 或展示其他寬螢幕視覺假影。舉例而言，若一丟失/延遲 之封包導致一 I圖框之丟失，則該解壓縮器將缺少之後的 所有P圖框之一參考，直至接收到一新j圖框。若丢失一 p I47159.doc -88- 201119401 圖框，則其將影響整個t幕的之後的p圖框。視在η圖框 出現之前經過的時間而定，此丢失將具有一較長或較短之 視U使用如圖7a及圖7b中所示之交錯的Ι/Ρ影像塊， 一丟失/延遲之封包較不可能影響整個螢幕，因為其僅影 響受影響封包中所含有之影像塊。若每一影像塊之資料係 在-個別封包中發送，則若丟失一封包，貝1其將僅影響— 個影像塊。當然，視覺假影之持續時間將視以下各者而 鲁定：是否丢失一1影像塊封包；及若丢失-Ρ影像塊，則在 一I影像塊出現之前將耗用多少個圖框。但是，若以〗圖框 極頻繁地（可能每個圖框）更新螢幕上之不同影像塊，則即 使螢幕上的一個影像塊受影響，其他影像塊亦可不受影 響。此外，若某-事件導致若干封包同時丟失（例如，緊 接一 DSL線之一暫時中斷資料亊流之電源尖峰），則該等影 像塊中之一些比其他影像塊受到更大影響，但因為一些^ 像塊能用一新I影像塊迅速再新，所以該等影像塊將僅暫 φ 時受影響。此外’對於-串流Ι/ρ圖框實施，該等ι圖框不 僅為最關鍵圖框，該等I圖框亦非常大，因此，若存在一 造成一丟棄/延遲之封包之事件，則一Ζ圖框受影響之機率 將比一小得多的1影像塊大（亦即，若一I圖框之任何部分丟 失，則將不可能解壓縮該I圖框）^由於所有此等原因，冬 封包被丟棄/延遲時，使用Ι/ρ影像塊導致比Ι/ρ圖框少得S 的視覺假影。 一實施例嘗試藉由將經壓縮之影像塊智慧地封裝在傳輸 控制協定（TCP)封包或使用者資料報協定（UDp)封包中來減 147159.doc •89· 201119401 少丟失封包之影響。舉例而言，在一實施例中，儘可能將 影像塊與封包邊界對齊。圖l〇a說明可將影像塊包裝在一 系列封包1001-1005中而不實施此特徵之方式。具體言 之’在圖10a中’影像塊跨越封包邊界且低效率地包裝， 使得單一封包之丟失導致多個圖框之丟失。舉例而言若 封包1003或1004丟失，則三個影像塊將丟失，從而導致視 覺假影。 與之相比，圖10b說明用於將影像塊智慧地包裝在封包 中以減少封包丟失之影響的影像塊包裝邏輯1〇1〇。首先，籲 影像塊包裝邏輯1010使影像塊與封包邊界對齊。因此，影 像塊T1、丁3、Τ'4、T7及T2分別與封包1〇〇1_10〇5之邊界對 齊。該影像塊包裝邏輯亦嘗試以最有效之可能方式將影像 塊裝配於封包内，而不跨越封包邊界。基於該等影像塊中 之每一者之大小，將影像塊丁丨與！^組合在一個封包1〇〇1 中；將影像塊Τ3與Τ5組合在一個封包1002中；將影像塊 Τ4與Τ8組合在一個封包1003中；將影像塊口添加至封包 1004 ’且將影像塊Τ2添加至封包1〇〇5 ^因此，根據此方鲁 案，一單一封包丟失將導致不多於2個影像塊（而非如圖 l〇a中所說明的3個影像塊）之丟失。 圖l〇b中所示之實施例之一額外益處在於，該等影像塊 係以不同於其顯示於影像中之次序的一次序傳輸。以此方 式，若鄰近封包因干擾傳輸之相同事件而丟失，則其將影 響在螢幕上彼此不靠近之區域’從而在顯示器上形成較不 明顯的假影。 147159.doc -90· 201119401 一實施例使用前向錯誤更正（FEC)技術保護視訊串流之 特定部分不受頻道錯誤影響。如此項技術中熟知的，諸如 里德-所羅門（Reed-Solomon)及維特比（viterbi)之FEC技術 產生錯誤更正資料資訊且將其附加至經由一通信頻道傳輸 之-貝料若一錯誤出現在基本資料（例如，一 j圖框）中，則 FEC可用以更正該錯誤。 FEC碼增加傳輸之資料速率，因此理想地，僅在最需要 時使用-亥等FEC碼。若正在發送不導致一極明顯視覺假影 U料，則可能較佳不使用FEC碼保護該資料。舉例而 ° 緊接在一丟失之I影像塊之前的p影像塊將僅在螢幕 上產生六十分之一秒的視覺假影（亦即，在螢幕上之未經 更新之影像塊上）。此視覺假職乎不可為人眼所摘測。 由於多個P影像塊在一旧像塊之後很遠，故丢失一P影像 塊變得愈加明顯。舉例而言，若一影像塊循環圖案為一在 可再-人付到一1影像塊之前繼之以15個P影像塊之〗影像 影像塊之後的p影像塊丢失則此將導 致該影像塊展示-錯誤影像達15個圖框時間（在6G fps下， 其將為2 5 0毫秒）。人目疼脾六且 )人眼將谷易偵測到一串流中之250毫秒

的中斷3此，一 P影像塊距—新I影像塊越遠（亦即，一 P ㈣塊跟著一1影像塊越近），假影越明顯。如先前所論 述’雖然如此，伸一如而 仁般而s，—Ρ影像塊跟著一I影像塊越

近，該Ρ影像塊之資姐叔· I 1 ”。因此，I影像塊之後的Ρ影像 。 4失方®更重要’而且該等Ρ影像塊之大小 較小。且’ 一般而言，雪至^ 需要保護之資料越小，保護資料所 147159.doc •91 · 201119401 需之F E C碼越小。 因此，如圖Ua中所說明，在一實施例中，由於i影像塊 在視訊串流中之重要性’僅！影像塊具備fec碼。因此， FEC 1101含有I影像塊11〇〇之錯誤更正碼且fec "Μ含 有I影像塊之錯誤更正碼。在此實施例中不產生?影 像塊之FEC。 在圖m中所說明之—實施例中，亦產生若丢失則很可 能導致視覺假影之p影像塊之卿碼。在此實施例中，咖 1105提供前3俯影像塊之錯誤更正碼，但不提供之後的p 影像塊之錯誤更正碼。在另—實施例中，產生資料大小最 小之P影像塊之FEC碼（其將傾向於自我選擇在一鳴像塊之 後最快出現的P影像塊，該等p影像塊在保護方面更重 要）。 在另-實施财，並非發送—FEC碼及—影像塊，將該 影像塊傳輸兩次，每-次在-不同封包中U封包丢 失/延遲，則使用另一封包。 在圖以中所示之-實施例中，分別產生音訊封包1110 及1112之FEC碼1111及1113，該等音訊封包係與視訊同時 自主機代管Μ傳輸。維持_視訊串流中之音訊之完整性 特別重要，因為失真音訊（例如，滴答聲或撕撕聲）將導致 =別令人不快的使用者體驗^該等FEC碼幫助確保音訊 内今在不失真的情况下在用戶端電腦415處再現。 在另-實施例中，並非發送一 FEC碼及一音訊資料 該音訊資料傳輸兩次’每一次在一不同封包中。若一個封 147159.doc -92- 201119401 包丟失/延遲，則使用另一封包。 另外，在圖lid中所說明之一實施例中，分別將fec碼 1121及1123用於自用戶端415上傳至主機代管服務21〇之使 用者輸入命令1120及1122(例如，按紐按壓）》此非常重 要，因為錯失一視訊遊戲或一應用程式中之一按鈕按壓或 一滑鼠移動可導致一令人不快的使用者體驗。 在另一實施例中，並非發送一 FEC碼及使用者輸入命令 資料，將該使用者輸入命令資料傳輸兩次，每一次在一不 同封包中。若一個封包丟失/延遲，則使用另一封包。 在一實施例中，主機代管服務21〇評定與用戶端415之通 信頻道之品質，以判定是否使用FEC，且若使用FEC，則 判定FEC應應用於視訊、音訊及使用者命令之哪些部分。 評定頻道之「品質」可包括諸如評估封包丟失、延時等之 功能，如上所述。若頻道特別不可靠，則主機代管服務 210可將FEC應用於所有〗影像塊、p影像塊、音訊及使用者 命令。相反，若頻道可靠，則主機代管服務21〇可僅將 FEC應用於音訊及使用者命令，或可不將FEC應用於音訊 或視訊，或可完全不使用FECd可使用FEC之應用之各種 其他排列，同時仍符合此等基本原理。在一實施例中，主 機代管服務210繼續監視頻道之狀況且相應地改變FEC策 略0 在另一實施例中，參看圖4a及圖4b，當一封包丟失/延 遲，從而導致影像塊資料之丟失，或若（可能）由於一特別 不利的封包丟失，FEC不能更正丟失之影像塊資料，則用 147159.doc -93- 201119401 戶而415 D平疋在接收到一新鳴像塊之前剩餘多少個圖框且 比較其與自用戶端415至主機代管服務21〇之往返延時。若 忒彺返延時小於在一將到達之新工圖框之前的圖框之數 目一則用戶端415將一請求—新1影像塊之訊息發送至主機 代s服務210。此訊息經投送至視訊壓縮器例，且並非產 生資料已丟失之影像塊的_ p影像塊，視訊壓縮器產生一I 影像塊。若圖4a及圖4b中所示之系統經設計以提供一通常 小於8〇毫秒之往返延時，則此使得—影像塊將在80毫秒内 得以更正（在60 fps下’圖框具有16 67毫秒之持續時間因 此，在全圖框時間巾，80毫秒之延時將使得在83 33毫秒 内產生-經更正影像塊，83·33毫秒為5個圖框時間，其為 一明顯中斷’但遠不如（例如）15個圖框之㈣毫秒中斷明 顯）。當壓縮11404未以其通常循環次序產生此χ影像塊時， 若該！影像料致該圖框之頻寬超過可用㈣，則壓縮器 4〇4將延遲其他料塊之循環，使得其他影像塊在該圖框 時間期間接收Ρ影像塊(即使一個影像塊通常將在該圖框期 間預期為- I影像塊），且接著自下一圖框開始，通常循環 將繼續’且通常已接收之前圖框中之一！影像塊之影像塊 將接收一 I影像塊。雖然此動作暫時延遲R圖框循環之相 位’但其在視覺上通常不明顯。 視訊及音訊壓縮器/解壓缩器實施 圖12說明一特定實施例，其中使用一多核心及/或多處 理器1200並行地壓縮8個影像塊。在一實施例中，使用以 2.66 GHz或更高頻率執行之雙處理器、四核心Xe〇n cpu， 147159.doc ·94· 201119401 腦系統，且每一核心將開放原始程式碼x264 H.264壓縮器 實施為一獨立處理程序。然而，可使用各種其他硬體/軟 體組態，同時仍符合此等基本原理。舉例而言，可用一以 FPGA實施之Η.264壓縮器替換該等CPU核心中之每一者。 在圖12中所示之實例中，核心1201-1208用以同時處理之I 影像塊及P影像塊，以作為八個獨立執行緒。如此項技術 中熟知的，當前多核心及多處理器電腦系統在與多線緒作 業系統（諸如，Microsoft Windows XP專業版本（64位元或 32位元版本）及Linux)整合後本質上能夠進行多線緒處理。 在圖12中所說明之實施例中，由於該8個核心中之每一 者僅負責一個影像塊，故每一核心基本上獨立於其他核心 操作，每一核心執行x264之一單獨執行個體。一基於快速 周邊元件互連xl(PCIExpressxl)之DVI擷取卡（諸如，來自 Oosterhout，The Netherlands之Microtronix的 Sender。視訊影 像 IP 開發板（Sendero Video Imaging IP Development Board))用以以640x480、800x600或1280x720解析度擷取未 經壓縮之視訊，且該卡上之FPGA使用直接記憶體存取 (DMA)經由DVI匯流排將經擷取之視訊傳送至系統RAM 中。將該等影像塊配置成一 4x2配置1205(雖然將該等影像 塊說明為正方形影像塊，但在此實施例中，該等影像塊具 有160x240之解析度）。x264之每一執行個體經組態以壓縮 8個160x240影像塊中之一者，且使該等影像塊同步，使得 在一最初I影像塊壓縮之後，每一核心進入一循環，每一 個圖框與另一圖框不同相，以壓縮一個I影像塊，繼之以 147159.doc -95- 201119401 七個P影像塊，且在圖12中說明。 在每一圖框時間中’使用先前所描述之技術將所得經壓 縮之影像塊組合在一封包串流中，且接著將該等經壓縮之 影像塊傳輸至一目的地用戶端415。 雖然圖12中未說明’但右組合的8個影像塊之資料速率 超過一規定峰值資料速率941，則視需要暫時中止所有8個 X264處理程序達多個圖框時間，直至組合的8個影像塊之 資料已傳輸為止。 在一實施例中，用戶端41 5經實施為在Pc：上之執行 FFmpeg之8個執行個體之軟體。一接收處理程序接收該8 個办像塊，且將每一影像塊投送至一 FFmpeg執行個體， 其解壓縮該影像塊且將該影像塊再現於顯示器件422上之 一適當影像塊位置上。 用戶端415自PC之輸入器件驅動器接收鍵盤、滑鼠或遊 戲控制器輸人且將其傳輸至伺服器術。词服器術接著應 用該接收到的輸入器件資料且將該資料應用於在伺服器 402上執行之遊戲或應用程式，伺服器4〇2為一使用化⑷ 2-16GHz Core Duo CPU 執行 Windows 之 PC。伺服器402 接 著產生新圖框且、經由其來自基於主機板之圖形系統之 DVI輸出端或經由NVIDU 88〇〇gtx快速周邊元件互連 (PCI Express)卡之DVI輸出端輸出該新圖框。 同時，伺服402經由其數位音訊輸出端（例如， S/PDIF)輸出遊戲或應用程式所產生之音訊，該數位音訊 輸出端麵接至實施視訊塵縮的基於雙四核Xeon之PC上之 147I59.doc •96· 201119401 數位曰Λ輸入鈿。一 v〇rbls開放原始程式碼音訊壓縮器用 以使用處理程序線緒可用的任何核心與視訊同步地壓縮音 訊。在一實施例中，完成壓縮其影像塊之核心首先執行音 訊壓縮。接著將該經壓縮之音訊與經壓縮之視訊一起傳 輸，且使用一 Vorbis音訊解壓縮器在用戶端415上解壓縮該 經壓縮之音訊。 主機代管服務伺服器中心散佈 光在玻璃（諸如光纖）中以光在真空中之速度的一小部分 行進，且因此，可確定光在光纖中之準確傳播速度。但 是，實務上，考慮路由延遲之時間、傳輸低效率及其他額 外負擔，吾人已觀測到，網際網路上之最佳延時反映較接 近光速的50%之傳輸速度。因此，一最佳1〇〇〇哩往返延時 為大約22毫秒，且一最佳3〇〇〇哩往返延時為約以毫秒。因 此，一美國海岸上之單一伺服器可能距離太遠而不能向另 海岸上之伺服器（其可能在3〇〇〇哩之外）提供所要延時。 然而，如圖13a中所說明，若主機代管服務21〇之伺服器中 〜1300位於美國的中心（例如，Kansas、Nebraska等），以 使得與美國大陸命之任一點的距離為大約丨5〇〇哩或更少， 則往返網際網路延時可低至32毫秒》參看圖4b，請注意， 雖然使用者ISP 453允許之最壞情況延時為25毫秒，但通 吊σ人已繞測到DSL及電镜數據機系統之較接近丨〇毫秒 至1 5毫秒之延時。此外’圖4b假設自使用者場所2 11至主 機代管服務210之最大距離為1〇〇〇哩。因此，在使用15毫 秒之典型使用者ISP往返延時及具有一最大網際網路距離 147159.doc •97- 201119401 1500哩（其往返延時為32毫秒）的情況下，自一使用者致動 輸入器件421且在顯示器件422上看到一回應之總往返延時 為1 + 1 + 15 + 32+1 + 16+6 + 8 = 80毫秒。因此，80毫秒之回應時 間通常可經由一 1 500哩之網際網路距離達成。此將允許美 國大陸中的具有一足夠短使用者ISP延時453之任何使用者 場所存取一位於中心之單一伺服器中心。 在圖1 3 b中所說明之另一實施例中，主機代管服務21 〇伺 服器中心HS1-HS6係圍繞美國（或其他地理區域）戰略性地 定位，其中某些較大主機代管服務伺服器中心接近人口密籲 集中心定位（例如，HS2及HS5)。在一實施例中，伺服器中 心HS1-HS6經由網路1301交換資訊，網路13〇1可為網際網 路或一私用網路或兩者之組合。利用多個伺服器中心，服 務了以較低延時k供給具有高使用者ISP延時453之使用 者。 雖…、:，周際網路上之距離肯定為一影響經由網際網路之往 返延時之因素’但有時，基本上與延時無關之其他因素開 始起作用。有時，經由網際網路將-封包串流投送至一遠鲁 /位置且送回’從而導致由長迴路引起之延時。有時，路 '存在未正㊉操作之路由設備，從而導致傳輸之延遲。 有時，存在一使一路徑超載之訊務，其引入延遲。且有 時，存在-使使用者之lsp完全不能路由至一給定目的地 之故障。因此，雖然一般網際網路通常提供自一點至另一 點之具有一相當可靠且最佳路線及主要由距離（尤其是導 致在使用者之局部區域外的路由之長距離連接）確定之延 147159.doc -98· 201119401 時的連接，但是決不保證在一般網際網路上自一使用者場 所至一給定目的地之此可靠性及延時，且經常不能達成此 可靠性及延時。 在一實施例中’當使用者用戶端4 1 5最初連接至主機代 管服務210以玩一視訊遊戲或使用一應用程式時，該用戶 端（例如，使用上述技術）在起動後與可用主機代管服務伺 服器中心HS1-HS6中之每一者通信。若一特定連接之延時 足夠低，則使用該連接。在一實施例中，該用戶端與該等 主機代管服務伺服器中心之全部或一子集通信，且選擇一 具有最低延時連接之主機代管服務伺服器中心。該用戶端 可選擇具有最低延時連接之服務中心，或該等服務中心可 識別具有最低延時連接之服務中心且將此資訊（例如，以 一網際網路位址之形式）提供給該用戶端。 若一特定主機代管服務伺服器中心超載及/或使用者之 遊戲或應用程式可容忍至另一負載較少的主機代管服務伺 φ 服器中心之延時，則可將用戶端415重新導向至另—主機 代管服務伺服器中心。在此情況下，使用者正在執行之遊 戲或應用程式將在使用者之超載伺服器中心處之伺服器 402上暫停，且可將遊戲或應用程式狀態資料傳送至另一 主機代管服務伺服器中心處之伺服器4〇2。接著可重新開 始遊戲或應用程式。在一實施例中，主機代管服務將 等待，直至遊戲或應用程式已到達一自然暫停點（例如， 在一遊戲中之等級之間，或在使用者起始應用程式中之 「儲存」操作之後）才進行該傳送。在又一實施例中，主 147159.doc -99- 201119401 機代官服務210將等待，直至使用者活動停止達一規定時 1 ’又（例如，1分鐘）且接著可在彼時起始該傳送。 如上所述，在一實施例中，主機代管服務210訂用圖14 洞際肩路旁路服務（bypass service)440以嘗試將保證 的延時提供給其用戶端。如本文中所使用，網際網路旁路 服務為提供在網際網路上自一點至另一點之具有保證特性 (例如，延時、資料速率等）之私用網路路線的服務。舉例 而。’右主機代管服務21〇使用在San Francisc〇提供的 AT&T之DSL服務自使用者接收大量訊務，而非投送至 AT&T之San Francisc〇總局，則主機代管服務21〇可自一服 務提供者（可能是AT&T本身或另一提供者）租賃一高容量私 用資料連接，該私用資料連接位於San Francisc〇總局與主 機代管服務210之伺服器中心中之一或多者之間。接著， 若自所有主機代管服務伺服器中心HS1_HS6經由一般網際 網路至San Francisco之一使用AT&T DSL之使用者的路線 導致過高延時’則可改為使用私用f料連接。雖然私用資 料連接通常比該等經由一般網際網路之路線昂貴，但只要 該等路線占至使用者之主機代管服務21〇連接之一小百分 率，則總費用影響將很低，且使用者能體驗一更穩定之服 務體驗。 若發生電源故障，則飼服器中心常常具有兩組備用電 源。第一組通常為來自電池（或來自一替代的立即可用之 能量源，諸如保持運轉且附接至一發電機之飛輪）之備用 電源，該備用電源在電源故障時立即提供電力且保持伺服 I47159.doc •100· 201119401 益中心執打。若電源故障為暫時的且輸電線迅速恢復（例 如，在一分鐘内），則電池即足以保持伺服器中心執行。 但是，若電源故障持續一較長時間段，則通常啟動發電機 (例如，柴；由#電機），纟取代電池且可在有燃料情況下運 轉。此等發電機非常貴，因為其必須能夠產生與飼服器中 心通常自輸電線獲得之電力一樣多的電力。 在一實施例中，主機代管服$HS1_HS5*之每一者彼此 鲁纟用使用者資料’使得若一個伺服器中心發生電源故障， 則其可暫停正在進行令之遊戲及應用程式，且接著將遊戲 或應用程式狀態資料自每一伺服器4 0 2傳送至其他伺服器 中〜處之伺服器4〇2，且接著將通知每一使用者之用戶端 415將其通信導向至新伺服器4〇2。若此等情況很少發生， 則將使用者轉接至不能提供最佳延時之一主機代管服務 伺服器中心可為可接受的（亦即，該使用者僅需在電源故 障的持續期間容忍較高延時）’此將允許轉接使用者之更 φ 廣範圍選項。舉例而言，由於時區在美國不同，故東海岸 之使用者可能在11:30PM睡覺，而西海岸之使用者在 8:30PM開始使用視訊遊戲之高峰。若西海岸之一主機代管 服務伺服器中心在彼時發生電源故障，則可能無足夠的其 他主機代管服務伺服器中心處之西海岸伺服器4〇2來處置 所有使用者。在此情況下，使用者中之一些可轉接至東海 岸之具有可用伺服器402之主機代管服務伺服器中心，且 對使用者之唯一影響將為較高延時。一旦使用者已自已斷 電之伺服器中心轉接，該伺服器中心即可接著開始有序地 147159.doc -101· 201119401 關閉其伺服器及設備，以便在電池（或其他備用的立即可 用電源）耗盡之前關閉所有設備。以此方式，可避免伺服 器中心之發電機之費用。 在一實施例中，在主機代管服務210之沉重負載時間期 間（歸因於峰值使用者負載，或因為一或多個伺服器中心 故障），使用者基於其正在使用的遊戲或應用程式之延時 需求轉接至其他伺服器中心。因此，在供應有限的情況， 使用需要低延時之遊戲或應用程式的使用者將優先選擇可 用的低延時伺服器連接。 主機代管服務特徵 圖15說明以下特徵描述中所使用的主機代管服務2ι〇之 一伺服器中心之組件之一實施例。與圖2a中所說明之主機 代管服務210—樣，除非另有限定，否則此伺服器中心之 該等組件由主機代管服務210控制系統4〇1控制及協調。 將來自使用者用戶端415之入埠網際網路訊務15〇1導向 至入埠路由1502❶通常，入埠網際網路訊務丨5〇1將經由至 網際網路之一高速光纖連接進入伺服器中心，但具有足夠 頻寬、可靠性及低延時之任何網路連接構件將能滿足此要 求。入埠路由1502為網路（該網路可實施為一乙太網路、 一光纖頻道網路，或經由任何其他傳送構件實施）交換機 該系統獲取達 及支援該等交換機之路由伺服器之一系統 到封包且將每一封包投送至適當應用程式/遊戲 (「app/game」）祠服器1521-1525。在—實施例中，一傳遞 至一特定應用程式/遊戲伺服器之封包表示自用戶端接收 147159.doc -102- 201119401 的資料之一子集及/或可由資料中心中之其他組件（例如， 諸如閘道器及路由器之網路連接組件）轉譯/改變。在一些 情況下，舉例而言，若一遊戲或應用程式同時並行地在多 個伺服器上執行，則一次將封包投送至一個以上伺服器 1521-1525。RAID陣列1511_1512連接至入埠路由網路 1502 ’使得應用程式/遊戲伺服器ι521_1525可讀取並寫入 至RAID陣列1511_1512。此外，RAm陣列1515(其可實施 φ 為多個RAID陣列）亦連接至入埠路由1 502，且可自應用程 式/遊戲伺服器1521-丨525讀取來自RAID陣列1515之資料。 入埠路由1 5 02可：實施於許多先前技術網路架構中該等 架構包括交換機之樹狀結構，其中入埠網際網路訊務15〇1 位於樹之根部；實施於一將所有各種器件互連之網狀結構 中；或實施為一系列互連之子網路，其中相互通信之器件 之間的集中訊務與其他器件之間的集中訊務隔離。網路組 態之一類型為SAN，雖然其通常用於儲存器件，但其亦可 鲁 用於器件之間的一般兩速資料傳送。此外，應用程式/遊 戲伺服器1521-1525可各自具有至入埠路由15〇2之多個網 路連接。舉例而言，伺服器152 1-1 525可具有至附接至 RAID陣列1511-1512之一子網路的一網路連接及至一附接 至其他器件之子網路的另一網路連接。 如先前關於圖4a中所說明之實施例中之伺服器4〇2所描 述，應用程式/遊戲伺服器1521_1525可組態為完全相同、 有一點不同或完全不同的伺服器。在一實施例中，每一使 用者在使用主機代管服務時通常使用至少一應用程式/遊 147159.doc 201119401 戲伺服器1521-1525。為闡述簡單起見，吾人應假設一給 定使用者正在使用應用程式/遊戲伺服器丨52丨，但一個使 用者可使用多個伺服器，且多個使用者可共用一單一應用 程式/遊戲伺服器1521-1525。使用者之控制輸入（如先前所 描述，自用戶端415發送）係作為入埠網際網路訊務15〇1接 收，且經由入埠路由1502投送至應用程式/遊戲伺服器 1521。應用程式/遊戲伺服器1521將使用者之控制輸入用 作在伺服器上執行之遊戲或應用程式之控制輸入，且計算 視訊的下一圖框及與該圖框相關聯之音訊。應用程式/遊 戲伺服器1521接著將未經壓縮之視訊/音訊丨529輸出至共 用視訊壓縮1 530。應用程式/遊戲伺服器可經由任何構件 (包括一或多個十億位元乙太網路連接）輸出未經壓縮之視 訊，但在一實施例中，視訊係經由一 DVI連接輸出，且音 讯及其他壓縮及通信頻道狀態資訊係經由一通用串列匯流 排（USB)連接輸出。 共用視§fl壓縮1530壓縮來自應用程式/遊戲伺服器1521_ 1525之未經壓縮之視訊及音訊，該壓縮可全部在硬體中或 在執行軟體之硬體中實施。可針對每一應用程式/遊戲伺 服器1521-1525存在一專用壓縮器，或者，若該等壓縮器 足夠快，則可使用一給定壓縮器壓縮來自一個以上應用程 式/遊戲伺服器1 521 -1 525之視訊/音訊。舉例而言，在60 fps下’一視訊圖框時間為16 67毫秒。若一壓縮器能夠在1 毫秒内壓縮一圖框’則可使用該壓縮器藉由一個接一個地 自祠服器獲取輸入來壓縮來自多達16個應用程式/遊戲伺 I47159.doc -104· 201119401 其中該壓縮器儲存每一視訊/ 服器1521-1525之視訊/音訊， 曰Λ壓過％之狀態且在壓縮器在來自該等词服器之視訊 串机/曰汛串流之間循環時切換内容脈絡。此使得大大節 省壓縮硬體之成本。由於不同祠服器將在不同時間完成圖

框’故在-實施例中’該等壓縮器資源處於—具有用於儲 存每-壓縮過程之狀態的共用儲存構件（例如，ram、快 閃5己偉體)之共用集區153〇中’且當伺服器"η-"”圖框 完成且準備予以壓縮時’―控制構件痛定彼時哪_壓縮資 源可用，為該壓縮資源提供伺服器之壓縮過程之狀態及待 壓縮的未經壓縮之視訊/音訊之圖框。 請注意’每—飼服器之壓縮過程之狀態之-部分包括關 於壓縮本身之資訊（諸如’先前圖框之經解壓縮之圖框之 緩衝資料’其可用作為ρ影像塊之參考)、視訊輸出之解析 度、壓縮之品質、影像塊化結構、每個影像塊之位元分 配壓縮。σ質、音訊格式（例如，立體聲、環繞聲、 Dolby® AC-3)。但是，壓縮過程狀態亦包括通信頻道狀態 資訊，其關於峰值資料速率941及目前是否正輸出一先前 圖框（如圖9b中所說明）（且結果，應忽略當前圖框），及= 能地，是否存在壓縮時應考慮之頻道特性（諸如，過多的 封包丟失），該等頻道特性會影響關於壓縮之決策（例如， 就I影像塊之使用頻率而言，等）<5由於峰值資料速率叫^或 其他頻道特性隨時間變化，如藉由支援每一使用者監視自 用戶端415發送之資料之應用程式/遊戲伺服器152丨_1525所 確定，應用程式/遊戲伺服器1521_1525將相關資訊發送至 147159.doc •105- 201119401 共用硬體壓縮1530。 共用硬體壓縮1 530亦使用諸如先前所描述之構件的構件 將經壓縮之視訊/音訊封包化，且在適當情況下，應用FEC 碼’複製特定資料或採取其他步驟，以充分確保視訊/音 訊資料串流能夠由用戶端415以具有儘可能高的品質及可 靠性接收並解壓縮。

諸如下文所描述之應用的一些應用需要一給定應用程式 /遊戲伺服器1 521 -1 525之視訊/音訊輸出可同時以多種解析 度（或以其他多種格式）獲得。若應用程式/遊戲伺服器 1521-1525因此通知共用硬體壓縮153〇資源，則將以不同 格式、不同解析度及/或以不同封包/錯誤更正結構同時壓 縮應用程式/遊戲伺服器1521_1525之未經壓縮之視訊音訊 1529。在一些情況下，一些壓縮資源可在壓縮同一視訊/ 曰Λ之多個壓縮過程之間共用（例如，在許多壓縮演算法 中，存在一在壓縮之前將影像按比例調整至多個大小之步 驟。若需要輸出不同大小之影像，則可使用此步驟同時飼 服若干壓縮過程)。在其他情況下，每一格式需要單獨壓 縮資源。在任何情況下，同時將—給^應用程式/遊戲飼 服器1521· 1525(其可為-個⑮服器或許多舰^ )所需的所 有各種解析度及格式之經壓縮之視訊/音訊Η”輸出至出 埠路由1540。在-實施例中，經壓縮之視訊/音訊Μ%之 輸出為UDP格式，因此該輸出為封包之一單向串流。 出琿路由網路1540包含-系列路由飼服器及交換器，今 等飼服器及交換器經由出琿網際網路訊務1599介面（其通 I47159.doc • 106 * 201119401

:連接至至網際網路之一光纖介面)將每一經壓縮之視訊/ 曰。孔串机導向至（多個）所欲使用者或其他目的地，及/或送 回至延遲緩衝益1515，及/或送回至入崞路由15〇2，及/或 2由一私用網路（圖中未展示）輸出以進行視訊散佈。請注 意（如下文所描述），出埠路由1540可同時將一給定視訊/音 Λ串W輸出至多個目的地。在—實施例中，使用網際網路 協定(IP)多播實施此輸出，《中廣播一意欲同時串流至多 個目的地之給定UDP串流，且該廣播由出埠路由1540中之 該等路由伺服器及交換器重複。該廣播之該多個目的地可 經由網際網路至多個使用者之用戶端415、經由入淳路由 1502至多個應用程式/遊戲伺服器^2^525及/或至一或多 個延遲緩衝器1515。因此，將一給定伺服器1521_1522之 輸出壓縮成一或多種格式，且將每一經壓縮之串流導向至 一或多個目的地。 此外’在另一實施例中，若多個應用程式/遊戲伺服器 • I521-1525由一個使用者同時使用（例如，在用以產生一複 雜場景之3D輸出之一並行處理組態中）且每一伺服器產生 所得影像之一部分，則多個伺服器1521_1525之視訊輸出 可由共用硬體壓縮1530組合成一組合圖框，且在此之後， 如上所述地處置該組合圖框，就好像其該影像來自一單一 應用程式/遊戲伺服器1521·〖525—樣。 請注意，在一實施例中，將由應用程式/遊戲伺服器 1521-1525產生的所有視訊之一複本（至少以使用者所觀看 到的視訊之解析度或更高解析度）記錄在延遲緩衝器ΐ5ΐ5 147159.doc -107- 201119401 中達至少某一分鐘數（在一實施例中，為i5分鐘）。此記錄 允許每-使用者自每-會期「倒轉」視訊以回顧先前工作 或功績（在遊戲之情況下）。因此，在一實施例中，亦可將 正投送至一使用者用戶端415之每一經壓縮之視訊/音訊輸 出1539 _流多播至延遲緩衝器1515。在將視訊/音訊儲存 於延遲緩衝器1515上之後，延遲緩衝器1515上之一目錄提 供應用程式/遊戲髓器1521_1525(其為延遲之視訊/音訊 之源）之網路位址與延遲緩衝器1515上之位置（可在此發現 延遲之視訊/音訊）之間的一對照參考。 實況、立即可觀看、立即可玩的遊戲 應用程式/遊戲伺服器1 52 1 -1 525不僅可用於執行用於使 用者之給定應用程式或視訊遊戲，而且可用於產生用於主 機代管服務210之之使用者介面應用程式，其支援經由主 機代官服務210之導覽及其他特徵。在圖16中展示一此使 用者介面應用程式之一螢幕擷取畫面，一 「Game Finder」螢幕。此特定使用者介面螢幕允許一使用者觀看 其他使用者現場玩（或延遲）的丨5個遊戲。「縮圖」視訊視窗 中之每一者（諸如i 6〇〇)為一處於運動中之實況視訊視訊， 其展示來自一個使用者遊戲之視訊。縮圖中所示之視圖可 為使用者看到的相同視圖，或該視圖可為一延遲視圖（例 如，若一使用者正在玩一戰鬥遊戲，一使用者可能不想其 他使用者看到其藏在哪裡，則該使用者可選擇使其遊戲玩 法之任何視圖延遲一時間段，即1〇分鐘p該視圖亦可為 一遊戲之相機視圖，其不同於任何使用者之視圖。經由選 147159.doc 201119401 單選擇（此說明中圖中未展示），一使用者可基於各種準則 選擇一立刻觀看遊戲之選擇。作為例示性選擇之—小樣 本，使用者可選擇對遊戲（諸如圖16中所示之遊戲）進行隨 機選擇’所有同一類型之遊戲（由不同玩家在玩）、僅一遊 戲之頂級玩家、遊戲中之給定等級之玩家，或較低級玩家 (例如，玩家在學習基本規則）、為「夥伴」（或競爭對手） 之玩豕.、具有最多觀眾之遊戲等。 Φ 請注意’通常’每一使用者將決定來自其遊戲或應用程 式之視訊是否可供其他使用者觀看，且若可以，則確定哪 些其他使用者且其他使用者何時可觀看、是否僅可延遲觀 看。 產生圖16中所示之使用者介面螢幕之應用程式/遊戲伺 服器152 1-1 525藉由將一訊息發送至用於每一使用者之應 用程式/遊戲伺服器1521-1525來獲取15個視訊/音訊饋送， 該訊息自該每一使用者之遊戲請求視訊/音訊。該訊息係 φ 氮由入埠路由1 5 02或另一網路發送。該訊息可包括所請求 之視訊/音訊之大小及格式，且將識別觀看使用者介面螢 幕之使用者。一給定使用者可選擇「私密（pHvacy)」模式 且不准許任何其他使用者觀看其遊戲之視訊/音訊（自該使 用者之觀看點或自另一觀看點），或如先前段落中所描 述，一使用者可選擇允許觀看來自其遊戲之視訊/音訊， 但將被觀看之視訊/音訊延遲。一接收且接受一允許使用 者之視訊/音訊被觀看之請求的使用者應用程式/遊戲伺服 器15 21 - 1 5 2 5將照此對請求伺服器作出應答，且該飼服器 147159.doc •109· 201119401 亦將通知共用硬體壓縮1530關於以請求格式或螢幕大小產 生額外經壓縮之視訊串流之需要（假設該格式及螢幕大 小不同於已經產生的格式及螢幕大小），且該伺服器亦將 才曰示該經壓縮之視讯之目的地（亦即，該請求伺服器）。若 僅將所請求之視訊/音訊延遲，則請求應用程式/遊戲伺服 器1521-1525將得到如此通知，且該伺服器將藉由查找視 訊/音訊在延遲緩衝器1515上之目錄中的位置及為延遲之 視訊/音訊之源的應用程式/遊戲伺服器1521_1525之網路位 址而自延遲緩衝器1515獲取延遲之視訊/音訊。一旦所有 此等請求已產生且經處置，多達！ 5個縮圖大小之實況視訊 串流將自出埠路由1540投送至入埠路由1502、投送至產生 使用者介面螢幕之應用程式/遊戲伺服器1521 1525，且將 由該伺服器解壓縮並顯示。延遲之視訊/音訊串流之螢幕 大小可能過大，且在此情況下，應用程式/遊戲伺服器 1521-1525將解壓縮該等串流且將該等視訊串流按比例縮 小至縮圖大小。在一實施例中，將對音訊/視訊之請求發 送至一類似於圖4a之主機代管服務控制系統之中央「管 理」服務（圖15中未展示）（且由其管理），該中央「管理」 服務接著將該等請求重新導向至適當應用程式/遊戲伺服 器1521-1525。此外，在一實施例中，可能不需要任何請 求，因為該等縮圖被「推」至允許此行為的彼等使用者之 用戶端》 將來自15個遊戲之音訊全部同時混合可形成一刺耳的聲 音。使用者可選擇以此方式將所有聲音混合在一起（可能 147159.doc •110· 201119401 僅得到由觀看之所有動作產生之一「喧鬧」感覺），或者 使用者可選擇一次僅收聽一個遊戲之音訊。藉由將黃色選 擇方塊1601(其在圖16之黑白示意圖中表現為一黑色矩形 輪廓）移動至一給定遊戲來實現對一單一遊戲之選擇（可藉 由使用鍵盤上之方向鍵、藉由移動滑鼠、藉由移動搖桿或 藉由推動諸如行動電話之另一器件上之方向按紐來實現黃 色選擇方塊移動）。一旦選定一單一遊戲，即播放來自該 遊戲之音sfl。亦展示遊戲資訊1602。在此遊戲之情況下， 例如’發行者標旗（例如’「Electronic Arts」之「EA」）及 遊戲（例如’「Need for Speed Carbon」及一橙色水平 列（在圖16中再現為一具有豎直條帶之列））在相關項中指 示，在彼特定時刻玩或觀看該遊戲之人數（在此情況下， 有許多人，因此該遊戲正「Hot」）。此外，提供「Stats」 (亦即’統計資料），其指示有145個玩家在積極地玩「The Need for Speed Game」之80個不同執行個體（亦即，該遊 戲可由個別玩家或多個玩家來玩），且有680個觀眾（此使用 者為其中之一）。請注意，此等統計資料（及其他統計資料） 係由主機代管服務控制系統40丨收集且儲存於rAID陣列 1511-1512上，以用於保持主機代管服務21〇操作之日誌且 用於適當地對使用者記賬及對提供内容之發行者付費。統 計資料中之一些歸因於動作而由服務控制系統4〇 1記錄， 且一些統計資料由個別應用程式/遊戲伺服器1521_1525報 告給服務控制系統401。舉例而言，執行此Game Finder應 用程式之應用程式/遊戲伺服器1521-1 525將何時觀看遊戲 147159.doc • 111 - 201119401 (及何時將停止觀看遊戲）之訊息發送至主機代管服務控制 系統401，因此伺服器可更新被觀看之遊戲之數目之統計 資料。該等統計資料中之一些可用於諸如此卩丨“以 應用程式之使用者介面應用程式。 若使用者按一下其輸入器件上之一啟動按鈕，則其將看 到兴色框中之縮圖視訊在繼續播放實況視訊之同時放大至 全螢幕大小。將在圖17中之過程中展示此效應。請注意， 視訊視窗1700之大小已增長。為實施此效應，應用程式/ 遊戲伺服器1521-1525請求執行該遊戲之應用程式/遊戲伺 服器1521-1525選擇將該遊戲之一全螢幕大小的視訊串流 之一複本（以使用者之顯示器件422之解析度）投送至該伺服 器。執行該遊戲之應用程式/遊戲伺服器15211525通知共 用硬體壓縮器1530 :不再需要該遊戲之一縮圖大小之複本 (除非另一應用程式/遊戲伺服器1521_1525需要此縮圖）， 且接著該伺服器指導該壓縮器將該視訊之一全螢幕大小之 複本發送至縮放該視訊之應用程式/遊戲伺服器1521_ 1525。玩該遊戲之使用者之顯示器件422之解析度可能與 放大該遊戲之使用者之顯示器件之解析度相同或不同。此 外，該遊戲之其他觀眾之顯示器件422之解析度與放大該 遊戲之使用者之顯示器件之解析度相同或不同（且可能具 有不同的音訊播放構件，例如立體聲或環繞聲）。因此， 共用硬體壓縮器1530確定是否已產生一滿足請求視訊/音 訊串机之使用者之需求的合適經壓縮之視訊/音訊串流， 且若存在一合適經壓縮之視訊/音訊串流，則該共用硬體 147159.doc -112- 201119401 壓縮器通知出埠路由1 540將該串流之一複本投送至縮放該 視訊之應用程式/遊戲伺服器1521-1525，且若不存在一合 適經壓縮之視sfl /音訊串流’則該共用硬體壓縮器壓縮適 合該使用者的視訊之另一複本且指示該出埠路由將該串流 發送回至入埠路由1 502及縮放該視訊之應用程式/遊戲伺 服器1521-1525。現在正接收選定視訊之一全螢幕版本的 此伺服器將解壓縮該視訊且逐漸將該視訊放大至完整大 /Jn 〇 籲 圖18說明在遊戲已完全放大至全螢幕且以使用者之顯示 器件422之全解析度展示遊戲之後螢幕看上去如何，如箭 頭1800所指向之影像所指示。執行game finder應用程式之 應用程式/遊戲伺服器1521_1525將不再需要縮圖之訊息發 送至已正提供縮圖之其他應用程式/遊戲伺服器152ι·ΐ525 且將不再觀看其他遊戲之訊息發送至主機代管服務控制伺 服器401。此時，伺服器產生之唯一顯示為一在螢幕頂部 φ 之覆疊圖1801，其提供資訊及選單控制給使用者。請注 意，隨著此遊戲的進行，觀眾已增長至2,5〇3位。由於觀 眾如此多，將範園限定於具有具相同或幾乎相同解析度之 顯示器件422的許多觀眾（每一應用程式/遊戲伺服器1521_ 1 525具有按比例調整視訊以適合設備之能力）。 因為所展示之遊戲為一多人遊戲，所以使用者可決定在 某一點加入該遊戲。主機代管服務21〇可出於各種原因而 允許或不允許使用者加入該遊戲。舉例而言，使用者可能 必須為玩遊戲付費而因此選擇不玩，使用者可能不具有足 147159.doc •113- 201119401 以加入該特定遊戲线別（例如，其與其他玩家相比不具 競爭性），或㈣者之網際_連接可能不具有足夠低的 延時以允許使用者玩遊戲（例如，不存在對觀看遊戲之延 時約束，因此，可觀看一在遠處（實際上，在另一大陸上) 玩的遊戲而不用擔㈣時，但是對於—將要玩的遊戲，延 時必須足夠低以使使用者⑷享受該遊戲，且⑻使其與可 能具有較短延時連接之其他玩家同步調^若准許使用者參 加，則已為使用者提供Game Finder使用者介面之應用程 式/遊戲㈣n 1521_1525將請求主機代管服務控制祠服器 401起始（亦即，疋位及啟動）為了玩特定遊戲而經適當組態 之應用程式/遊戲伺服器1521_1525以自RAID陣列ΐ5ιι_ 15 12載入該遊戲，且接著主機代管服務控制伺服器1將 指不入埠路由1502將該等控制信號自使用者傳送至現在代 管該遊戲之應用程式/遊戲伺服器，且其將指示共用硬體 壓縮1530自壓縮來自已代管Game Finder應用程式之應用 程式/遊戲伺服器之視訊/音訊切換至壓縮來自現在代管該 遊戲之應用程式/遊戲伺服器之視訊/音訊。Game巧以“應 用程式/遊戲服務與代管該遊戲之新應用程式/遊戲伺服器 之垂直同步不同步，且結果’該兩個同步之間可能存在一 時差。因為共用視訊壓縮硬體153〇將在應用程式/遊戲伺 服器1 52 1 -1 525完成一視訊圖框後開始壓縮視訊，所以來 自該新伺服器之第一圖框可在舊伺服器之一全圆框時間之 前完成，其可在先前經壓縮之圖框完成其傳輸之前（例 如’考慮圖9b之傳輸時間992 :若未經壓縮之圖框3 963提 I47159.doc -114· 201119401 前半個圖框時間完成’則此將撞擊傳輸時間992) ^在此情 況下’共用視訊壓縮硬體15 3 0將忽略來自該新伺服器之第 一圖框（例如’如忽略974圖框4 964)，且用戶端41 5將來自 該舊伺服器之最後一個圖框保持一額外圖框時間，且共用 視訊壓縮硬體1530將開始壓縮來自代管該遊戲之新應用程 式/遊戲伺服器的下一個圖框時間視訊。視覺上，對使用 者而δ ’自一個應用程式/遊戲祠服器至另一伺服器之轉 換將為無縫的。主機代管服務控制伺服器40 1接著通知已 代管Game Finder之應用程式/遊戲伺服器1521_1525切換至 一閒置狀態，直至再次需要該伺服器為止。 使用者接著能夠玩該遊戲。且，特殊之處在於感覺上能 立即玩該遊戲（因為已以十億位元/秒之速度將該遊戲自 RAID陣列1511-1512載入至應用程式/遊戲伺服器 1525上）’且將該遊戲與一作業系統—起載入至一完全適 合該遊戲之伺服器上’該作業系統係以理想驅動程式、註 冊組態（在Windows之情況下）完全針對該遊戲組態，且無 其他可能與该遊戲之操作競爭的應用程式在伺服器上執 行。 此外’隨著使用者在遊戲中進展，遊戲之片段中之每一 者將以十億位元/秒之速度（亦即，在8秒内載入十億位元 組）自RAID陣列15 11-1 5 12載入至伺服器中，且由mRAID 陣列1511-1512之大儲存容量（因為rAII)陣列為許多使用者 之間的共用資源’所以其可以非常大，而仍具成本效 益）’故可預先計算幾何形狀設定或其他遊戲片段設定且 147159.doc -115- 201119401 將其儲存於RAID陣列BU-bU上且極迅速地載入。此 外，因為已知每-應用程式/遊戲伺服器152ι·ΐ525之硬體 組態及計算能力’所以可預先計算像素著色器及頂點著色 器。 因此，該遊戲幾乎立即啟動，該遊戲將在_理想環境中 執行，且隨後片段幾乎立即载入。 但是’除此等優點之外，使用者將能夠（經由先前所描 述之Game Finder及其他手段）觀看玩遊戲之其他人且決定 該遊戲是否有趣且在該遊戲有趣的情況下自觀看其他人學# 習技巧。且，使用者將能夠立即示範該遊戲而不必等待較 長下載及/或安裝時間，且使用者將能夠立即玩該遊戲（可 能以較少費用試玩該遊戲，或者長期玩該遊戲）。且，使 用者將能夠在一 Windows Pc、一 Macint〇sh上、在一電視 機上、在家中、在旅行時且甚至在一具有一足夠低延時無 線連接之行動電話（雖然延時對觀看而言將不成問題）上玩 β亥遊戲此過程完全可在—直未實體擁有該遊戲之一 複本的情況下完成。 9 如先前所提及’使用者可決定不允許其他人觀看其遊戲 玩法’允許其遊戲在-延遲之後被觀看，允許可由選定使 =者觀看其遊戲’或允許可由所有使用者觀看其遊戲。無 响如何’在一實施例中’視訊/音訊將在延遲緩衝器1515 中儲存15分鐘，且使用者將能夠「倒轉」且觀看其先前遊 戲玩去並暫停、緩慢地播放、向前快轉等，就像使用者能 夠利用-數位視訊記錄器(DVR)看電視一樣。雖然在此實 147159.doc •116· 201119401 例中，使用者正在玩遊戲，但相同「DVR」能力可在使用 者使用一應用程式的情況下可用。此能力可有助於回顧先 刖工作及如下文所描述之其他應用。此外，若遊戲經設計 具有基於利用遊戲狀態資訊倒轉之能力，以使得相機視圖 可變化等，則亦支援此Γ 3D DVR」能力，但該能力將需 要遊戲經設計以支援該能力。使用延遲緩衝器15 15之 DVR」能力對任何遊戲或應用程式（當然，限於在使用 φ 遊戲或應用程式時產生之視訊）起作用，但在具有3D DVR 此力之遊戲的情況下，使用者可控制一先前所玩片段之三 、准/又遊⑺丫 thr〇ugh)」，且使延遲緩衝器1 5 15記錄所得視 訊’且記錄遊戲片段之遊戲狀態。因此，將一特定「漫 遊」圮錄為經壓縮之視訊，但由於亦記錄了遊戲狀態，故 一不同漫遊可能在遊戲之相同片段之稍後時期出現。 如下文所描述，主機代管服務2 1〇上之使用者將各自具 有一「使用者頁面」（「Usei· Page」），使用者可在該頁面 • 中公佈關於其自身的資訊及其他資料。除別的以外，使用 者亦將能夠公佈其已儲存的來自遊戲玩法之視訊片段。舉 例而言，若使用者已克服一遊戲中之一特別困難之挑戰， 則使用者可「倒轉」至恰在使用者已達成遊戲中之極大成 功的點之前，且接著指示主機代管服務21〇將一具有某一 持續時間（例如，30秒）的視訊片段儲存於使用者之「使用 者頁面」上以供其他使用者觀看。為實施此過程，僅僅需 要使用者使用應用程式/遊戲伺服器1521_1525，播放儲存 於延遲緩衝器陣列1511_1512中之視訊，且接 147159.doc -117- 201119401 著在使用者之「使用者頁面」上將該視訊片段編入索引β 右遊戲具有3D DVR能力（如上所述），則3D DVR所需之 遊戲狀態資訊亦可由使用者記錄且可用於使用者之「使用 者頁面」。 在一遊戲經設計以具有除作用中玩家之外的「旁觀者」 (亦即，能夠在3D世界中旅行且觀測動作而不參與動作之 使用者）的情況下，Game Finder應用程式將使使用者能夠 作為旁觀者以及玩家加入遊戲。自實施觀點看，若使用者 為—旁觀者而非一作用中玩家，則此對代管系統21〇而言 並無差異。將遊戲載入至應用程式/遊戲伺服器1521_1525 上，且使用者將控制遊戲（例如，控制一觀看世界之虛擬 相機）。唯一差異將為使用者之遊戲體驗。 多個使用者合作 主機代管服務210之另一特徵為多個使用者在觀看實況 視訊之同時（即使將差別極大的器件用於觀看）合作之能 力。此特徵在玩遊戲及使用應用程式時均有用。 許多PC及行動電話配備了視訊相機且具有進行即時視訊 壓縮之能力，特別在影像較小時。此外，可利用可附接至 電視之小相機，且以軟體或使用壓縮視訊的許多硬體壓縮 器件中之一者實施即時壓縮並不困難。此外，許多PC及所 有行動電話具有麥克風，且存在具有麥克風之頭戴式耳 機。 與本端視訊/音訊壓縮能力組合的此等相機及/或麥克風 (特別使用本文令所描述之低延時視訊壓縮技術）將使使用 147159.doc 201119401 者能夠將視訊及/或音訊與輸入器件控制資料一起自使用 者場所211傳輸至主機代管服務21 〇。當使用此等技術時， 接著可達成圖19中所說明之一能力：一使用者可使其視訊 及音訊1900出現在另一使用者之遊戲或應用程式中之螢幕 上。此實例為一多人遊戲，其中隊友在一汽車比赛中合 作。使用者之視訊/音訊僅可選擇性地由其隊友可觀看/可 聽到。且，由於使用上述該等技術可能有效地不存在延 時’故玩豕將能夠彼此即時地談話或運動而無可感覺延 攀遲。 藉由使來自一使用者之相機/麥克風之經壓縮之視訊及/ 或音訊作為入埠網際網路訊務丨5〇1到達來實現此視訊/音 訊整合。接著，入埠路由1502將該視訊及/或音訊投送至 應用程式/遊戲伺服器1521_1525，其准許觀看/收聽該視訊 及/或音訊。接著’各別應用程式/遊戲伺服器1521_1525之 使用者（其選擇使用該視訊及/或音訊）解壓縮該視訊及/或 Φ 音讯且視需要將其整合以出現在遊戲或應用程式中，諸如 1900所說明。 圖19之實例展示如何在一遊戲中使用此合作，但此合作 可為應用程式之一非常強大之工具。考慮Chicag0之建築 師為New York之一地產開發商為New Y〇rk城設計一大型建 築物的情況，但決策涉及正在旅行且碰巧處在Miami之機 場之金融投資者’且必須做出關於建築物在如何適應附近 建築物方面之特定設計元素之決策，以滿足投資者及地產 開發商兩者《假設Chicago之建築公司具有一具有一附接 147159.doc •119- 201119401 至pc之相機的高解析度監視器 ，New York之地產開發商具 有一具有—相機的膝上型電腦，且Miami之投資者具有一 具有一相機的行動電話。建築公司可使用主機代管服務 21〇代管一能夠進行高度真實3D再現之強大建築設計應用 私式，且其可利用New Y〇rk城中之建築物之大型資料庫， 以及設計中之建築物之資料庫。該建築設計應用程式將在 應用程式/遊戲伺服器1521-1525中之一者上執行或在該等 伺服器中之若干者上執行（若該應用程式需要大量計算能 力）執行。處於完全不同位置的3個使用者中之每一者將連 接至主機代管服務21〇，且每一使用者將具有該建築設計 應用私式之視讯輸出之一同時視圖，但可藉由共用硬體壓 縮1530針對每一使用者具有的給定器件及網路連接特性使 該同時視圖具有適當大小（例如，建築公司可經由一 2〇 Mbps商業網際網路連接看到一 256〇χ144〇 6〇 [以之顯示， New York之地產開發商可經由一6 Mbps DSL連接在其膝上 型電腦上看到一 1280x720 60 fps之影像，且投資者可經由 一 250 Kbps蜂巢式資料連接在其行動電話上看到一 320x180 60 fps之影像p每一方將聽到其他方之聲音（會議 呼叫將由應用程式/遊戲伺服器1521_1525令之許多可廣泛 可用之會議呼叫套裝軟體中之任一者處置），且經由致動 一使用者輸入器件上之一按鈕，使用者將能夠使用其本端 相機呈現其本身之視訊.隨著會議進行，建築師將能夠以 極具相片真實感之3D再現方式展示當建築師使建築物旋轉 且緊臨該區域中之另一建築物飛越時該建築物看上去如 147I59.doc •120· 201119401

何，且所有各方將以每一方之顯示器件之解析度看到相同 視訊。不會有任―方所使用之本端器件中之任—者不能處 置具有此真«之職畫之問m必訂載或甚至餘 存再現New Y()rk城中之周圍建築物所需之巨大資料庫。自 使用者中之每者之觀點看，儘管相隔距離且儘管本端器 件完全不3，但該等使用者將具有—具有難以置信的真實 感程度之無縫體驗。且’當—方想要其表情能看到以更好 地傳達其情緒狀態時，其亦可如此做。此外，若地產開發 商或投資者想要控㈣建築程式且使用其自身輸入器件 (可為鍵盤、H、小鍵盤或觸控榮幕），則其可以使用該 器件a玄建築程式將回應而無彳感覺延時（假設地 產開發商或投資者之網路連接不具有不合理延時）。舉例 而言’在㈣電話的情況下’若行動電話連接至機場之 ㈣網路’則其將具有極低延時。但是，若行動電話使用 美國現今可用之蜂巢式資料網路，則其很可能遭受明顯滞 1另外針對投資者在觀看建築師控制建築物飛越的大 部分會議目的或針對視訊電話會議之談話，即使存在蜂巢 式延時，亦應為可接受的。 最後，在合作會議呼叫之最後，地產開發商及投資者將 發表評論且停止主機代管服務，建m將能夠「倒轉」 已記錄在延遲緩衝器1515上的會議之視訊且回顧在會議期 間作出的施加至建築物之3D模型之評論、面部表情及/或 動作若存在建⑨公司想要儲存之特定片段，則可將視訊 /音訊之彼等片段自延遲緩衝器1515移動至RAID陣列1511_ 147159.doc -121 - 201119401 1512以供存檔儲存及稍後播放。 此外，自成本觀點4，若建築師僅必須在15分鐘的會議 呼叫中使用計算能力及New York城之大型資料庫，則其僅 需要為使用該等資源之時間付費，而不必擁有大功率:工 作站且不必購買一大型資料庫之昂責複本。 富含視訊之社區服務 主機代管服務21 0實現用於在網際網路上建立富含視訊 之社區服務之無先例機會。圖2〇展示主機代管服務2丨〇上 之一遊戲玩家之一例示性「使用者頁面」。與Game Finder 應用程式一樣，「使用者頁面」為一在應用程式/遊戲伺服 器1521-1525中之一者上執行的應用程式。此頁面上的所 有縮圖及視sfl視窗展示持續移動之視訊（若片段較短，則 其循環）。 使用一視訊相機或藉由上載視訊，使用者（其使用者名 稱為「KILLHAZARD」）亦能夠公佈其他使用者可觀看的 其自身之一視siL 2000。將該視訊儲存於raid陣列1 5 11 _ 1512上。此外，當其他使用者來到尺11^11八2：八1^之「使用 者頁面j時’若KILLHAZARD在此時正在使用主機代管服 務210 ’則將展示KILLHAZARD正在做什麼的實況視訊 2001 (假設其准許使用者觀看其「使用者頁面」以觀看 其）°藉由代管「使用者頁面」應用程式之應用程式/遊戲 伺服器1521-1525來實現此過程，該應用程式/遊戲伺服器 1521-1525向服務控制系統4〇1請求KILLHAZARD是否在作 用中’且若在作用中，則請求KILLHAZARD正在使用之應 I47159.doc •122- 201119401 用程式/遊戲伺服器1521-1525。接著，使用Game Finder應 用程式所使用之相同方法，將一具有合適解析度及格式之 經壓縮之視訊串流發送至執行「使用者頁面」應用程式之 應用程式/遊戲伺服器且將顯示該經壓縮之視訊串流。若 一使用者選擇KILLHAZARD之實況遊戲玩法的視窗，且接 著在其輸入器件上適當地按一下，則該視窗將放大（再次 使用與Game Finder應用程式相同的方法），且該實況視訊 將以觀看使用者之顯示器件422之解析度（適合於觀看使用 者之網際網路連接之特性）充滿螢幕。 此優於先前技術方法之關鍵優點在於，觀看「使用者頁 面」之使用者能夠看到使用者不擁有的遊戲實況，且很可 能不具有能夠玩該遊戲之本機電腦或遊戲控制台。該優點 為使用者提供一看「使用者頁面」中所示的使用者「正 在」玩遊戲之很好機會’且此為一學習觀看使用者可能想 要嘗試或改善的一遊戲之機會。 來自KILLHAZARD之夥伴的經相機記錄或經上載之視訊 剪輯2002亦展示於「使用者頁面」上，且在每一視訊剪輯 之下為指示該夥伴是否在線上玩遊戲之文字（例如， six—shot在玩遊戲「Eragon」（此處展示為Game4)且 MrSnuggles99離線等）。藉由在一選單項（圖中未展示）上按 一下’該等夥伴視訊剪輯自展示經記錄或經上載之視訊切 換至當前在主機代管服務210上玩遊戲之夥伴彼時在其遊 戲中在幹什麼的實況視訊。因此，其變成夥伴之Game Finder分組。若選擇一夥伴之遊戲且使用者在其上按一 147159.doc -123- 201119401 下，則該賴將放大至全歸，且使㈣將㈣全勞幕實 況觀看所玩的遊戲。 此外，觀看夥伴之遊戲的❹者並*擁㈣遊戲之複本 或本端計算/遊戲控制台資源來玩該遊戲。遊戲觀看實際 上為瞬時的。 如上文先前所描述，當一使用者在主機代管服務2ι〇上 玩一遊戲時，該使用者能夠「倒轉」該遊戲且尋找一其想 要儲存之視訊片段且接著將該視訊片段儲存至其「使用者 頁面」。將此等動作稱為「炫耀剪輯TM」。該等視訊片段 2〇〇3全部為由KILLHAZARD儲存的來自其已玩過之先前遊 戲之炫耀剪輯2003。數字2〇〇4展示一炫耀剪輯已被觀看之 次數，且當觀看該炫耀剪輯時，使用者具有—評價其之機 會且指色（此處展示為黑色輪廓）匙孔形狀之圖符2005之 ，目指示等級之高低。該等炫耀剪輯2003在一使用者觀看 使用者頁面」時與頁面上之其餘視訊一起持續循環。若 使用者選擇該等炫耀剪輯2〇〇3中之一者且在其上按一下， 則》亥炫耀剪輯放大以呈現炫耀剪輯2〇〇3及允許對該剪輯進 行播放、暫停、倒轉、向前快轉、步進操作等之dvr控 制。 藉由應用程式/遊戲伺服器1521_1525載入當使用者記錄 炫耀剪輯時儲存於RAID陣列丨5 i丨_ i 5 i 2上之經壓縮之視訊 片&及解壓縮該炫耀剪輯且播放其來實施炫耀剪輯2〇〇3播 放。

炫耀剪輯2003亦可為來自支援此能力之遊戲的「3D H7159.doc •124- 201119401 DVR」視-sfl片段（亦即，一遊戲狀態序列，其來自可重播 且允許使用者改變相機觀看點之遊戲）。在此情況下，除 使用者在記錄遊戲片段時所作的特定「漫遊」之經壓縮之 視訊記錄之外，亦儲存遊戲狀態資訊。當觀看「使用者頁 面」，且所有縮圖及視訊實況持續循環時，一 3D DVR炫耀 剪輯2003將持續循環在使用者記錄遊戲片段之「漫遊」時 記錄為經壓縮之視訊之炫耀剪輯2〇〇3。但是，當一使用者 選擇一 3D DVR炫耀剪輯2003且在其上按一下時，除允許 播放經壓縮之視sfl炫耀剪輯之DVR控制之外，該使用者亦 將能夠在一給予其遊戲片段之3D DVR能力之按鈕上按一 下。使用者將能夠在遊戲片段期間獨立地控制一相機「漫 遊」，且若使用者希望（且擁有使用者頁面之使用者允許）， 則其將能夠記錄呈經壓縮之視訊形式之替代炫耀剪輯「漫 遊」，其接著可為使用者頁面之其他觀眾所用（立即地，或 在使用者頁面之擁有者有回顧該炫耀剪輯之機會之後）。 藉由啟動將要在另一應用程式/遊戲伺服器1521_1525上 重播所記錄之遊戲狀態資訊之遊戲來實現此3D DVR炫耀 f輯2003能力。由於遊戲幾乎可瞬間啟動（如先前所描 述），故啟動遊戲並無困難，其中其播放限於由炫耀剪輯 片段記錄之遊戲狀態’且因而允許使用者在將經壓縮之視 訊記錄至延遲緩衝器15 15時用一相機進行「漫遊」。一旦 使用者已完成「漫遊」，則撤銷啟動該遊戲。 自使用者之觀點看，利用一3D DVR炫耀剪輯2003啟動 一「漫遊」並不比控制一線性炫耀剪輯2003之DVR控制費 147159.doc •125- 201119401 事。DVR控制可能不知道該遊戲或甚至如何玩該遊戲。 DVR控制僅為在由另一者記錄遊戲片段期間盯著3D世界之 虛擬相機操作者。 使用者將亦能夠將其自身音訊置於炫耀剪輯之上，該音 sfl係自麥克風記錄或上載。以此方式，炫耀剪輯可用以使 用來自遊戲之角色及動作產生定製動畫。此動晝技術常常 稱為「機械動畫（machinima)」。 隨著使用者在遊戲中進展，該等使用者將锋成不同技能 等級。所玩的遊戲將向服務控制系統4〇1報告該等完成，籲 且此等技能等級將展示在「使用者頁面」上。 互動式動畫廣告 線上廣告已自文字轉換至靜態影像、視訊且現轉換至互 動式片段，其通常使用如Adobe Flash之動畫精簡型用戶端 實施。使用動畫精簡型用戶端之原因在於，使用者通常不 耐煩為了為其修正產品或服務以適用之特殊權限而被延 遲。此外，精簡型用戶端在極低效能PC上執行，且因此， 廣告主可對互動式廣告將正常工作具有高度信心。不幸的_ 疋，諸如Adobe Flash之動畫精簡型用戶端在互動程度及體 驗持續時間上受限制（以縮短下載時間且可在幾乎所有使 用者器件（包括低效能PC及不具Gpu或高效能CpU2 Mac) 上知作）。 圖21說明一互動式廣告，其中使用者在一汽車在一陳列 至中旋轉時選擇該汽車之外部顏色及内部顏色，同時即時 光線追蹤展示該汽車看上去如何。接著使用者選擇一原始 147159.doc •126· 201119401 模型（avatar)來駕駛該汽車’且接著使用者可在跑道上或 在諸如Monaco之外國場所中駕驶該汽車。使用者可選擇一 較大引擎或較佳輪胎，且接著可查看變化之組態對汽車之 加速及抓地能力之影響。 當然’該廣告實際上為一完善的3 D視訊遊戲。但是，對 於可在一 PC或一遊戲控制台上播放之此廣告，其可能需要 一 100 MB下載，且在PC的情況下，其可能需要安裝特殊 驅動程式，且在PC缺少足夠CPU或GPU計算能力的情況下 完全不能執衧。因此，此等廣告在先前技術組態申不能實 行0 在主機代管服務210中，此等廣告幾乎立即開始且完美 地執行，而不管使用者用戶端415之能力如何。因此，該 等廣告比精簡型用戶端互動式廣告更快地開始、體驗更豐 富且非常可靠β κ 即時動畫期間率流幾何形狀

RAID陣列1511·1512及人蟑路由⑽可提供資料速率， 該等資料速率很快且具有很低延時以可能設計相依於 繼陣m川埠路在即㈣書（例如， 二具有—複雜資料庫之漫遊）期間可靠地傳遞玩遊戲中或 一應用程式中之運料幾何形狀的視訊遊戲及應用程心 统=前技(諸如，中所示之視訊遊戲系 於緩,U件（特別疋在特定家庭器件中）過 在苹㈣。/遊戲期間串流幾何形狀(所需幾何形狀 度上可預測之情況除外)。舉例而言，在存在一 147I59.doc -127- 201119401 規定道路之-駕㈣戲中，進入視野中的建築物之幾何形 狀可合理地預測’且大容量儲存器件可預先搜尋即將到來 之幾何形狀所處之位置。 但是’在—具有不可預測之變化的複雜場景中（例如， 在-周圍具有複雜角色之戰場場景中），若^或視訊遊戲 系統上之RAMa全填滿了當前看得見的物件之幾何形狀， 且接著使用者使其角色突然轉身以觀看其角色身後的情 況，若幾何形狀已預先載入至RAM中，則在可顯示該幾何 形狀之前可能存在一延遲。 在主機代管服務210中，RAID陣列1511_1512可串流超過 十億位元乙太網路速度之資料，且對於一san網路，可能 經由10十億位7L乙太網路或經由其他網路技術達成ι〇十億 位元/秒之速度。10十億位元/秒將在小於一秒内載入十億 位70組之資料。在一 6〇 fps圖框時間（16 67毫秒）中，可載 入大約170百萬位元（21 MB)之資料。旋轉媒體（當然，即 使在一 RAID組態中）將仍引起大於-圖框時間之延時，但 基於快閃記憶體之RAID儲存器最終將與旋轉媒體R柳陣 ，-樣大且將不引起此高延時。在—實施例中，使用大容 量RAM完全寫入快取記憶體提供極低延時存取。 因此，藉由足夠高的網路速度及^夠低的延時的大容量 "存器戎何形狀可像CPU及/或GPU可處理3D資料一樣 快地串流至應用程式/遊戲何服器1521]525中。因此，在 先前給出之實例（其中使用者使其角色突然轉身且向後看） 中，其後所有角色之幾何形狀可在該角色完成旋轉之前載 I47I59.doc 201119401 入，且因此，對使用者而言，看上去好像其處在一與實景 一樣真實的相片真實感化世界中。

如先前所論述，相片真實感化之電腦動畫中之最後邊界 中之一者為人臉，且由於人眼對瑕疵之敏感性，來自一相 片真實感化之面部之最微小錯誤可導致觀眾之負面反應。 圖22展示如何使用Contour™ Reality Capture技術操取之一 實況表演（該技術為以下同在申請中之申請案之標的： 2004 年 9月 15 曰申請之第 10/942,609 號（「Apparatus and method for capturing the motion of a performer」）；2004年 9 月 15 曰申請之第 10/942,413號（「Apparatus and method for capturing the expression of a performer」）；2005 年 2 月 25 曰申請之第 11/066，954號（「Apparatus and method for improving marker identification within a motion capture system」）；2005年3月10日申請之第11/077,628號 (「Apparatus and method for performing motion capture using shutter synchronization」）；2005 年 10 月 20 日申請之 第 11/255,854號（「Apparatus and method for performing motion capture using a random pattern on capture surfaces」）；2006年6月7曰申請之第11/449,131號 (「System and method for performing motion capture using phosphor application techniques」）；2006 年 6 月 7 曰申請之 第 11/449,043 號（「System and method for performing motion capture by strobing a fluorescent lamp」）；2006年 6 月 7 日申請之第 11/449,127 號（「System and method for 147159.doc -129- 201119401 three dimensional capture 〇f st〇p-moti〇n animated characters」）’該等申請案中之每一者讓與給本cIp申請案 之受讓人）產生一非常平滑之擷取表面，接著產生一高多 邊形計數之追蹤表面（亦即，多邊形運動精確地跟隨面部 之運動）。最後，當將實況表演之視訊映射在追蹤表面上 以產生一紋理表面時，產生一相片真實感化結果。 雖然當刖GPU技術能夠即時地再現追蹤表面及紋理中之 許多多邊形且照亮該表面，但若該等多邊形及紋理在每一 圖框時間變化（其將產生最相片真實感化結果），則該技術 將迅速耗盡一現代PC或遊戲控制台之所有可用ram。 使用上文所描述之該等串流幾何形狀技術，連續地將幾 何形狀饋送至應用程式/遊戲伺服器1521_1525中，使得該 等飼服器可連續地將相片冑實感化面部製成動畫從而允 許形成具有幾乎不可與實景面部區別之面部的視訊遊戲變 得切實可行。 線性内容與互動特徵之整合 動畫、電視節目及音訊材料（統稱為「線性内容」）可以 許多形式由家庭及辦公室使用者廣泛利用。線性内容可在 如CD、DVD及Blu-ray媒體之實體媒體上獲取。線性内容 亦可由DVR自衛星及有線電視廣播記錄。且，線性内容可 經由衛星及有線電視作為計次付費（ppv)内容而獲得或可 在有線電視上作為隨選視訊（V0D)而獲得。 越來越多的線性内容可經由網際網路作為下載内容及串 流内容獲得。現今，真的不存在一個能夠體驗與線性媒體 147159.doc •130· 201119401 相關聯之所有特徵的地方。舉例而言，dvd及其他視訊光 學媒體通常具有在料不可料互動㈣，如㈣解說、 「製作」特輯等。線上音樂網站具有通常在cd上不可獲 得之封面圖片及歌曲資訊，但並非所有CD均可以線上方 式獲得。X ’與電視節目相關聯之黯網站常常且有額外 特徵、網Wg)且有時具有來自演員或創作人員之評 論。 此外，對於許多動晝或體育比赛，常常存在常常與線性 媒體-起發行（在動畫之情況下）或（在體育比赛之情況下） 可與真實世界事件（例如，球M之交易）緊密聯繫的視訊遊 戲。 主機代管服務21〇非常適合將線性内容與完全不同形式 之相關内容連結在-起傳遞。毫無疑問，傳遞動晝並不比 傳遞高度互動視料戲更具挑戰性，且主機代管服務21〇 能夠將線性内容傳遞至許多器件（家中或辦公室中）或傳遞 至行動器件。圖23展示主機代管服務21〇之一例示性使用 者介面頁面，其展示對線性内容之選擇。 但疋，不同於大部分線性内容傳遞系統，主機代管服務 2 10亦能夠傳遞相關互動分量（例如，DVD上之選單及特 徵，HD-DVD上之互動覆疊圖，及Web網站上之Ad〇be Flash動畫（如下文所解釋））^因此，用戶端器件415限制不 再引入關於哪些特徵可用之限制。 此外，代官系統210能夠動態且即時地將線性内容與視 訊遊戲内容連結在一起。舉例而言，若一使用者在觀看電 147159.doc • 131 . 201119401 影Harry Potter中之Quidditch比赛’且決定其願意嘗試玩 Quiddhch，則該使用者可僅在一按鈕上按一下且該電影會 暫V且立即將該使用者轉接至Harry Potter視訊遊戲之 Quidditch片段。在參加完Quidditch比賽之後，另外在一按 鈕上按一下’且該電影將立即重新開始。 對於相片真貫感化圖形及製作技術（其中以攝影方式擷 取之視訊難以與實景角色區別）’如本文中所描述當一 使用者自一實景電影中之一 Quidditch遊戲轉換至的一主機 代管服務上之一視訊遊戲中之一 Quiddhch遊戲時，該兩個籲 場景貫質上難以區別。此為線性内容及互動（例如，視訊 遊戲）内容之導演提供全新的創作選項，因為兩個世界之 間的界線變得難以區別。 利用圖14中所示之主機代管服務架構，可為觀眾提供對 3D電影中之虛擬相機之控制。舉例而言，在一在火車廂内 發生之場景中，可能允許觀眾在故事進展時控制虛擬相機 且環顧車廂。此假設車廂中之所有3D物件（「資產」）可 用，而且具有能多句㈣地再現該等場景以及原始電影之足籲 夠程度的計算能力。 且，即使對於非電腦產生之娛樂，亦存在可提供之極令 人興奮的互動特徵。舉例而言，2〇〇5年之動畫「pride and rejudice」有許多在華麗的老式英國莊園中之場景。對於 特定莊園場景’使用者可暫停視訊且接著控制相機以遊覽 該莊園，或可能遊覽周圍區域。為實施此過程，可在穿過 莊園夺搗帶具有-魚眼透鏡之相機以記住其位置，很像實 I47159.doc -132- 201119401 施先月j技術之Apple, Ine QuiekTime VR。接著可變換各種 圖框以使影像不失真，且接著將該等圖框與電影_起儲存 於RAIDP車列1511_1512上，且在使用者選擇進行—虛擬遊 覽時播放。 關於體育比赛，可經由主機代管服務210串流諸如籃球 比赛之實況體育比赛以供使用者觀看，就像使用者觀看常 規電視-樣。在使用者觀看一特定比赛之後，該比赛之一 • ㈣遊戲(最終使籃球隊球員看上去與真實球員一樣相片 真貫感化）可趕上球員在相同位置開始，且使用者（可能每 -使用者控制-球員）可重新進行比赛以查看其是否可比 球員做得更好。 本文中所描述之主機代管服務21G極其適合於支援此未 來世界’因為其能夠利用計算能力及實際上不能安裝在家 中或大部分辦公室環境中之大容量儲存資源，而且主機代 菅服務之計算資源始終最新且可獲得最新計算硬體，而在 藝一家庭環境中，家庭將始終具有較舊世代之？(：及視訊遊 戲。且’在主機代管服務21〇中，對使用者隱藏所有此計 算複雜性，因此即使使用者可能在使用非常複雜之系統， 但自使用者之觀點看，就好像改變電視頻道一樣簡單。此 外，該等使用者將能夠獲得所有計算能力及計算能力自任 何用戶端415帶來之體驗。 多人遊戲 就一遊戲為一多人遊戲而言，該遊戲將能夠經由入埠路 由1502網路傳達至應用程式/遊戲伺服器1521-1525且利用 147159.doc •133- 201119401 至網際網路之一網路橋接器（圖中未展示）與不在主機代管 服務210中執行之伺服器或遊戲機通信。當在—般網路上 藉由電腦玩多人遊戲時，應用程式/遊戲伺服器152ι_ΐ525 將具有極快速地存取網際網路之益處（與在家庭中之一伺 服器上執行遊戲的情況相比），但該等伺服器將受限於在 較慢連接上玩該遊戲之其他電腦的能力，且亦可能受如下 事實限制：網際網路上之遊戲伺服器經設計以適應最少共 同點，其可為相對較慢消費型網際網路連接上之家庭電 腦。 但是，當完全在一主機代管服務21〇伺服器中心内玩一 多人遊戲時，可達成許多不同。代管一使用者之一遊戲的 每一應用程式/遊戲伺服器1521_1525將與其他應用程式/遊 戲伺服器152 1-1525以及代管該多人遊戲之中央控制之任 何伺服器互連，其具有極高速度、極低延時連接性及大量 且極快速之儲存陣列。舉例而言，若將十億位元乙太網路 用於入蟑路由1502網路，則應用程式/遊戲伺服器1521. 1 525將以十億位元/秒之速度彼此通信且傳達至代管該多 人遊戲之中央控制的任何飼服器，可能有僅i毫秒或更小 延時。此外，RAID陣列1511_1512將能夠#常迅速地作出 回應且接著以十億位元/秒之速度傳送資料。作為一實 例’若-使用者根據外觀及裝備定製H以使得該角 色具有只有該角色才有的大量幾何形狀及行為，由於先前 技術系統限於在家中在-pc或補㈣台上執行之遊戲用 戶端’若該角色將進入另一使用者之視界内，則該使用者 147I59.doc •134- 201119401 y字必 >員等待一長且慢的下載完成，使得將所有幾何形狀及 行為Η料載入其電腦中。在主機代管服務2 ^ 〇中，相同下 载可在十億位元乙太網路上自RAID陣列1511·15 12以十億 位凡/秒之速度⑬服。即使家庭使用者具有—8 網際 網路連接（其對現今標準而言極快），十億位元乙太網路亦 為該連接的1 〇〇倍。因此，在一快速網際網路連接上可能 耗時—分鐘的動作在十億位元乙太網路上耗時不超過一秒 鐘0 頂級玩家分組及競赛 主機代管服務210非常適合於競賽。因為無遊戲在一本 端用戶端中執行，所以使用者無機會作弊（例如，使用者 可能藉由修改在其本端pC上執行的遊戲之複本以給予其一 不當益處而在一先前技術競赛中作弊）。此外，由於輸出 路由1540多播UDP串流之能力，主機代管服務2丨〇能夠同 時向幾千或更多的觀眾廣播重要競賽。 事實上，當存在如此風行以使得成千上萬的使用者接收 相同串流之特定視訊串流（例如，展示一重要競賽之視圖） 時，可更有效率地將視訊串流發送至一諸如Akamai或 Limelight之内容傳遞網路（CDN)以便大量散佈至許多用戶 端器件41 5。 §使用一 CDN展示頂級玩家分組之Game Finder頁面 時，可獲得類似的效率等級。 對於重要競赛，可使用一現場著名播音員在特定比赛期 間提供解說。雖然許多使用者將觀看一重要競赛，但相對 147159.doc •135· 201119401 較少的使用者將參加該競赛。可將來自該著名播音員之音 訊投送至代管參加該競赛之使用者且代管該競賽中之遊戲 的任何觀眾模式複本之應用程式/遊戲伺服器1521_1525， 且可將該音訊加錄在遊戲音訊之上。一著名播音員之視訊 亦可覆疊於遊戲上’可能僅覆疊於旁觀者視圖上。 網頁载入之加速 全球資訊網及其主要傳輸協定超文字傳送協定（HTTp)係 在僅企業具有高速網際網路連接之時代構想並定義，且在 線上之消費者使用撥號數據機或ISDN »當時，快速連接鲁 之只金標準」為T1線路’其對稱地提供丨5 Mbps之資料 速率（亦即，在兩個方向上具有相等資料速率）。 現今’情況完全不同。許多發達國家中經由DSl或電纜 數據機連接之平均家庭連接速度具有一遠高於T1線路之下 傳資料速率。事實上’在世界上的一些部分中，光纖到路 邊（fiber-t〇-the-curb)將高達50至100 MbpSi資料速率帶給 家庭。 ^ 不幸的是，未建構（亦未實施）HTTP以有效地利用此等顯鲁 著速度改良。網站為一遠端伺服器上之檔案之一集合。在 極簡單/条件下，HTTP請求第—檀案，等待下載該棺案， 且接著請求第二檔帛，等待下載該檔案等。事實上， HTTP允許__次請求—個以上「開放連接」（亦即，一個以 上檔案），但由於商定標準（及防止網站伺服器超載之需 )僅准°平很少開放連接。此外，由於網頁建構之方 式’瀏覽器常常不知道可立即下載的多個同時頁面(亦 147159.doc -136 - 201119401 即，僅在剖析一頁面之後，才ψ 才出現必須下载—新檔案（如 一影像))。因此’網站上之檔案實質上係逐個載入。且 由於HTTm使用之請求回應協定，存在（存取美國之血型 網站伺服器)-與所載入之每—槽案相關聯之大致⑽毫秒 延時。 對於相對較低速度之連接，此並不引入許多問題，因為 該等樓案本身之下载時間占料網頁之等待時間之大部 分。但是’隨著連接速度增長，尤其對複雜網頁而言，問 題開始出現。 在圖24中所示之實例中，展示_典型商業網站（此特定 網站來自-主要運動鞋品牌）。該網站上有54個播案。該 等檔案包括 H™L、CSS、JPEG、PHp、JavaSerWash

檔案’且包括視訊内容。在該頁面實況播送(亦即，使用 者可在該頁面上按-下且開始使㈣頁面）之冑，必須載 入總共1_5 MB。大量擋案之存取有許多理由。首先，該頁 面為：複雜且完善之網頁’且其次，肖頁面為一基於關於 存取該頁面之使用者之資訊(例如’使用者來自哪個國 豕、使用何種語言、使用者之前是否已賭買等）而動態地 組合之網頁，且視所有此等因素而下載不同檔案。此外， 該頁面為一非常典型之商業網頁。 圖24展示隨著連接速度增&，在肖頁實況播$之前經過 的時間之5。對於1.5 Mbps之連接速度24〇1，使用一具有 S知網頁瀏覽器之習知網站伺服器，直至網頁實況播送 為止耗時13.5秒。對於12 Mbps之連接速度2402，載入 H7159.doc -137- 201119401 時間縮短至6.5秒，或約快一倍。但是，對於％ Mbps之連 接速度2403，載入時間僅縮短至約5 5秒。其原因在於在 如此高的下載速度下，下載該等檔案本身之時間最小，但 每個檔案之延時（大致每一檔案1〇〇毫秒）仍存在，從而導致 54個檔案*1〇〇毫秒=5 4秒之延時。因此不管至家庭之連 接速度有多快，在網頁實況播送之前，此網站將始終耗時 至y 5.4私另因素為祠服器側排仵列；每一個http請 求加在佇列之後，因此，在一忙碌伺服器上，此將具有一 顯著影響，因為對於將自網站伺服器取得之每一個小項， HTTP請求必須等待其時機。 種解决此專問題之方法為丟棄或重定義Ηττρ。或 者，可能使網站擁有者更好地將其檔案合併成一單一檔案 (例如，以Adobe Flash格式）。但是，作為一實際問題，此 公司以及許多其他公司已大量投資於其網站架構。此外， 雖然一些家庭具有12-100 Mbps之連接，但大部分家庭仍 具有較慢速度，且HTTP在緩慢速度下確實能良好工作。 種替代方法為在應用程式/遊戲词服器1521-1525上代 管網頁瀏覽器，且在RAID陣列1511-1512上（或可能的話， 在代管該等網頁瀏覽器之應用程式/遊戲伺服器1521-1525 上之Ram中或本端儲存器上）代管該等網站祠服器之該等 檔案。由於經由入埠路由1502(或至本端儲存器）之極快速 互連，並非具有使用HTTP的情況下每一檔案之1〇〇毫秒延 時’而將存在使用HTTP的情況下每一檔案可忽視之延 時。接著，替代使用者在其家中經由HTTP存取網頁，使 I47159.doc -138- 201119401 用者可經由用戶端415存取網頁。接著，即使利用1.5 Mbps之連接（因為此網頁之視訊不需要很大頻寬），網頁將 在小於1㈣（㈣線24GG)實況播送。實f上’在執行於應 用私式/遊戲伺服器1521_1525上之網頁瀏覽器顯示一實況 播k頁面之刖不存在延時，且在用戶端415顯示來自網頁 屬J覽盗之視此輸出之前不存在可债測延時。在使用者在網 頁周圍滑動滑鼠及/或在網頁上打字時，使用者之輸入資 春訊將被發送至執行於應用程式/遊戲伺服器1521-1525上之 網頁劉覽器，且網頁潜J覽器將相應地作出回應。 此方法之缺點在於，若壓縮器持續傳輸視訊資料，則 即使網頁變成靜態的，仍使用頻寬。此缺點可藉由將壓縮 器組態為在網頁變化時（且闕頁變化）僅傳輸資料，且接 著僅傳輸資料至變化的頁面之部分來補救。雖然存在一些 具有持續變化之閃燦橫幅等的網頁，但此等網頁傾向於令 人討厭，且除非有理由移動某物（例如，視訊剪輯），否則 籲’網頁通常為靜態的。對於此等網頁，情況可能如下：使用 主機代官服務210傳輸之資料比使用一習知網站伺服器傳 輸的少’因為僅實際顯示之影像將被傳輸，不傳輸精簡型 用戶端可執行碼，且不傳輪可能從不觀看之大掣物件，諸 如滾動翻轉之影像。 因此，使用主機代管服務21〇代管舊版網頁，網頁載入 時間可縮短至開啟一網頁就像換電視頻道一樣的情況：網 頁立即有效地實況播送。 促進遊戲及應用程式之除錯 147159.doc -139· 201119401 如先前所提及’具有即時圖形之視訊遊戲及應用程式為 非韦複雜的應用程式，且通常，當將該等應用程式發行至 市場時’ δ亥等應用程式含有程式錯誤。雖然軟體開發者能 夠自使用者得到關於程式錯誤之反饋，且該等軟體開發者 可^具有用以在毀損（erash)之後恢復機器狀態的—些手 技但準確地識別導致—遊戲或即時應用程式毀損或錯誤 地執行之原因非常困難。 、 虽一遊戲或應用程式在主機代管服務21〇中執行時將 玄遊戲或應用程式之視訊/音訊輸出持續記錄在延遲緩衝 器1515上。此外，一看門狗處理程序在每一應用程式/遊 戲飼服器1521-1525上執行，該看門狗處理程序定期向主 機代管服務控制系統401報告應用程式/遊戲伺服器1521_ 1525平穩地執行。若該看門狗處理程序未能報告，則伺服 器控制系統401將嘗試與應用程式/遊戲伺服器1521·ΐ525通 k，且若成功，則該伺服器控制系統4〇1將收集任何可用 的機器狀態。將任何可用資訊連同由延遲緩衝器1515記錄 之視訊/音訊一起發送至軟體開發者。 因此，當該遊戲或應用程式軟體開發者自主機代管服務 210得到關於毁損之通知時，其開始逐圖框記錄導致毁損 的原因。此資在跟縱程式錯誤且修正其時可非常有用。 亦請注意’當應用程式/遊戲伺服器1521_1525毀損時， 在最近的可重新啟動點重新啟動該伺服器，且將一為技術 性困難抱歉之訊息提供給使用者。 資源共用及成本節省 I47159.doc •140· 201119401 圖4a及圖4b中所示之系統為終端使用者及遊戲及應用程 式開發者提供各種益處《舉例而言，通常，家庭及辦公室 用戶端系統（例如，：PC或遊戲控制台）僅在一週時間之小百 分率中處於使用中。根據由Nielsen Entertainment發佈的 2006 年 10月 5 日新聞「Active Gamer Benchmark Study」 (http://www.prnewswire.com/cgl-bin/stories.pl? AC CT= 104 & STORY=/www/story/l 0-05-2006/0004446 115&EDATE=) > 作用中玩家平均每週花14小時玩視訊遊戲控制台且每週花 約17小時玩手持式裝置。該報告亦說明：對於所有遊戲活 動（包括控制台、手持式及PC遊戲），作用中玩家平均每週 花費13小時。考慮玩控制台視訊遊戲之時間的較高數字， 每週有24*7=168個小時，此暗示：在一作用中玩家的家 中，一視§fl遊戲控制台每週僅有1 7 /1 6 8 = 10 %的時間處於使 用中。或者說，在90%的時間中，視訊遊戲控制台係閒置 的給疋視6孔遊戲控制台之高成本，及製造商補貼此等器 件之事貫’此為一印貴資源之極低效率使用。企業内之p C 通常亦僅在一週中的小部分時間中使用，尤其是非可攜式 桌上型PC常常需要諸如Autodesk Maya之高端應用程式。 雖然一些企業在所有時間且在假期中營業，且在所有時間 且在假期中使用一些pC(例如，帶回家以在晚上做工作的 可攜式電腦），但大部分企業活動傾向於集中在星期—至 星期五的9AM至5PM(在一給定企業時區中）、少數假期及 休息時間（諸如，午餐），且由於大部分pc使用在使用者積 極地使用PC時發生，因而斷定，桌上型pc利用傾向於在 147I59.doc 201119401 營業時間之後。若假設一週五天自讀至5讀持續使 pc」則此將暗示在—週的40/168=24〇/〇的時間中使用 高效能桌上型PC為非f昂#的企f投資，且此反映 -極低的利用等級1桌上型電腦教學之學校可能在一週 的更少時間中使用電腦’且雖然其視教學時間而改變，但 1部分教學在週—至週五的白天時間期間發生。因此，一 叙而。’僅在-週中的一小部分時間中利用PC及視訊遊戲 控制台。 值得注意，因為許多人在非假曰的星期一至星期五之白 天時間中在企業或學校卫作，所以此等人在此等時間期間 通常不玩視訊遊戲，且因此，該等人通常在其他時間（諸 如晚上、週末或假期）玩視訊遊戲。 給定圖4a中所示之主機代管服務之組態，上兩個段落中 所榣述之使用模式引起資源之極有效利用。顯然，對在一 給定時間可由主機代管服務21〇伺服的使用者之數目無限 制，特別在使用者需要對如完善的3D視訊遊戲之複雜應用 程式之即時回應的情況下。但是，不同於家庭中之視訊遊 戲或企業所使用之PC(其通常在大部分時間中閒置），伺服 器402可由不同使用者在不同時間再用。舉例而言，一具 有高效能雙CPU及雙GPU以及大量RAM之高效能伺服器 402可由企業及學校在非假期的9am至5PM使用，但其由 玩一完善視訊遊戲之玩家在晚上、週末及假期中使用。類 似地，低效能應用程式可由企業及學校在營業時間在具有

Celeron CPU、無GPU(或具有一極低端GPU)及有限RAM之 147159.doc .142· 201119401 且一低效能遊戲可在非營業時 低效能伺服器402上使用 間使用低效能伺服器402 此外，對於本文中所描述之主機代管服務配置，資源將 在成千上萬（若非上百萬）的使用者之間有效地共用。一般

而言’線上服務僅具有在-給定時間使用該服務的總使用 者庫之—小百分率°若吾人考慮先前列出的Nielse_訊遊 戲使用率統計資料，則容易理解其原因。若作用中玩家一 週僅玩控制台遊戲個小時，若吾人假設遊戲之峰值使 用時間在晚上（5-12AM，7*5天=35個小時/週）及週末（8αμ· 12舰，16*2=32個小時/週）之典型非工作、非營業時間期 間，則對於π個小時之玩遊戲時間，一週有35+32=65個小 時的峰值時間。由於許多原因，系統上之準確峰值使用者 負載難以估計：一些使用者將在非高峰期玩遊戲，可能存 在使用者叢集峰值的特定白天時間，高峰期可受所玩的遊 戲之類型影響（例如，很可能在晚上的早些時間玩兒童遊 戲）等。但是，若一玩家之平均遊戲小時之數目遠小於一 玩家可能玩一遊戲的日子之小時之數目，則僅主機代管服 務21 〇之許多使用者之小部分將在一給定時間使用該服 務。為了此分析，吾人將假設峰值負載為125〇/〇。因此， 在一給定時間僅使用12.5%的計算、壓縮及頻寬資源，從 而使得僅12.5%的硬體成本支援一給定使用者玩一給定效 能等級之遊戲，此歸因於資源之再使用。 此外，若一些遊戲及應用程式比其他遊戲及應用程式需 要更多的計算能力，則可基於使用者所玩的遊戲或其所執 147159.doc -143· 201119401 行之應用程式來動態地分配資源。因此，一選擇—低效处 遊戲或應用耘式之使用者將被分配一低效能（不太昂貴）伺 服器402，且一選擇一高效能遊戲或應用程式之使用者將 被分配一尚效能（較昂貴）伺服器402。實際上，—终定遊戲 或應用程式可具有遊戲或應用程式之低效能部分及高效能 部分，且使用者可在遊戲或應用程式之該等部分之間自一

個词服器402切換至另一飼服器4〇2以保持使用者在滿足遊 戲或應用程式之需要的最低成本伺服器4〇2上執行。請注 意，RAID陣列405(其比一單一磁碟快得多）甚至可由低效 能伺服器402利用，此具有較快磁碟傳送速率之益處。因 此，在所有所玩之遊戲或所使用之應用程式上的每一伺服 器402之平均成本遠小於玩最高效能遊戲或應用程式之最 貝伺服窃402之成本，甚至低效能伺服器4〇2將自raid陣 列405得到磁碟效能益處。 此外，主機代管服務210中之一伺服器4〇2可能僅為一除 網路介面外不具有一磁碟或周邊介面之PC主機板，且遲 ^可向下整合至僅具有至S AN 403之一快速網路介面之一 單M片。此外，相較於存在之磁碟，RAID陣列405很可 月b在多得多的使用者之間共用，因此每一作用中使用者之 磁碟成本將遠小於一磁碟機。所有此設備很可能在一環境 又控制之伺服器室環境中駐留在一架子中。若伺服器402 故障’則可容易地在主機代管服務21〇維修或替換該伺服 器與之相比，家庭或辦公室中之一pc或遊戲控制台必須 為強健、獨立的電氣設備，其必須能夠經受得住重擊或 147159.doc • 144 - 201119401

下落之合理磨損及破損、需要一外殼、

有其他齒輪之過熱AV箱中）、需要一服務保證 且運輸，且由可獲得零售利潤之零售商銷售。 登、必須封裝 。此外，即使 且運輸， 可在大部分時間中玩低效能遊戲或應用程式，但一 PC或遊 戲控制台必須經組態以滿足將在未來某一時間使用的預期 之計算最密集之遊戲或應用程式之峰值效能。且，若PC或 • 控制台故障，則維修PC或控制台為一昂貴且費時的過程 (不利地影響製造商、使用者及軟體開發者）。 因此，若圖4a中所示之系統為使用者提供一可比得上一 本端計算資源之體驗之體驗，則對一在家中、辦公室或學 校中體驗-給定等級之計算能力的使用者而言，經由圖^ 中所示之架構提供該計算能力要便宜得多。 消除升級需求 此外，使用者不必再擔心為升級PC及/或控制台以玩新 秦軸或處置較高效能新應用程式。不考慮遊戲或應用程式 所需的伺服器402之類型如何，主機代管服務21〇上之任何 遊戲或應用程式可由使用者使用，且所有遊戲及應用程式 4乎立即執行（例如，迅速自RAID陣列4〇5或伺服器上 之本端儲存器載入）且適當具有最新更新及程式錯誤修正 (亦即，軟體開發者將能夠為執行一給定遊戲或應用程式 之伺服器402選擇一理想伺服器組態，且接著以最佳驅動 程式組態伺服器402，且隨時間流逝，該等開發者將能夠 將更新、程式錯誤修正等同時提供給主機代管服務21〇中 147 丨 59.doc -145- 201119401 的遊戲或應用程式之所有複本）。實際上，在使用者開始 使用主機代管服務210之後，使用者可能發現遊戲或應用 程式繼續提供一較佳體驗（例如，經由更新及/或程式錯誤 修正）’且情況可能如下：一使用者在一年後發現一新遊 戲或應用程式可在利用甚至一年之前不存在的計算技術 (例如，一較高效能GPU)之服務21〇上使用，因此，使用者 已不可能在一年之前購買可在一年之後玩遊戲或執行應用 程式之該技術。由於使用者看不見玩遊戲或執行應用程式 之計算資源（亦即，自使用者之觀點看，使用者僅選擇一 幾乎立即開始執行的遊戲或應用程式，非常像使用者已改 變電視頻道），故使用者之硬體可能已「升級」而使用者 還未意識到該升級。 消除備份需求 企業、學校及家庭使用者之另一主要問題為備份。儲存 於本端PC或視訊遊戲控制台中之資訊（例如，在控制台之 隋況下，使用者之遊戲成績及級別）可在磁碟故障的情況 下或作出疏忽擦除的情況下丟失。存在為pc提供手動或自 動備份之許多可用應用程式，且可將遊戲控制台狀態上載 至線上伺服器以進行備份，但通常將本端備份複製到另 一本端磁碟（或其他非揮發性儲存器件），其必須儲存於其 他女全位置且被組織，且線上服務之備份常常由於經由典 型低成本網際網路連接可獲得的緩慢上傳速度而受到^ 制對於圖牦之主機代管服務210，儲存於RAID陣列4〇5 中之貝料可使用熟習此項技術者熟知的先前技術raid組 147I59.doc 201119401 態技術來組態，以使得若一斑掷 磁碟故障，則無資料去 容納故障磁碟之⑽器中心處之—技術人員將㈣心 且該技術人貞將替換該磁碟，該則接著會自動

得該RA轉職容忍再-次故障。此外，由於所有磁碎 機彼此靠近且其之間經由SAN彻具有快速區域網路，故 在，器中心中配置所有磁碟系統定期在辅助儲存器上 備份並不難，該輔助儲存器可儲存於㈣服器中心或重^ 位在其之外。自主機代管服務210之使用者之觀點看心 資料一直很安全，且其從不需要考慮備份。 存取示範 使用者常常想在購買遊戲或應用程式之前試用遊戲或應 =程式。如先前所描述’存在藉以做遊戲及應用程式之: 範的先前技術手段（「示範」之動詞形式意謂著試用—展 示版本，其亦被稱為「示範」，但作為名詞），但其令之每 一者遭受限制及/或不便。使用主機代管服務210，使用者 可容易且便利地試用示範。實際上，使用者要做的就是經 由一使用者介面（諸如，下文所描述之使用者介面）選擇示 範及試用該示範。該示範將幾乎立即載入至適合該示範的 伺服器402上，且該示範將像任何其他遊戲或應用程式一 樣執行。不管該示範是需要一極高效能伺服器4〇2或是需 要一低效能伺服器402，且不管使用者使用的家庭或辦公 至用戶端415之類型如何，自使用者之觀點看，該示範將 可操作。遊戲或應用程式示範之軟體發行者將能夠準確地 控制准許使用者試用哪一示範及試用多久，當然，該示範 147159.doc -147· 201119401 :包括為使用者提供—可存取所示範之遊戲或應用程式之 70整版本的機會之使用者介面元件。 由於示範可能以低於成本的價格提供或免費提供，故一 些使用者可能試圖反覆使用示範(特別是重複玩可能有趣 的遊戲示範）。主機代管服務2】〇可使用各種技術限制一給 定使用者之示範使用。最直接方法為每—使用者建立一使 用者1D且限制允許一給定使用者ID玩一示範之次數。然 而，一使用者可設定多個使用者1〇，尤其在其空閒的情況 下。一種用於解決此問題之技術為限制允許一給定用戶端 41 5玩一示範之次數。若該用戶端為一獨立器件，則該器 件應具有一序號，且主機代管服務21〇可限制一具有該序 號之用戶端可存取一示範之次數。若用戶端415係作為軟 體在一 PC或其他器件上執行，則一序號可由主機代管服務 210指派並儲存於PC上且用以限制示範使用，但若pc可由 使用者再程式化且該序號可擦除或改變，則主機代管服務 210之另一選項為記錄PC網路配接器媒體存取控制（MAC) 位址（及/或其他機器特定識別符’諸如硬碟機序號等）且將 示範使用侷限於此。然而，若網路配接器之MAC位址可改 變’則此方法並非十分安全的方法^另一方法為限制一給 定IP位址可玩一示範之次數。雖然IP位址可由電纜數據機 及DSL提供者週期性地重新指派，但此在實務上並不常常 發生’且若可確定（例如，藉由聯絡ISP)IP在住宅DSL或電 纜數據機存取之IP位址之一區塊中，則通常可為一給定家 庭安排少量示範使用。此外，一基於共用相同IP位址的 147159.doc • 148- 201119401 路由器之家庭中可存 境中，存在有限數曰袖L固益件’但通常在-住宅環 之區塊中，_4 ^件。^位址在—舰企業 有該等先二排大量示範。但是，最後，所 目的最佳方法。=二Γ為限制。C上之示範之數 ^ 存在可限制一確定且技術熟練 旦阳也-r ,、 數的十分安全之方法，但形成大 里阻礙可形成—足夠障礙，以使得f+ 0 β χ使侍對大多數PC使用者而言

"^值彳mu，❹者將在意欲使用 不範時使用該等示範：試錢遊戲及應用程式。 對學校、企業及其他機構之益處 利用圖4a巾所^之系統的企業、學校及其他機構之顯著 益處尤其增加。企業及學校具有與安裝、維護及升級似 關聯之巨大花費’特別當PC突然要執行諸如―之高效 能應用程式時。如先前所說明，通常僅在一週中一小部分 夺間中利用PC ’且當在家庭中時，具有一給定效能能力等 級之PC在辦公室或學校環境下的花費比伺服器中心環境下 的化費而得多。 在較大企業或學校（例如，大規模大學）之情況下，此等 貫體之IT部門設定伺服器中心且維護經由LAN級連接遠端 存取之電腦係可行的。存在經由一 LAN或經由辦公室之間 的一私用高頻寬連接來遠端存取電腦的許多解決方法。舉 例而言’利用Microsoft 之 Windows Terminal Server，或經 由虛擬網路計算應用程式（如來自RealVNC，Ltd.之VNC)， 或經由來自Sun Microsystems之精簡型用戶端構件，使用 147159.doc -149- 201119401 者可遠端存取PC或祠服器，其具有多種品質的圖形回應時 間及使用者體驗。此外，此等自我管理伺服器中心通常專 用於單一企業或學校，且因此，該等伺服器中心不能利 用使用之重疊，其在完全不同應用程式（例如，娱樂應用 程式及企業應用程式）在一週中的不同時間利用相同計算 資源時係可能的。因此，許多企業及學校缺少用以獨立地 設定一具有至每一者的一 LAN速度網路連接之伺服器中心 的規模（scale)、資源或專業知識。實際上，大百分率的學 杈及企業具有與家庭相同的網際網路連接（例如，dsl、電 纜數據機）。 然而，此等組織可能仍有規律或週期性地需要極高效能 之計算。舉例而言，-小型建築公司可能僅具有少量建築 師及在進行設計工作時相對適度的計算需要，但該公司可 能週期性地需要極高效能之3D計算（例如，當為一用戶端 產生一新建築設計之3D漫遊時）。圖4a中所示之系統非常 適合此等組織。該等組織僅需要提供給家庭且通常非常廉 價的相同種類之網路連接（例如，DSL、電纜數據機該 等組織可利用廉價PC作為用戶端415，或完全省去pc且利 用僅實施控制信號邏輯413及低延時視訊解壓縮412之廉價 專用益件。此等特徵對可能具有pc偷竊或pc中之專用組 件損壞問題之學校特別有吸引力。 此配置解決此等組織的許多問題（且此等優點中之多者 亦可由進行通用計算之家庭使用者共用）。舉例來說，運 營成本（其最終必須以某一形式傳遞回至使用者以具有一 J47159.doc 201119401 I生存企業)可低得多，因為⑷計算資源與在一週期門且 僅在之其他應用程式共用，（b)該等組織可 力. 日，存取兩效能計算資源（且發生使用高效能計曾 貧源之花費），⑷該等組織不必提供用於備份或以其他方 式維護高效能計算資源之資源。 消除盜版 另外遊戲、應用程式、互動式電影等可不再像其現在 • 樣被盗版。因為每一遊戲被儲存於主機代管服務210且 在其上執行，所以使用者不具備存取基本程式碼之能力， 因此無東西可盜版。即使一使㈣能夠複製原純式碼’ 該使用者亦不能在一標準遊戲控制台或家庭電腦上執行該 程式碼。此打開了世界上的諸如中國之地方之市場，其中 標準視訊遊戲無法使用。亦不可能再銷售舊遊戲，因為不 存在散佈給使用者的遊戲之複本。 對於遊戲開發者，當將新一代之遊戲控制台或pc引入市 • 場時，存在較少市場間斷，這就是當今的情況。與當前情 況（其中一全新一代之控制台或PC技術迫使使用者及開發 者升級且遊戲開發者依賴適時地向使用者供應硬體平台） 相比（例如，在Play Station 3之情況下，其引入延遲一年以 上’且開發者必須等待直至其可獲得，且購買大量單 元）’主機代管服務210可在遊戲需求變化時用更高級計算 技術逐漸更新。 串流互動視訊 以上描述提供許多應用’其能夠由基於一般網際網路之 147159.doc -151- 201119401 低延時串流互動視訊(其隱含地包括音訊以及視訊，如本 文中所使用）之新賴基本概念實現。已經由網際網路提供 串流視訊之先前技術系統僅能夠實現可利用高延時互動實 施之應用°舉例而言，對線性視訊之基本播放控制（例 如，暫停、倒轉、向前快轉）在高延時下適當工作，且可 能在線性視訊饋送中進行選擇。i，如先前所說明，一些 視訊遊戲之性質允許在高延時情況下玩該等視訊遊戲。但 是，用於_流視訊之先前技術方法的高延時（或低壓縮比 率）已嚴重限制串流視訊之潛在應用或將其部署變窄至專 門網路環境，且即使在此等環境中，先前技術亦在網路上 引入實處負擔。本文中所描述之技術使經由網際網路之可 能具有低延時串流互動視訊之許多應用成為可能，特別是 經由消費級網際網路連接實現的彼等應用。 實際上，由於與圖4c之用戶端465 一樣小的用戶端器件 足以提供一增強之使用者體驗，其具有一實際任意量之計 算能力、任意量之快速儲存器及強大伺服器之間的極快速 網路連接，故其產生一新計算時代。此外，因為頻寬需求 未隨系統之計算能力增長而增長（亦即，因為頻寬需求僅 相依於顯示解析度、品質及圖框速率），所以當寬頻網際 網路連接性普遍存在（例如，經由廣泛低延時無線覆蓋）、 可罪且具有足夠高頻寬以滿足所有使用者之顯示器件422 之需要時，問題在於複雜型用戶端（諸如，執行Wind〇ws、 Lmux、〇sx等之PC或行動電話）或甚至精簡型用戶端（諸 如，Adobe Flash或Java)是否是典型消費者及企業應用所 I47159.doc •152· 201119401 必需的。 Φ、流互動視訊之出j見導致對關於計算架構之結構之假設 的反思。此結構之一實例為圖15中所示之主機代管服務 210伺服器中心實施例。延遲緩衝器及/或群組視訊155〇之 視Λ路徑為一反饋迴路，其中應用程式/遊戲伺服器1521一 1 5 25之夕播串流互動視訊輸出或即時地經由路徑1 $ $ 2或在 一可選擇延遲之後經由路徑丨55丨反饋至應用程式/遊戲伺 服器1521-1525中。此實現經由先前技術伺服器或本端計 算架構做不到或不能實行的許多實際應用（例如’諸如圖 16、圖17及圖20中所說明之應用）。但是，作為一更一般 架構特徵，反饋迴路1550提供的是串流互動視訊層級之遞 回因為視讯可在應用程式需要其時無限地回送。此實現 許多之前從未達成之應用可能性。 另一關鍵架構特徵為視訊串流為單向UDp串流。此有效 地實現串流互動視訊之任意程度多播（與之相比，隨著使 用者數目增加，諸如丁〇1>/11>串流之雙向串流將由於來回通 信而在網路上造成越來越多的訊務莖塞）。多播為伺服器 中内之t：要月b力’因為多播允許系統回應網際網路使 用者（且實際上，世界人口）對進行一對多或甚至多對多通 信的增長需求。此外，本文中所論述之實例（諸如，說明 串流互動視訊遞回及多播之使用的圖16)僅為可能性之巨 大冰山之角。 非轉送同級 在—實施例中》主機代管服務210具有黾f^ ” ’主亦提供網際網 147l59.doc -153- 201119401 路服務給使用者之一或多個網際網路服務提供者（ISp)的一 或多個同級連接，且以此方式’主機代管服務2丨0可能能 夠經由一保留在該ISP之網路中的非轉送路線（non_transit route)與使用者通信。舉例而言，若主機代管服務21〇 WAN介面 441直接連接至 Comcast Cable Communications,

Inc.之網路，且利用一 Comcast電纜數據機為使用者場所 211提供寬頻服務，則主機代管服務21〇與用戶端415之間 的一路線可完全建立在Comcast之網路中。此做法之潛在 優點包括較低之通信花費（因為可避免兩個或兩個以上ISp 網路之間的〗!>轉送花費）、一可能更可靠之連接（在Isp網路 之間存在壅塞或其他轉送中斷的情況下）及較低延時（在Isp 網路之間存在壅塞、低效率路線或其他延遲的情況下）。 在此貫施例中，當用戶端4 15最初在一會期開始時聯絡 主機代管服務210時’主機代管服務21〇接收使用者場所 211之IP位址。該主機代管服務接著使用可用Ip位址表（例 如’來自美國網際網路號碼註冊當局（ARIN ; Ameriean Registry for internet Number))以查看該ip位址是否為分配 給一連接至主機代管服務210之特定ISP(其可路由至使用 者場所211而無需⑺轉送以經由另一181>)的Ip位址。舉例而 言’若該IP位址介於76.21.0.0與76.21.127.255之間’則該 IP 位址被}日派給 Comcast Cable Communications, Inc.。在 此實例中，若主機代管服務21〇維持至c〇rncast，Ατ&τ及 Cox ISP之連接’則該主機代管服務選擇c〇mcas_為最可 能提供一最佳路線給特定使用者之ISp。 I47159.doc -154- 201119401 使用反饋之視訊壓縮 在一實施例中，反饋自用戶端器件提供給主機代管服務 以指示成功（或不成功）的影像塊及/或圖框傳遞。接著使用 提供自用戶端之反饋資訊調整主機代管服務處之視訊壓縮 操作。 舉例而言，圖25a至圖25b說明本發明之一實施例，其中 反饋頻道2501建立於用戶端器件2〇5與主機代管服務210之 間。反饋頻道2501由戶端器件205用於發送對成功接收之 影像塊/圖框之封包化應答及/或對未成功接收之影像塊/圖 框之指示。 在一貫施例中’在成功接收每一影像塊/圖框之後，用 戶端將一應答訊息傳輸至主機代管服務21〇。在此實施例 中’若主機代管服務210在一規定時間段之後未接收到一 應答’及/或若主機代管服務21 〇接收到一應答：用戶端器 件205已接收到一並非已發送之影像塊/圖框的隨後影像塊/ 圖框，則主機代管服務21〇偵測到一封包丟失（packet loss)。另外或其他，用戶端器件2〇5可偵測到該封包丟失 且將對5亥封包丟失之一指示及對受該封包丟失影響的影像 塊/圖框之一指示—起傳輸至主機代管服務21〇。在此實施 例中，不需要對成功傳遞之影像塊/圖框之連續應答。 不管如何偵測到一封包丟失，在圖25a至圖25b中所說明 之實施例中，在產生一影像之I影像塊之一初始集合（圖25a 中未展不）之後，編碼器隨後僅產生p影像塊，直至偵測到 封〇丟失為止。請注意，在圖25a中，將每一圖框（諸如 147159.doc •155- 201119401 251〇)說明為4個暨直影像塊。…不同組態(諸如， 2X2、2X4、4X4等）使該圖框影像塊化，或者可以整體無影 像塊之方式編碼該圖框（亦即，編碼為—大影像塊提供 圖框影像塊組態之前述實例以用於說明本發明之此實施 y本㉝明之基本原理並不限於任何特定圖框影像塊組 態0 由於上文所陳述之所有原因(亦即，p影像塊通常小於【 影像塊），僅傳輸p影像塊降低頻道之頻寬需求。當經由反 饋頻道25G1L卜封包丢失時，由編碼器测產生新的 I影像塊（如0 25b中所說明），α重新初始化用彳端器件2〇5 上之解碼H 2502之狀態^如所說明，在—實施例中，該等 I影像塊跨越多㈣編碼關散佈謂制每—個別經編碼 圖框所消耗之頻寬。舉例而t ’在圖25中(其中每一圖框 包括4個影像塊），在4個連續經編碼圖框中之一不同位置 傳輸單一 I影像塊。 編碼器2500可組合關於此實施例描述之技術與本文中所 描述之其他編碼技術。舉例而言，除回應於一偵測到的封 包丟失產生I影像塊之外，編碼器25〇〇可在其他情況下產 生I影像塊，其中I影像塊可能有益於正確再現影像之序列 (諸如，回應於突然場景轉換）。 圖26a說明本發明之另一實施例，其依賴用戶端器件2〇5 與主機代管服務210之間的反饋頻道2601。並非回應於一 偵測到的封包丟失產生新I影像塊/圖框，此實施例之編碼 器2600調整ρ影像塊/圖框之相依性。作為一首要問題應 147159.doc -156· 201119401 注意，此實例中所陳述之特定細節並非符合本發明之基本 原理所需的。舉例而言，雖然將使用p影像塊/圖框描述此 貫例，但本發明之基本原理不限於任何特定編碼格式。 在圖26a中，編碼器2600將複數個未經壓縮之影像塊/圖 框2605編碼成複數個p影像塊/圖框26〇6且經由一通信頻道 (例如，網際網路）將該等P影像塊/圖框傳輸至一用戶端器 件205。用戶端器件205上之解碼器2602解碼該等p影像塊/ φ 圖框2606以產生複數個經解壓縮之影像塊/圖框2607。將 編碼器2600之過去狀態2611儲存於主機代管服務21〇上之 記憶體器件2610中，且將解碼器26〇2之過去狀態2621儲存 於用戶端器件205上之記憶體器件262〇中。解碼器之「狀 態」為諸如MPEG-2及MPEG-4之視訊編碼系統中之熟知術 語。在一實施例中，儲存於該等記憶體中之該等過去「狀 態」包含來自先前p影像塊/圖框之組合資料。記憶體％ i】 及2621可分別整合在編碼器26〇〇及解碼器26〇2中，而非與 • 編碼器2600及解碼器2602分開，如圖26a中所示。此外， 可使用各種類型之記憶體，以實例說明且非限制，該等記 憶體包括隨機存取記憶體。 在一實施例中’當無封包丟失發生時，編碼器2600相依 於先前P影像塊/圖框來編碼每一 p影像塊/圖框。因此，如 圖26a中所使用之表示法所指示，p影像塊/圖框4相依於p 衫像塊/圖框3(使用表示法&識別）；p影像塊/圖框5相依於 P衫像塊/圖框4(使用表示法54識別）；且P影像塊/圖框6相 依於P影像塊/圖框5(使用表示法&識別）。在此實例中，p 147159.doc •157· 201119401 影像塊/圖框乇已在編碼器2600與解碼器2602之間的傳輸期 間丟失。該丟失亦可以各種方式（包括（但不限於）上述方 法）傳達至編碼器2600。舉例而言，每當解碼器26〇2成功 接收及/或解碼一影像塊/圖框時，此資訊可自解碼器26〇2 傳達至編碼器2600。若編碼器2600在一時間段後未接收到 已接收及/或解碼一特定影像塊/圖框之一指示，則編碼器 2600將假設該影像塊/圖框未被成功接收。另外或其他， 解碼器2602可在未成功接收一特定影像塊/圖框時通知編 碼器2600。 在一實施例中’不管如何偵測到丟失之影像塊/圖框’ 一旦偵測到丟失之影像塊/圖框，編碼器26〇〇便使用已知 已由解碼器2602成功接收之最後一個影像塊/圖框編碼下 一影像塊/圖框。在圖26a中所示之實例中，不認為影像塊/ 圖框5及6「成功接收」，因為歸因於影像塊/圖框4之丟 失，影像塊/圖框5及6不能由解碼器2602正確解碼（亦即， 衫像塊/圖框5之解碼相依於影像塊/圖框4且影像塊/圖框6 之解碼相依於影像塊/圖框5)。因此，在圖26a中所示之實 例中，編碼器2600相依於影像塊/圖框3(最後一個成功接收 之影像塊/圖框）編碼影像塊/圖框7，而非相依於解碼器 2602不能正確解碼之影像塊/圖框6來編碼影像塊/圖框7。 雖然圖26a中未說明’但隨後將相依於影像塊/圖框7編碼 影像塊/圖框8，且將相依於影像塊/圖框8編碼影像塊/圖框 9 ’假設未偵測到額外封包丟失。 如上所述，編碼器2600及解碼器2602分別將過去編碼器 147159.doc 201119401 “ 及過去解碼器狀態2621維持在記憶體％ 1 〇及2620 中。因此，當編碼影像塊/圖框7時，編碼器26〇〇自記憶體 2610操取與影像塊/圆框3相關聯之先前編碼器狀態。類似 地，與解碼器2602相關聯之記憶體262〇至少儲存最後已知 的良^解碼器狀態（在該實例中為與Ρ影像塊/圖框3相關聯 之狀態）。因此，解碼器26〇2擷取與影像塊/圖框3相關聯之 過去狀態資訊，使得可解碼影像塊/圖框7。 • 作為上述該等技術之結果，可編碼即時、低延時之互動 視訊且使用相對較小頻寬串流該互動視訊，因為始終不需 要I /像塊/圖框（在串流開始時初始化解碼器及編碼器除 外）。此外，雖然由解碼器產生之視訊影像可臨時包括由 以像塊/圖框4與影像塊/圖框5及6(其由於影像塊/圖 才匚4之丟失而不能正確解碼）引起的不良失真但此失真可 在-極短持續時間中可見。此外，若使用影像塊（而非完 整的視訊圖框），則失真將侷限於再現之視訊影像之一特 定區域。 圖26b中說明一根據本發明之一實施例之方法。在265〇 處，基於一先前產生之影像塊/圖框產生一影像塊/圖框。 在2651處，偵測到一丟失之影像塊/圖框。在一實施例 中，基於自編碼器傳達至解碼器之資訊偵測到該丟失之影 像塊/圖框，如上所述。在2652處，基於一已知已於解碼 器處成功接收及/或解碼之影像塊/圖框產生下一影像塊/圖 框。在一貫施例中，編碼器藉由自記憶體載入與成功接收 及/或解碼之影像塊/圖框相關聯之狀態產生下一影像塊/圖 147159.doc -159- 201119401 框。類似地’當解碼器接收新影像塊/圖框時，該解碼器 藉由自記憶體載入與成功接收及/或解碼之影像塊/圖框相 關聯之狀態來解碼該影像塊/圖框。 在一實施例中’在編碼器處基於成功接收及/或解碼之 最後一個影像塊/圖框產生下一影像塊/圖框。在另一實施 例中’所產生之下一影像塊/圖框為一 ！影像塊/圖框。在又 一實施例中’將基於有多少影像塊/圖框丟失及/或頻道之 延時來選擇是基於一先前成功接收之影像塊/圖框產生下 一影像塊/圖框或是將下一影像塊/圖框產生為一 I圖框。在 一相對較小數目之（例如’丨個或2個）影像塊/圖框丟失且往 返延時相對較低（例如’ 1個或2個圖框時間）的情況下，產 生一 P影像塊/圖框可能最佳’因為最後一個成功接收之影 像塊/圖框與新產生之影像塊/圖框之間的差異可能相對較 小。若丟失若干個影像塊/圖框或往返延時高’則產生一】 影像塊/圖框可能最佳，因為最後一個成功接收之影像塊/ 圖框與新產生之影像塊/圖框之間的差異可能巨大。在一 實施例中’設定一影像塊/圖框丟失臨限值及/或一延時臨 限值以判定是傳輸一 1影像塊/圖框或是傳輸一 P影像塊/圖 框。若丟失之影像塊/圖框之數目係在該影像塊/圖框丟失 臨限值以下及/或若該往返延時係在該延時臨限值以下， 則產生一新I影像塊/圖框；否則，產生一新p影像塊/圖 框。 在一實施例中，編碼器一直嘗試關於最後一個成功接收 之影像塊/圖框產生一 p影像塊/圖框，且若在編碼過程中， 147159.doc 201119401 編碼器確定該P影像塊/圖框很可能比一 I影像塊/圖框大（例 如，若編碼器已壓縮了該影像塊/圖框的八分之一且經Μ 縮之大小大於先前經壓縮之Ϊ影像塊/圖框之平均大小的八 分之一），則編碼器將放棄壓縮該Ρ影像塊/圖框且將改為壓 縮一 I影像塊/圖框。 若很少發生封包丟失，則使用反饋報告一丟棄之影像塊 /圖框之上述系統通常導致至使用者的視訊串流之極輕微 Φ 中斷，因為由一丟失封包中斷的一影像塊/圖框大致在用 戶力而器件205與主機代管服務210之間的一個往返之時間中 經替換’假設編碼器2600在很短時間中壓縮該影像塊/圖 框。且’因為所壓縮之新影像塊/圖框係基於未經壓縮之 視訊_流中之一稍後圖框，所以視訊_流並未落後於未經 壓縮之視訊串流。但是，若一含有該新影像塊/圖框之封 包亦丟失，則此將導致至少兩個往返（其用以再一次請求 並心送另新影像塊/圖框）之一延遲，在許多實際情況 • 下，該延遲將導致視訊串流之一明顯中斷。因此，將在丟 棄之影像塊/圖框之後發送的新編碼之影像塊/圖框成功地 自主機代管服務210發送至用戶端器件2〇5非常重要。 在一實施例中，使用前向錯誤更正（FEC)編碼技術（諸 女圖lla、圖llb、圖llc及圖1Id中先前所描述及說明之 編碼技術）減少丟失新編碼之影像塊/圖框的機率。若已在 傳輸影像塊/圖框時使用FEC編碼，則將一較強聊碼用於 新編碼之影像塊/圖框。 丟棄之封包之一可能原因為頻道頻寬之突然丟失，例 147159.doc 201119401 如，使用者場所211處之寬頻連接的一些其他使用者開始 使用大量頻寬的情況。若一新產生之影像塊/圖框亦由於 丟棄之封包而丟失（即使使用FEC)，則在一實施例中，當 主機代管服務210由用戶端415通知：一第二新編碼之影像 塊/圖框被丟棄，視訊壓縮器404在其編碼一隨後新編碼之 〜像塊/圖框時減少資料速率。不同實施例使用不同技術 減少資料速率。舉例而言，在一實施例中，藉由降低經編 碼影像塊/圖框之品質來實現此資料速率減少，該降低品 質藉由增加壓縮比率來實現。在另一實施例中’藉由降低 視。fl之圖框速率（例如，自6〇降至印3)及相應地減緩 資料傳輸之速率來減少資料速率。在一實施例中，使用用 於減少資料速率之兩種技術（例如，減少圖框速率且增加 k縮比率）。若此較低資料傳輸速率成功地減少丢棄之封 包，則根據先前所描述之頻道資料速率偵測及調整方法， 主機代管服務21 〇將繼續以一較低資料速率進行編碼，且 接著在頻道允許時逐漸向上或向下調整資料速率。與丟棄 之封包及/或延時相關的反饋資料之連續接收允許主機代 B服務2 1 0基於當前頻道條件動態地調整資料速率。 線上堞戲系統中之狀態管理 本發明之一實施例使用有效地儲存一作用中遊戲之當前 狀態且在伺服器之間移植（p〇rt)該當前狀態之技術。雖然 本文t所描述之實施例與線上遊戲相關，但本發明之基本 原理可用於各種其他類型之應用程式（例如，設計應用程 式、文書處理程式（word pr〇cess〇r)、諸如電子郵件或即時 I47159.doc •162· 201119401 sfl息之通信軟體等）。圖27a說明一種用於實施此實施例之 例示性系統架構’且圖27b說明一例示性方法。雖然將同 時描述該方法及該系統架構，但圖27b中所說明之方法不 限於任何特定系統架構。 在圖27b之2751處，一使用者自用戶端器件2〇5起始一主 機代管服務210a上之新線上遊戲。作為回應，在2752處， 將遊戲之一「遊戲原狀（clean)」影像27〇2a自儲存器（例 如，一硬碟機，其直接連接至一執行該遊戲之伺服器，或 經由一網路連接至一伺服器）載入至主機代管服務2i〇a上 之記憶體（例如，RAM)。該「遊戲原狀」影像包含在起始 玩任何遊戲之前的遊戲之執行時間程式碼及資料（例如， 像該遊戲係第一次執行）。使用者接著在2753處玩該遊 戲’從而使該「遊戲原狀」影像變至一非遊戲原狀影像 (例如，圖27a中之由「狀態A」表示的一執行中遊戲）。在 2754處，該遊戲由使用者或主機代管服務21〇&暫停或終 止在2755處，主機代管服務210a上之狀態管理邏輯 27「〇〇a確定該遊戲之「遊戲原狀」影像與當前遊戲狀態 (「狀態A」）之間的差異。可使用各種已知技術計算兩個 一值〜像之間的差異，該等技術包括（例如）可用於加父作 業系統中之熟知「差異(diff)」公用程式中所使用之技 術田然，本發明之基本原理不限於用於差異計算之任何 特定技術。 不：如何計算差[一旦計算出該等差異，便將差異資 料本端地儲存於儲存器件27〇5a中及/或傳輸至一不同主機 I47159.doc 201119401 代官服務21 01^若傳輸至一不同主機代管服務以补，則可 將該差異資料儲存於新主機代管服務21肋處之一儲存器件 (圖中未展示）上β在任何情況下，該差異資料均與使用者 在主機代官服務上之帳戶相關聯，因此下次使用者登入該 等主機代管服務且起始該遊戲時可識別該差異資料。在一 實施例中’並非立即傳輸差異資料，而是在下次使用者嘗 試玩遊戲（且將一不同主機代管服務識別為用於代管遊戲 之最佳選擇）之前，將該差異資料傳輸至一新主機代管服 務。 返回圖27b中所示之方法，在2757處，使用者自一用戶 端器件重新起始該遊戲，該用戶端器件可為使用者最初玩 該遊戲所用的相同用戶端器件2〇5或一不同用戶端器件（圖 中未展示作為回應，在2758處，主機代管服務21〇1)上 之狀態管理邏輯2700b自一儲存器件擷取該遊戲之該「遊 戲原狀」影像及該差異資料。在2759處，狀態管理邏輯 2700b組合該遊戲原狀影像與該差異資料以重建遊戲在原 始主機代管服務21 〇a上之狀態（「狀態a」）。可使用各種 已知技術使用該差異資料重建二值影像之狀態，該等技術 包括（例如）可用於Unix作業系統中之熟知「修補程式 (patch)」公用程式中所使用之技術。亦可使用諸如pc備份 程式之熟知備份程式中所使用的差異計算技術。本發明之 基本原理不限於用於使用差異資料重建二值影像之任何特 定技術。 另外，在2760處，將平台相依性資料27 10併入至最後遊 H7159.doc •164- 201119401 戲影像2701b中。平台相依性資料271〇可包括只有目的地 伺服益平台才有的任何資料。以實例說明且非限制，平台 相依性資料2710可包括新平台之媒體存取控制（MAc)位 址、tcp/ip位址、鐘點、硬體序號（例如，硬碟機及之 硬體序號）、網路伺服器位址（例如，DHCp/Wins伺服器）及 軟體序號/啟動碼（包括作業系統序號/啟動碼）。 與用戶端/使用者相關的其他平台相依性資料可包括（但 • 不限於）下列各者： 1. 使用者之螢幕解析度。當使用者重新開始遊戲時，使 用者可能正在使用一具有一不同解析度之不同器件。 2. 使用者之控制器組態。當遊戲重新開始時，使用者可 能已自一遊戲控制器切換至一鍵盤/滑鼠。 3. 使用者權利，諸如一折扣率是否已過期（例如，使用者 曾在一促銷時段期間玩遊戲’而現在以較高花費在一正常 時段期間玩遊戲之情況），或使用者或器件是否具有特定 φ 年齡限制（例如，使用者之父母可能為了孩子已改變設 定，使得不允許孩子查看成人材料，或玩遊戲之器件（例 如，公共圖書館中之電腦）對是否可顯示成人材料具有特 定限制）。 4. 使用者之級別。可能已允許使用者在一特定聯盟中玩 一多人遊戲，但因為某些其他使用者已超過使用者之級 別’所以該使用者可能已降級至一較低級聯盟。 提供平台相依性資料2710之前述實例以用於說明本發明 之此實施例。本發明之基本原理並不限於平台相依性資料 147159.doc -165- 201119401 之任何特定設定。 圖28以圖形說明第一主機代管服務處之狀態管理邏輯 2700a如何自執行中遊戲270la提取差異資料2800。第二主 機代管服務處之狀態管理邏輯2700b接著組合遊戲原狀影 像2702b與差異資料2800及平台相依性資料2710以重新產 生執行中遊戲270lb之狀態。如圖28中大體所示，差異資 料之大小明顯小於整個遊戲影像2701 a之大小，且因此， 由於僅儲存/傳輸差異資料而節省了大量儲存空間及頻 寬。雖然圖28中未展示，但在將平台相依性資料271 〇併入 最後遊戲影像2701 b中時，該平台相依性資料可能覆寫差 異資料之一些。 雖然上文描述了 一線上視訊遊戲實施，但本發明之基本 原理不限於視訊遊戲0舉例而言，可在任何類型之線上代 管應用程式之内容背景中實施前述狀態管理技術。 用於維護一用戶端解碼器之技術 在本發明之一實施例中，每當使用者請求連接至主機代 管服務210時，主機代管服務210將一新解碼器傳輸至用戶 端器件205。因此’在此實施例中’用戶端器件所使用之 解碼器一直為最新的且唯一地適合在用戶端器件上實施之 硬體/軟體。 如圖29中所說明，在此實施例中，永久地安裝在用戶端 器件205上之應用程式不包括一解碼器。更確切地說，該 應用程式為一用戶端下載器應用程式2903，每當用戶端器 件205連接至主機代管服務210時，該應用程式管理臨時解 I47159.doc -166 - 201119401 馬器2900之下載及安裝。下載器應用程式们可實施於硬 體、軟體、拿刃體或其任何組合中。回應於對一新線上會期 之使用者凊求，下載器應用程式2903經由一網路（例 如，網際網路）傳輸與用戶端器件2〇5相關的資訊。該資訊 可包括識別用戶端器件及/或用戶端器件之硬體/軟體組態 (例如，處理器、作業系統等）之識別資料。 基於此資訊’主機代管服務21〇上之下載器應用程式 φ 2901選擇將在用戶端器件205上使用的適當臨時解碼器 0主機代e服務上之下载器應用程式29Qi接著傳輸臨 時解碼益2900，且用戶端器件上之下載器應用程式謂3驗 證該解碼器及/或將該解碼器安裝在用戶端器件2〇5上。編 碼器2902接著使用本文中所描述的技術中之任一者編瑪音 訊/視訊内容且將时291叫輸至解碼H2_。-旦安裝 了新解碼II 2_，該解碼器即解碼當前線上會期之内容 (亦即，使用本文中所描述的音訊/視訊解壓縮技術中之一 #或多者）。在—實施例中’在會期終止時，將解踢器测 自用戶端器件205移除（例如’解除安裝）。 在-實施例中’臨時解碼器2_正在下載中時，下載器 應用程式携3藉由進行諸如頻道上可達成之資料速率（例 如，藉由確定下載資料所用的時間）、頻道上之封包丢失 之延時的頻道評定而將頻道特性化。下載器應用 私式2903產生描述該等頻道評定之頻道特性化資料。接著 2此頻道特性化f料自用戶端器件2〇5傳輸至主機代管服 知下載器·，其使用該頻道特性化資料確定如何最好地 147159.doc -167- 201119401 利用該頻道將媒體傳輸至用戶端器件205。 用戶端器件205通常會在臨時解碼器2900之下載期間將 訊息發送回至主機代管服務205。此等訊息可包括指示封 包是無錯誤地或是有錯誤地接收之應答訊息。另外，該等 訊息將關於下列各者之反饋提供給下載器29〇1 :資料速率 (基於接收封包之速率計算）；封包錯誤率（基於經報告有接 收錯誤之封包之百分率）；及頻道之往返延時（基於在下载

Is 2901接收關於一已傳輸之給定封包之反饋之前所用的時 間之量）。 以實例說明，若確定資料速率為2 Mbps，則下載器可為 編碼器2902選擇一比資料速率經確定為較5 ]^1)1^時之解析 度（例如，60 fpS下之128〇x72〇)小的視訊視窗解析度（例 如，60 fps下之64〇χ48〇)β視封包丟失率而定可選擇不 同的前向錯誤更正（FEC)或封包結構。 若封包丟失極低，則可傳輸經壓縮之音訊及視訊而無任 何錯誤更正。若封包丢失中則可利用錯誤更正編碼技 術（諸如’先前所描述且在圖Ua、圖Ub、圖m及圖m中 說明之編碼技術）傳輸經壓縮之音訊及視訊。若封包丟失 非常高’則可確定不能傳輸—具有適當品f之視聽串流， 且用戶端器件205可通知使用者：主機代管服務不可經由 通4。頻道（亦即，「鏈路」）使用，或者用戶端器件可能試圖 建立至主機代管服務之具有較低封包丟失的-不同路線 (如下文所描述）。 右L時為低’則可以低延時傳輸經壓縮之音訊及視訊且 147l59.doc 201119401 可建立一會期。若延時過高（例如， 人於8 0毫秒），則對於 需要低延時之遊戲，用戶端器件2〇5 可通知使用者：主機 代管服務不可經由鏈路使用；鏈路·田 蟪路可用，但對使用者輸入 之回應時間將緩慢或「滯後」；哎老 又」，使用者可試圖建立 至主機代管服務之具有較低延時之一 了及不冋路線（如下文所 描述）》

用戶端器件205可能試圖經由網路（例如，網際網路）經 由另-路線連接至主機代管服務21〇，以查看損害是否減 少(例如，封包丟失是否較低，延時是否較低或甚至資 料速率是否較高）。舉例而言，主機代管服務㈣可在地理 上自多個位置（例如，Los Angeles之代管中心及位於 DenVer之代管中心）連接至網際網路，且歸因於[μ Angeies之壅塞，可能存在高封包丟失，但❶⑶乂打不存在 壅塞此外，主機代官服務21 〇可經由多個網際網路服務 提供者（例如’ AT&T及Comcast)連接至網際網路。 由於用戶端器件205與服務提供者中之一者（例如， AT&T)之間的i塞或其他問肖，可能產生封包丟失及/或高 延時及/或爻約束之資料速率。然而，若用戶端器件2〇5經 由另一服務提供者（例如，c〇mcast)連接至主機代管服務 21〇，則該用戶端器件可能能夠無壅塞問題地連接及/或具 有較低封包丟失及/或具有較低延時及/或具有較高資料速 率°因此’若用戶端器件2〇5在下載臨時解碼器29〇〇時經 歷在一規疋臨限值（例如，一規定持續時間中的規定數目 個丟棄封包）以上的封包丟失、在一規定臨限值以上的延 147159.doc 201119401 時及/或一在規定臨限值以下的資料速率，則在一實施例 中，該用戶端器件嘗試經由一替代路線重新連接至主機代 管服務210(通常藉由連接至一不同IP位址或不同網域名稱） 來判定是否可獲得一較佳連接。 若該連接在用盡替代連接選項之後仍經歷不可接受之損 害’則情況可能為：至網際網路的用戶端器件2〇5之本端 連接正遭受損害’或用戶端器件距離主機代管服務21〇太 遠而不能達成適當延時。在此情況下，用戶端器件2〇5可 通知使用者：主機代管服務不可經由鏈路使用；或主機代 管服務可使用但有損害；及/或僅特定類型之低延時遊戲/ 應用程式可使用》 由於對主機代管服務21〇與用戶端器件2〇5之間的鏈路特 性之此評定及潛在改良在下載臨時解碼器時發生，故其減 J用戶端器件205必須分別花在下載臨時解碼器29〇〇及評 定鏈路特性上的時間量。儘管如此，在另一實施例中，對 鏈路特性之#定及潛在改良由用戶端器件2〇5執行，與下 载as時解碼器2900分開(例士口，藉由使用虛設測試資料而 非解碼器程式碼）。此實施可能為一較佳實施的原因很 多。舉例而言’在-些實施例中，用戶端器件2G5係部分 地或完全地實施於硬體中。因此，對此等實施例而言，本 質上不必下載軟體解碼器。 使用基於標準之影像塊大小之壓縮 士上所述δ使用基於影像塊之壓縮時，本發明之基本 原理不限於任何特定影像塊大小、形狀或定向。舉例而 147159.doc 201119401 言’在一基於DCT之壓縮系統（諸如，MPEG-2及MPEG-4) 中’影像塊可為巨集區塊（視訊壓縮中所使用的通常表示 一 16像素χΐ6像素之區塊）之大小，此實施例提供一對影像 塊起作用的非常精細之粒度等級。 此外’不管影像塊大小如何，可使用各種類型之影像塊 化圖案。舉例而言’圖3 0說明—實施例，其中在每一 r圖 框3001-3004中使用多個I影像塊。使用一旋轉圖案，其中j 影像塊分散遍佈每一 R圖框，使得每四個R圖框產生一完 整I圖框。以此方式分散I影像塊能減少封包丟失之影響（將 丟失侷限於顯示之一小區域）。 邊等影像塊亦可具有適合基本壓縮演算法之完整原生結 構的大小。舉例而言，若使用H.264壓縮演算法，則在一 實施例中，將影像塊設定為H.264「圖塊（Slice)」之大小。 此允許本文中所描述之技術容易地整合各種不同標準壓縮 演算法（諸如，H.264及MPEG-4)之内容。一旦將影像塊大 小設定為一原生壓縮結構，即可實施與上述技術相同的技 術。 用於串流倒轉及播放操作之技術 如先前結合圖15所描述，由應用程式/遊戲伺服器1521_ 1525產生之未經壓縮之視訊/音訊串流1529可由共用硬體 壓縮1530同時以多個解析度壓縮，從而產生多個經壓縮之 視訊/音訊串流1539。舉例而言，由應用程式/遊戲伺服器 1521產生之一視訊/音訊串流可由共用硬體壓縮1530以 1280x720x60 fps壓縮且作為出埠網際網路訊務^的經由出 147159.doc • 171 . 201119401 埠路由1540傳輸至一使用者。同一視訊/音訊串流可由共 用硬體壓縮1530經由至應用程式/遊戲伺服器1522之路徑 15 52(或經由延遲緩衝器1515)同時按比例縮小至縮圖大小 (例如，200x1 13)以顯示為圖16中之縮圖集合中之一縮圖 1600。當縮圖1600經過圖17中之中等大小17〇〇縮放至圖18 中之大小1800(1280x720x60 fps)時，並非解壓縮該縮圖串 流，應用程式/遊戲伺服器1522可解壓縮正發送至應用程 式/遊戲伺服器1521之使用者的^8(^72(^60 fps串流之一 複本，且按比例調整較高解析度視訊，就像將其自縮圖大 小縮放至1280x720大小一樣。此方法具有將128〇><72〇之經 壓縮之串流再利用兩次的優點。但是，該方法具有若干缺 點：（a)若使用者之網際網路連接之資料輸送量改變，則發 送至使用者之經壓縮之視訊_流可能在影像品質上改變， 從而產生應用程式/遊戲伺服器1522之「旁觀」使用者所 看到的變化之影像品質，即使使用者之網際網路連接不改 變；（b)應用程式/遊戲伺服器1522必須使用處理資源解壓 縮整個1280X720影像，且接著按比例調整該影像（且可能 應用-重取樣濾波器)以在縮放期間顯示小得多的大小(例 如，640x360) ’·（c)若歸因於有限網際網路連接頻寬及/或 丟失/知壞之封包而丟棄圖框，且旁觀使用者「倒轉」且 「暫停」記錄在延遲緩衝器1515中之視訊，則旁觀使用者 將發現：*棄之圖框在延遲緩衝器中遺漏（此對使用者逐 圖框「步進」之情況特別明顯）；及⑷若旁觀使用者倒轉 以在記錄在延遲緩衝器中之視訊中尋找一特定圖框，則應 I47159.doc -172- 201119401 用程式/遊戲伺服器1522必須在記錄在延遲緩衝器中之視 訊串流中尋找在該已搜尋圖框之前的一 I圖框或I影像塊， 且接著解壓縮所有p圖框/影像塊，直至到達該所要圖框為 止。此相同限制不僅施加給現場Γ旁觀」視訊/音訊串流 之使用者’而且施加給觀看視訊/音訊串流之一封存（例 如’「炫耀剪輯」）複本之使用者（包括產生視訊/音訊串流 之使用者）。 Φ 本發明之一替代實施例藉由以一個以上的大小及/或結 構壓縮視訊串流來解決此等問題。如本文中所描述，基於 網路連接之特性（例如，資料頻寬、封包可靠性）及使用者 之本端用戶端能力（例如，解壓縮能力、顯示解析度）最佳 地壓縮一個串流（「實況」串流）以串流至終端使用者。以 高品質、以一或多個解析度且以一能夠播放視訊之結構壓 縮其他串流（本文中稱為r HQ」串流），且投送此等HQ串 流且將其儲存於伺服器中心2丨〇中。舉例而言，在一實施 φ 例中，該等經壓縮之HQ串流儲存於RAID磁碟陣列151 5上 且用以提供諸如暫停、倒轉之功能及其他播放功能（例 如’「炫耀剪輯」’其可散佈至其他使用者以供觀看）。 如圖3 la中所說明，本發明之一實施例包含能夠以至少 兩種格式壓縮-視訊串流之編碼器3⑽：—種週期性地包 括I影像塊或I圖框之格式3 u〇 ;及一種不包括丨影像塊或工 圖框之格式3111 ’除非歸因於該串流之中斷或因為】影像 塊或I圖框經測定可能小於j影像塊或】圖框（如上所述）有必 要包括I影像塊或I圖框。舉例而言，可僅使用p圖框壓縮 147159.doc •173- 201119401 在玩一視訊遊戲時傳輸至使用者的「實況」串流3111(除 非I影像塊或I圖框係必需的或較小，如上所述）。另外，此 實施例之編碼器3100以一第二格式同時壓縮實況視訊串流 3 111，在一實施例中，該第二格式週期性地包括j影像塊 或I圖框（或類似類型之影像格式）。 雖然上述實施例使用I影像塊、〗圖框、p影像塊及p圖 框，但本發明之基本原理不限於任何特定壓縮演算法。舉 例而言，可使用任何類型之影像格式（其中圖框相依於先 則或隨後圖框）替代P影像塊或p圖框。類似地，任何類型 之非相依於先前或隨後圖框之影像格式可替代上述I影像 塊或I圖框。 如上所述，HQ串流3 11 〇包括週期性J圖框（例如，在一實 施例中，每12個圖框左右）。此情況很重要，因為若使用 者十为想要將儲存之視机串流迅速倒轉至一特定點，則需 要I影像塊或I圖框。對於一僅具有P圖框之經壓縮之串流 (亦即，序列之第一個圖框不為Ϊ圖框），解碼器必須回到序 列之第一個圖框（此可能耗時幾小時）且解壓縮P圖框直至 使用者想要倒轉至的點。對於儲存於HQ串流3 i i 〇中的每 1 2個圖框具有一 I圖框之情形下’使用者可決定倒轉至一 特定點’且HQ串流之最近的之前I圖框在所要圖框之前不 超過12個圖框。即使解碼器最大解碼速率為即時的（例 如’對於一 60圖框/秒之串流為六十分之一秒），亦遠離一工 圖框12(圖框）/60(圖框/秒）=1/5秒。且，在許多情況下，解 碼器可比即時更快速地操作，因此，例如以2倍於即時之 147159.doc -174· 201119401 速度’解碼器可在6個圖框内解碼12個圖框，其僅為「倒 轉」延遲十分之一秒。不必說，若最近的之前I圖框在一 倒轉點之前有很多圖框（例如，「倒轉」一次將耗時十分之 —小時（6分鐘）），則即使一快速解碼器（例如，10倍於即 時）亦將具有—不可接受之延遲。在另一實施例中，使用 週期性I影像塊，且在此情況下，當使用者設法倒轉時， 解碼器將尋找在該倒轉點之前的最近之前丨影像塊，且接 φ 著自該點開始解碼該影像塊，直至解碼直至該倒轉點的所 有影像塊為止。雖然週期性丨影像塊或I圖框比完全消除I圖 框導致低效率壓縮，但主機代管服務210通常具有對管理 HQ串流來說綽绰有餘的本端可用頻寬及儲存容量。 在另一實施例中，編碼器3100編碼具有繼之以ρ影像塊 或Ρ圖框（如先前所描述）、但之前亦有Β影像塊或8圖框的 週期性I影像塊或I圖框之Hq串流。如先前所描述，Β圖框 為在一I圖框之前的圖框且基於在時間上自該I圖框倒退的 φ 圖框差。Β景：^象塊為在一 I影像塊之前的影像塊對應物且基 於自I影像塊倒退的圖框差。在此實施例中，若所要倒轉 點為一Β圖框（或含有Β影像塊），則解碼器將尋找最近的隨 後I圖框或I影像塊且在時間上倒退來解碼，直至解碼了所 要倒轉點’且接著隨著視訊播放自該倒轉點前進，解碼器 將解碼在前進之連續圖框中之Β圖框、I圖框及Ρ圖框（或其 影像塊對應物）。除使用I類型及Ρ類型之外亦使用Β圖框或 Β影像塊之優點在於，常常可達成一給定壓縮比率下之較 向品質。 147159.doc -175- 201119401 在二：施例中’編碼器31。。將叫串流全部 框。此方法之一優點在於，每個倒轉點為-!圖框，且結 果’不必解碼其他圖框以到達倒轉點。—缺點為，與I、p 或卜P、B串流編碼相比，壓縮資料速率將非常高。 其他視訊串流播放動作（例如，快速或慢速^、向前 快轉或慢轉等）利用週期性Z圖框或工影像塊（單獨地或與⑴ 或B對應物組合）通常更容易實際實現，因為在每—情況 下以不同於在時間上逐個圖框前進之圖框次序播放該串 流，且結果’解碼器必須尋找且解碼序列中之一特定圖框 (常常為任意的)。舉例而言，在極快向前快轉(例如，刚x 速度)之情況下，所顯示的每一後繼圖框在先前圖框之後 剛固圖框。即使對於—以職於即時之速度執行且在⑽ 圖框時間中解碼1G個圖框之解碼器，咖仍過慢而不能達 成ιοοχ向前快轉。@ ’利用如上所述之週期性z圖框或旧 像塊，解碼器能夠搜尋接下來需要顯示之圖框之最近可用 I圖框或I影像塊且僅解碼介入圖框或影像塊至目標圖框之 在另—實施例中，以一致週期性（例如，始終為每8個圖 框）在HQ串流中編碼J圖框，且使用者可用於向前快轉及倒 轉之比1圖框速率快之速度乘數（speed multiplier)* ϊ圖框週 期|·生之準確倍數。舉例而言，若j圖框週期性為8個圖框， 則使用者可用之向前快轉或倒轉速度可為IX、2Χ、3Χ、 4Χ 8Χ、16Χ、64Χ及128Χ及256Χ。對於比I圖框週期性 快的速度，解碼器將首先以該速度向前跳躍至最接近j圖 147159.doc -176- 201119401 框（其為提前之圖框之數目v也丨上 数目）（例如，若當前所顯示的圖框在 一 I圖框之前3個圖框，則以丨2 8 只JM128X之速度，解碼器將跳躍至 一提前128+3個圖框之圖框卜 } '對於母—後繼圖框，解碼 器將按照每次將準確地落右_ τ 洛在1圖框上之選定速度跳躍準 確數目個圖框（例如，以12 §父夕，登….志 i28X之選疋速度，解碼器將跳躍 12 8個圖框）。因此，若比τ同拓，冉α 比1圖框週期性快的所有速度為I圖

框週期性之料倍數’則解碼器絕不必解碼任何之前或之 後圖框來搜尋所要圖框’且其僅須解碼每個所顯示圖框的 -個I圖框。對於比Ϊ圖框週期性慢的速度（例如，ιχ、 2Χ、3Χ、4Χ)，或對於較快的非τ圖框週期性之倍數的速 度，對於所顯示的每一圖框，解碼器搜尋哪些圖框需要最 少的額外新解碼之圖才匡以顯示所要圖才匡（其為仍可以解碼 形式獲得之一未經解碼之〗圖框或一已經解碼之圖框（在 RAM或其他快速儲存器中))，且接著按需要解碼介入圖 框，直至解碼且顯示了所要圖框。舉例而言，在4X向前快 轉之情況下，在一具有8Χ Ϊ圖框週期性之Z、p編碼序列 中，若當前圖框為一在一 I圖框之後丨個圖框的p圖框，則 待顯不之所要圖框在4個圖框之後，該待顯示圖框可為在 之前I圖框之後的第五個P圖框。若使用當前所顯示之圖框 (其剛才已被解碼）作為一起點，則解碼器將必須解碼4個以 上P圖框以顯示所要圖框。若使用之前Ϊ圖框，則解碼器將 必須解碼6個圖框（該I圖框及隨後的5個P圖框）以顯示所要 圖框。（很明顯，在此情況下，使用當前所顯示之圖框將 待解碼之額外圖框減至最少係有利的。）接著，待解碼之 147159.doc -177· 201119401 下一圖框（提前4個圖框）可為在一 i圖框之後的第一個P圖 框。在此情況下，若使用當前解碼之圖框作為起點，則解 碼器將必須解碼4個以上圖框（2個P圖框、一 I圖框及一 p圖 框）。但是，若改為使用下一 j圖框，則解碼器僅必須解碼 該I圖框及後繼P圖框。（很明顯，在此情況下，使用下一工 圖框作為起點將待解碼之額外圖框減至最少係有利的。） 因此，在此實例中，解碼器可在使用當前解碼之圖框作為 起點與使用一隨後I圖框作為起點之間交替。作為一般原 則，不官HQ視訊串流播放模式（向前快轉、倒轉或步進）及 速度如何，解碼器可自任何一個圖框開始，該圖框可為一 I圖框或一先前解碼之圖框，其需要最少數目個新解碼之 圖框以顯示在該播放模式及速度下顯示的每一後繼圖框之 所要圖框。 如圖31b中所說明，主機代管服務21〇之一實施例包括用 於管理使用者對重播HQ串流3110之請求的事流重播邏輯 3112。串流重播邏輯3112接收含有視訊播放命令（例如， 暫停、倒轉、卜規定點播放等）之用戶端請求、解譯該 等命令，且自該規定點解碼HQ串流311〇(適當地自一ι圖框 或自先前經解碼之圖框開始，且接著前進或倒退至該規定 點）。在—實施例中，冑—經解碼之HQ技提供給編碼器 3100(可能為自相同編碼器31⑽，若其能夠—次編碼—個 以上串流，或一單獨編碼器31〇〇)，因此可（使用本文中所 描述之技術）重新壓縮該HQ串流且將其傳輸至用戶端器件 205。用戶端器件上之解碼器31()2接著解碼並再現該串 147159.doc •178- 201119401 流，如上所述。 在一實施例中，串流重播邏輯3 112不解碼該HQ串流且 接著使編碼器3 100重新編碼該串流。更確切地說，該串流 重播邏輯僅將HQ串流3 11 〇自該規定點直接串流至用戶端

器件205。用戶端器件205上之解碼器3102接著解碼該HQ _流。因為本文中所描述之該等播放功能通常不具有與播 放一即時視訊遊戲相同的低延時需求（例如，若玩家僅觀 看先則遊戲玩法’而非積極地玩遊戲），所以通常較高品 質之HQ串流中通常固有的附加延時可能導致一不可接受 的終端使用者體驗（例如，具有較高延時但品質較高之視 訊）。 以貫例說明且非限制，若使用者正在玩一視訊遊戲，則 編碼器3100將提供一實質上全部為p圖框之實況串流，其 針對使用者之連接及本端用戶端經最佳化（例如，6 4 〇 X 3 6 〇 解析度下之大約1.4 Mbps)。同時，編碼器3丨〇〇亦將該視訊 串流壓縮為主機代管服務310中之一HQ串流3110，且以1〇 Mbps以（例如WMOxao將該HQ串流儲存於一本端數位視 訊解碼器RAID陣列上（每12個圖框具有多個！圖框）。若使 用者按一「暫停」按鈕，則遊戲將在用戶端之最後經解碼 之圖框上暫停，且螢幕將凍結。接著，若使用者按一「倒 轉」按鈕，則串流重播邏輯3112將自最近1圖框或可用的 已解碼之圖框開始自DVR RAID讀取HQ串流311〇,如上所 述。串流重播邏輯3112將按需要解壓縮介入p圖框或3圖 框、按需要對該等圖框重新排序，使得播放序列以所要倒 147159.doc •179· 201119401 轉速度倒退，且接著（使用此項技術中熟知的先前技術影 像按比例調整技術）將意欲顯示之所要經解碼之圖框之大 小自1280x720重新設定為640x360，且實況串流編碼器 3 100將以640x360之解析度重新壓縮該重新排序之串流且 將其傳輸至使用者。若使用者再次暫停，且接著在該視訊 中進行單步步進以仔細地觀看一序列，則DVr raid上之 HQ串流3110可將每一個圖框用於單步步進（即使原始實況 Φ流可能由於本文中所描述的許多原因中之任一者而吾棄 圖框）。此外，視訊播放之品質在HQ串流中之每一點將相 當高’而實況串流中可能存在（例如）頻寬已損壞之點，從 而導致經壓縮之影像品質之臨時下降。雖然使用者可接受 一短暫時間段或移動影像中之受損影像品質，但若使用者 停在一特定圖框（或緩慢地單步步進）且仔細研究圖框，則 可能不可接受受損品質。藉由規定HQ串流中之一點（例 如，2分鐘之前），使用者亦具備向前快轉、跳躍至一特定 點之能力。在僅具有P圖框或很少（或不可預見地）具有1圖 框之貫況視訊_流的情況下，所有此等操作在其完全一般 性及獲得高品質方面不實用。 在一實施例中’早在HQ串流已儲存視訊時，使用者具 備一視訊視窗（圖中未展示），諸如具有「拖良器 (scrubber)」（亦即，左右滑桿控制）之Apple QuickTime或

Adobe Flash視訊視窗，該拖戈器允許使用者在視訊串流中 向前及倒退掃動。雖然自使用者看來就像其正在對實況串 流進行「拖曳」，但實際上，使用者正在對儲存之HQ串流 147159.doc •180· 201119401 3 110進行拖曳’接著重新設定該HQ串流之大小且重新壓 縮為一實況串流。另外，如先前所提及，若HQ串流同時 由任何其他人觀看，或在一不同時間由使用者觀看，則可 在同時編碼HQ串流時以一比實況串流之解析度高（或低）之 解析度觀看該HQ串流’且品質將與觀眾之實況串流之品 質一樣高’可能達到HQ串流之品質。 因此’藉由同時編碼該實況串流（如本文中所描述，針 對其低延時、頻寬及封包容錯率需求以一適當方式）及一 具有高品質、串流播放動作需求之Hq串流，使用者因此 具備兩種情況之所要組態。且，實際上，兩個不同串流係 以不同方式編碼’此對於使用者而言有效地為透明的。自 使用者之觀點看，儘管在一高度變化且相對較低頻寬之網 際網路連接上執行，但體驗到低延時之極快回應，而數位 視訊記錄（DVR)功能性對於靈活動作及靈活速度具有極高 品質。

作為上述技術之結果，使用者在線上遊戲或其他線上互 動期間得到實況串流及HQ串流兩者之益處，而不遭受實 況串流或HQ串流之限制中之任一者。 厂 圖說明一種用於執行以上操作之系統架構之一實施 例。如所說明’在此實施例中，編碼器3⑽分別編碼一系 列「實況」_流31加、31饥及3胤及一系列對應的 HQj 串流 3121H1-H3、3122H1_H3 及 3125η1·Η3。每一 Q _流H1係以全解析度編碼’而每一編碼器扣及在編 碼之前將該視訊串流按比例調整至一較小大小。舉例而 I47159.doc -181 - 201119401 言，若視訊串流之解析度為1280x720，則HI以1280x720 解析度編碼’而H2可按比例調整至640X360且以該解析度 編碼，且H3可按比例調整至32〇x 1 80且以該解析度編碼。 可使用任何數目個同時Hn按比例調整器/編碼器，從而提 供以多種解析度進行之多個同時HQ編碼。 如上所述，該等實況串流中之每一者回應於經由入埠網 際網路連接3101接收之頻道反饋信號3161、3162及3165而 操作（參見，例如’對圖25至圖26中之反饋信號2501及 2601之論述）。該等實況串流經由出琿路由邏輯314〇經由 網際網路（或其他網路）傳輸出去。實況壓縮器3121L_ 3125L包括用於基於頻道反饋調適該等經壓縮之視訊串流 (包括按比例調整、丟棄圖框等）之邏輯。 該等HQ串流由入埠路由邏輯3141及15〇2經由信號路徑 3 1 5 1投送至内部延遲緩衝器（例如，RAId陣列3 11 5)或其他 資料儲存器件及/或經由信號路徑3丨5 2反饋至應用程式/遊 戲伺服器及編碼器3100以用於額外處理。如上所述，在請 求後將HQ串流31211^-31251^隨後串流至終端使用者（參 見’例如，圖31b及相關文字p 在一實施例中，以圖15中所示之共用硬體壓縮邏輯153〇 實施編碼113100。在另—實施例中，該等編碼器及按比例 調整器申之一些或全部為個別子系統。本發明之基本原理 不限於按比例調整或壓縮資源或硬體/軟體組態之任何特 定共用。 圖31c之組態之-優點在於，需要小於完整大小視訊視 147159.doc 201119401 窗之應用程式/遊戲伺服器3 121_3 12S將不必處理及解壓縮 一完整大小視窗。此外，需要中間視窗大小之應用程式/ 遊戲伺服器3121-3 125可接收一接近所要視窗大小之經壓 縮之串流，且接著按比例放大或縮小至所要視窗大小。此 外’若多個應用程式/遊戲伺服器3121_3125向另一應用程 式/遊戲词服器3 121 -3 125請求相同大小之視訊串流，則入 埠路由3 141可貫施ip多播技術（諸如，此項技術中熟知的ιρ 多播技術）且將所請求之串流同時廣播至多個應用程式/遊 戲伺服器3121-3125，而不需要將獨立串流廣播至發出請 求的每一應用程式/遊戲伺服器》若一接收一廣播之應用 程式/遊戲伺服器改變一視訊視窗之大小，則其可轉變至 廣播一不同視訊大小。因此，任意大量使用者可同時觀看 一應用程式/遊戲伺服器視訊_流，每一使用者具有按比 例調整其視訊視窗之靈活性及始終獲得一嚴格按比例調整 至所要視窗大小之視訊串流之益處。 圖31c中所示之方法之一缺點在於，在主機代管服務21〇 之許多實際實施中’絕對無同時觀看所有經壓縮之Hq串 流（更不必說所有經壓縮之HQ串流之全部大小）的時間。當 將編碼器3 100實施為一共用資源（例如’一按比例調整器/ 壓縮器，以軟體或以硬體實施）時’此浪費減少。但是， 歸因於所涉及之頻寬’可能存在將大量未經壓縮之串流連 接至一共同共用資源之實際問題。舉例而言，每一 1〇80ρ60之串流幾乎為3 Gbps，此甚至遠遠超過十億位元 乙太網路。以下替代實施例解決此問題。 147159.doc -183- 201119401 圖3 1 d展示主機代管服務21 〇之一替代實施例，其申每一 應用程式/遊戲伺服器3121-3125具有分配給其的兩個壓縮 器：（1)一實況串流壓縮器3121L-3125L，其基於頻道反饋 3161-3165調適經壓縮之視訊串流，及一 Hq串流壓縮 器’其輸出一全解析度HQ串流，如上所述。值得注意， 該貫況串流壓縮器為動態及自適應的，從而利用與用戶端 205之雙向通信，而HQ串流為非自適應及單向的。串流之 間的其他差異在於，實況串流品質可視頻道條件及視訊材 料之性質顯著改變。一些圖框可能品質很差，且可能有圖 框被丟棄。此外，實況串流幾乎可全部為p圖框或p影像 塊，而I圖框或I影像塊很少出現。HQ串流通常具有比實況 串流高得多的資料速率，且HQ _流將提供一致高品質且 不丟棄任何圖框。HQ串流可全部為〗圖框，或可具有頻繁

及/或規則之I圖框或I影像塊。Hq串流亦可包括B圖框或B 影像塊。 在一實施例中，在發送至入埠路由3141以進行如先前所 描述之路由之前，共用視訊按比例調整及重新壓縮 3142(將在下文中詳述）僅選擇特定HQ視訊串流3i2iH卜 3 125H1來按比例調整及以一或多個不同解析度來重新壓 縮。其他HQ視訊串流係以其完整大小通過而到達入埠路 由314i以進行如先前所描述之路由，或並不完全通過。在 -實施例中’基於是否存在請求在特^解析度（或一接近 經按比例調整之解析度或全解析度）下之特定叫串流之應 用程式/遊戲縣1|3121·3125，來確定對按比例調整及重 147159.doc -184· 201119401 新壓縮哪些HQ串流及/或哪些Hq串流完全通過的決策。經 由此手段，經按比例調整且重新壓縮（或可能完全通過）的 HQ串流僅為實際需要的HQ串流。在主機代管服務2丨〇之許 多應用中，此導致按比例調整及壓縮資源之急劇減少。此 外’若每一 HQ串流由壓縮器3121Η1.-3125Η1至少以其全解 析度來壓縮’則待投送至且在共用視訊按比例調整及重新 壓縮3 142内所需之頻寬比接受之未經壓縮之視訊所需的頻 寬顯著減少。舉例而言，一3 GBps之未經壓縮之ΐ〇8〇ρ6〇 串流可壓縮至1 0 Mbps且仍保持極高品質。因此，對於十 億位元乙太網路連接性，並非不能載運一未經壓縮之3 Gbps視訊串流，可能載運許多個1〇 Mbps視訊串流且品質 無明顯降低》 圖31f展示共用視訊按比例調整及重新壓縮3142之細節 以及許多HQ視訊壓縮器HQ 3121H1-3131H1。根據來自應 用程式/遊戲伺服器3 12 1 - 3 12 5的對按比例調整至特定大小 之特定視訊串流之請求’内部路由3 192通常選擇來自HQ 視訊壓縮器HQ 3 121Η1 -3 13 1Η1之經壓縮之HQ串流之一子 集。一在串流之此選定子集中的串流在所請求之該串流經 按比例調整的情況下係經由解壓縮器3161_3164投送，或 在所請求之該串流具有全解析度的情況下在未經按比例調 整之視訊路徑3196上投送。該等待按比例調整之串流將由 解壓縮器3 1 6 1 -3 1 64解壓縮為未經壓縮之視訊，接著由按 比例調整器317卜3174將每一未經壓縮之視訊按比例調整 至所請求之大小，接著由壓縮器3181-3184壓縮每一經按 147159.doc •185- 201119401 比例調整之視訊。請注意，若請求在一個以上解析度下之 一特定HQ串流，則内部路由3192(使用此項技術之從業者 所熟知的IP多播技術）將該串流多播至一或多個解壓縮器 3 161-3 164且（在該串流以全解析度具有一所請求大小的情 況下）多播至出埠路由3193。接著將所有該等所請求之串 流（不論是經按比例調整（來自壓縮器3丨8丨_3丨84)或是未經 按比例調整（來自内部路由3192))發送至出埠路由3193。路 由3 193接著將母一所請求之串流發送至請求該串流之應用 程式/遊戲伺服器3 12 1 -3 125。在一實施例中，若一個以上 應用程式/遊戲伺服器請求在相同解析度下之同一串流， 則出埠路由3193將該串流多播至發出該請求的所有應用程 式/遊戲伺服器3121-3125。 在共用視訊按比例調整及重新壓縮3丨42之當前較佳實施 例中，投送係使用十億位元乙太網路交換器實施，且解壓 細按比例調整及壓縮係由實施每一功能之離散專門半導 體器件來實施。相同功能性可以較高整合度實施於硬體中 或由極快處理器實施。 圖31e展示主機代管服務21〇之另一實施例，其中延遲緩 衝器川5之功能（先前已描述）在一共用視訊延遲緩衝器、 按比例調整及解壓縮子系統3143中實施。在圖叫中展示 子系統3143之細節。除以下操作之外，子系統3143之操作 類似於圖3叶所示之子系統3142之操作：洲首先根據 來自應用程式/遊戲㈤服器3121_3125之請求選擇將投送之 HQ視訊串流’且接著經由在當前較佳實施例中實施為一 147159.doc -186- 201119401 RAID陣列之延遲緩衝器3194(但可實施於具有足夠頻寬及 容量之任何儲存媒體中）投送請求延遲之Hq串流，且經由 未經延遲之視訊路徑3 195投送未請求延遲之串流。接著由 内部路由3192基於所請求之串流是經按比例調整或是未經 按比例調整來投送延遲緩衝器3 194及未經延遲之視訊3丨95 兩者之輸出。經由解壓縮器3161-3164、按比例調整器 3171-3174及壓縮器3181_3184將經按比例調整之串流投送 • 至出埠路由3193，且亦將未經按比例調整之視訊3 196發送 至出埠路由3193，接著，出埠路由3193接著在單播或多播 模式下將該視訊發送至應用程式/遊戲伺服器，其方式與 圖3 1 f之子系統3 142中先前所描述之方式相同。 在圖3 1 h中展示視訊延遲緩衝器、按比例調整及解壓縮 子系統3 143之另一實施例。在此實施例中，為每一 HQ串 流提供一個別延遲緩衝器HQ 3121D-HQ 3131D。若RAM及 快閃ROM(其可用以延遲一個別經壓縮之視訊串流）之成本 • 迅速下降’則此可變得比具有共用延遲緩衝器3 194便宜及/ 或靈活。或者，在又一實施例中，單一延遲緩衝器 3197(以虛線展示）可提供個別地處於一高效能集體資源（例 如’極快RAM、快閃記憶體或磁碟）中之所有hq串流之延 遲。在任何情境下，每一延遲緩衝器Hq 3121D-3131D能 夠可變地延遲一來自Hq視訊源之串流，或使該串流在未 經延遲的情況下通過。在另一實施例中，每一延遲緩衝器 能夠提供具有不同延遲量的多個串流。所有延遲或無延遲 由應用程式/遊戲服務312 1-3 125請求。在所有此等情況 147159.doc -187- 201119401 下，經延遲及未經延遲之視訊串流3 198被發送至内部路由 3192 ’且前進通過子系統3143之剩餘部分，如先前關於圖 3 1 g所描述。 在關於各種圖3 In之先前實施例中，請注意，實況串流 利用一雙向連接且為一特定使用者特製而具有最小延時。 HQ串流利用單向連接且為單播及多播兩者。請注意，雖 然在此等圖中將多播功能說明為一單一單元（諸如，可實 施於十億位元乙太網路交換器中），但在—大型系統中， 多播功能很可能經由一具有多個交換器之樹實施。實際 上，在一來自一頂級視訊遊戲玩家之視訊串流的情況下， 情況报可能如下：上百萬的使用者同時觀看該玩家之叫 串流。在此情況下，可能有後繼級中之許多個別交換器在 廣播該經多播之HQ串流。 為了診斷目的及提供反饋給使用者（例如，讓使用者知 道其遊戲表演之風行度)’在一實施例中，主機代管服務 21〇將記錄每_應㈣式/遊戲伺服器3i2i_3i25之視訊串流 同時有多少觀眾。可藉由保持由應用程式/遊油服器對 一特定視訊串流之有效請求之數目的執行計數來實現此記 錄。因此，-同時具有100’_個觀眾之玩家將知道立遊 戲^非常風行’且其將成為遊戲玩家更好地表現且吸引 觀眾之動機。當視訊串流（例 視汛遊戲錦標赛）有非 常夕的電視觀眾時，可能需蓉 # 視訊遊戲比赛期間 發5，使侍觀看多播之一些或 在 王0丨使用者可聽到其解說。 在該專應用程式物服器上執行的應用程式 147159.doc 201119401 應具備一應用程式介面（納），在ah中，應用程式及/或遊 戲可提交對具有特定特性（例如，解析度及延遲之量）之特 定，訊串流之請求。此外，服從於一在應用程式/遊戲词 服益上執盯之作業核境或圖4a之一主機代管服務控制系統 的此等API可由於種種原因而拒絕此等請求。舉例而言， 7請求之視訊串流可能具有特^許可權限限制（例如，使 仟其僅可由-單-觀眾觀看，而不廣播至其他觀眾），可 能存在訂用限制（例如，觀眾可能必須為能夠觀看該争流 =費）’可能存在年齡限制（例如，觀I可能必須滿18歲才 t»觀U串/<) ’可&存在隱私限制（例如，使用該應用程 式或玩該遊戲之人可將觀看限於僅選定數目或類別之觀眾 (Ή如'、友人」），或可能根本不允許觀看），且可能存 2要求延遲材料之限制（例如，在使用者正在玩一可能浪 露其位置的盜竊遊戲之情況下）。存在可能限制串流之觀 看的許多其他限制。在此等情況中之任一情況下，可在說 月拒絕原因的情況下拒絕應用程式/遊戲伺服器之請求， 且在一實施例中’用替代方法接受請求（例如，說明必須 為訂用而支付的費用）。 可將儲存於之前實施例中之任一者中的延遲緩衝器中之 HQ視訊串流導出至在主機代管服務21〇之外的其他目的 地。舉例而言，一特別有趣之視訊串流可由一應用程式/ 遊戲伺服器請求（通常根據一使用者之請求）以導出至 YouTube。在此情況下，該視訊串流可與適當描述性資訊 (例如，玩遊戲的使用者之姓名、時間、分數等）一起以一 147159.doc 201119401

YouTube同意之格式經由網際網路傳輸。可藉由在一單獨 串流中將解說音訊多播至請求此解說之所有Game/A_ 服器3121-3 125來實施此傳輸。該等Game/App伺服器可使 用此項技術之從業者所熟知的音訊混合技術將解說之音訊 合併至發送至使用者場所211之音訊_流中。肯定存在多 個評論員（例如，具有不同觀點，或使用不同語言），且使 用者可在其中進行選擇。 以一類似方式，單獨音訊串流可混合在主機代管服務 210中之特定視訊串流（或個別串流）之聲道中或充當該聲道 之替代物，從而混合或替代來自即時串流之或來自一延遲 緩衝器之視訊之音訊。此音訊可為解說或旁白，或該音訊 可為該視訊串流中之角色提供聲音。此可使機械動晝（使 用者自視訊遊戲視訊串流產生之動晝）能夠由使用者容易 地產生。 本文件中所描述之視訊串流經展示為自應用程式/遊戲 伺服器之視訊輸出擷取，且接著經串流及/或延遲且以各 種方式再使用或散佈。可使用相同延遲緩衝器保存來自非 應用程式/遊戲伺服器源之視訊材料且提供相同程度之播 放及散佈靈活性（具有適當限制此等源包括來自電視台 的實況饋送（或以空中方式或以非空中方式（諸如CNN)，且 或收費（諸如HBO)或免費）^此等源亦包括預先記錄之電影 或電視節目、家庭電影、廣告以及實況視訊電話會議饋 送。實況饋送可像一 Game/App伺服器之實況輸出一樣處 置。預先記錄之材料可像一延遲緩衝器之輪出一樣處置。 147159.doc -190- 201119401 在實施例中’本文中所說明之各種功能模組及相關聯 步驟可由含有用於執行該等步驟之固線式邏輯（諸如，特 殊應用積體電路（ASIC))之特定硬體組件執行，或由程式 化之電腦組件與定製硬體組件之任何組合來執行。 在一實施例中，該等模组可實施於諸如丁伽㈣嶋_ 之TMS320X架構（例如，TMS32〇C6〇〇〇、侧魔测等） 的可程式化數位信號處理器（「Dsp」）上。可使用各種不 同DSP而仍符合此等基本原理。 實施例可包括如上文所陳述之各種步驟。該等步驟可具 體化為使-通用或專用處理器執行特定步驟之機器可執行 指令。與此等基本原理無關之各種元件（諸如，電腦記憶 體、硬碟機、輸入器件）已自諸圖之一些或全部令省去以 避免使相關態樣模糊。 所揭示之標的之S件亦可提供為用於儲存機器可執行指 令之一機器可讀媒體。該機器可讀媒體可包括（但不限於） 快閃記憶體、光碟、CD_R〇M、DVD R(DM、“Μ、 脈〇m、eeprom、磁卡或光卡、傳播媒體或其他類型的 適合儲存電子指令之機器可讀媒體。舉例而言，本發明可 作為-電腦程式而被下載，其可經由—通信鏈路（例如， 一數據機或網路連接）藉由具體化於—載波或其他傳播媒 體中之資料信號自-遠端電腦（例如，—词服器）傳送至一 凊求電腦（例如，一用戶端）。 應理解’所揭示之標的之元件亦可提供為一電腦程式產 品’該電腦程式產品可包括—儲存有指令之機器可讀媒 147159.doc 201119401 以程式化一電腦（例如，一處理器或其

由具體化於一 體，該等指令可用 他電子器件）以執行 元件可作為一電腦程式產品而被下載，其中 一通信鏈路（例如，—數據機或網路連接）藉 載波或其他傳播媒'冑中之資料冑號自—遠端 電腦或電子器件傳送至一請求處理程序。 另外’雖然已結合特定實施例描述了所揭示之標的，但 許多修改及更改仍在本發明之範嘴内，，自說明意義 而非限制意義考慮說明書及圖式。 【圖式簡單說明】 圖1說明·一先則技術視§fl遊戲系統之架構。 圖2a至圖2b說明一根據一實施例之高階系統架構。 之實際、額定 圖3說明一用戶端與一伺服器之間的通信 及所需資料速率。 圖4a說明根據一實施例使用之一主機代管服務及一用戶 圖4b說明相關聯卜用戶端與-主機代管服務之間的通 信之例示性延時。 圖4c說明一根據一實施例之用戶端器件。 圖4d說明一根據另一實施例之用戶端器件。 147159.doc -192- 201119401 圖4e說明圖4c中之用戶端器件之實例方塊圖。 圖4f說明圖4d中之用戶端器件之實例方塊圖。 圖5說明根據一實施例可使用之視訊壓縮之實例形式。 圖6a說明在另一實施例中可使用之視訊壓縮之實例形 式。 圖6b說明與傳輸一低複雜性、低動作性之視訊序列相關 聯之資料速率之峰值。 圖6c說明與傳輸一高複雜性、高動作性之視訊序列相關 聯之資料速率之蜂值。 圖7a至圖7b說明一實施例中所使用之實例視訊壓縮技 術。 圖8說明一實施例中所使用之額外實例視訊壓縮技術。 圖9a至圖9c說明本發明之一實施例中所使用之圖框速率 處理技術。 圖l〇a至圖l〇b說明一將影像影像塊有效率地包裝在封包 内之實施例。 圖11a至圖lid說明使用前向錯誤更正技術之實施例。 圖12說明一將多個多核心處理單元用於壓縮之實施例。 圖13 a至圖13 b說明根據各種實施例的主機代管服務之間 的地理定位及通信。 圖14說明相關聯於一用戶端與一主機代管服務之間的通 信之例示性延時。 圖15說明一實例主機代管服務伺服器中心架構。 圖16說明一包括複數個實況視訊視窗之使用者介面之一 147159.doc •193· 201119401 實施例的實例螢幕擷取畫面。 圖17說明圖16之使用者介面在選擇—特定視訊視窗之後 的圖。 圖18說曰月圖17之使用者介面在將該特定視訊視窗縮放至 全螢幕大小之後的圖。 圖19說明覆疊於一多人遊戲之螢幕上的實例合作使用者 視訊資料。 圖20說明一遊戲玩家在一主機代管服務上的實例使用者 頁面。 圖21說明一實例3D互動式廣告。 圖22說明用於自一實況表演之表面操取產生一具有紋理 表面之相片真實感化影像的步驟之一實例序列。 圖23說明一允許選擇線性媒體内容之實例使用者介面頁 面。 圖24為說明在網頁實況播送之前經過的時間之量與連接 速度的關係曲線圖。 圖25a至圖25b說明本發明之使用自用戶端器件至主機代 管服務之反饋頻道的實施例。 圖26a至圖26b說明一基於已成功接收之最後一個已知影 像塊/圖框來編碼影像塊/圖框之實施例。 圖27a至圖27b說明一將一遊戲或應用程式之狀態自—第 一主機代管服務或伺服器移植至一第二主機代管服務或词 服器之實施例。 圖28說明使用差異資料移植一遊戲或應用程式之狀態之 147159.doc •194· 201119401 實施例。 圖29說明本發明之使用用戶端器件上之一臨時解碼器的 實施例。 圖30根據本發明之一實施例說明「〗影像塊」如何跨越 「R圖框」分散。 圖3 la至圖3 lh說明本發明之產生一實況串流及/或一或 多個HQ串流的實施例。

【主要元件符號說明】 100 CPU/GPU 101 隨機存取記憶體 102 顯示器件 103 硬碟機 104 光碟機 105 網路連接 106 遊戲控制器 205 用戶端器件 206 網際網路 210 主機代管服務. 210a 主機代管服務 210b 主機代管服務 211 使用者場所 220 遊戲或應用程式開發者 221 外部輸入器件 222 内部或外部顯示器件 147159.doc •195. 201119401 301 標稱最大資料速率 302 實際可用最大資料速率 303 資料速率 401 主機代管服務控制系統 402 伺服器 403 儲存區域網路（SAN) 404 低延時視訊壓縮邏輯 405 獨立磁碟冗餘陣列（RAID) 406 控制信號 406a 控制信號 406b 控制信號 409 路由邏輯 410 網際網路 412 低延時視訊解壓縮邏輯 413 控制信號邏輯 415 用戶端 421 輸入器件 422 顯示器件 440 網際網路旁路服務 441 WAN介面 442 WAN介面 443 防火牆/路由器/網路位址轉譯（NAT)器件 451 控制信號 452 使用者場所路由 147159.doc 196- 201119401 453 使用者ISP之往返延時 454 網際網路之往返延時 455 單向路由延時 456 最大單向延時 457 單向延時 458 視訊解壓縮延時 462 乙太網路插口 463

464 HDMI連接器 顯示能力 465 家庭或辦公室用戶端器件 466 快門眼鏡 468 469 472 475 476 477 478 479 480 481 482 483

顯示器件/標準清晰度電視（SDTV)或高 清晰度電視（HDTV)/監視器 輸入器件 網際網路連接 家庭或辦公室用戶端器件 快閃記憶體 視訊相機 顯示器件 藍芽輸入器件/有線USB輸入器件 匯流排

乙太網路介面 WiFi子系統 控制CPU 147159.doc -197- 201119401 484 藍芽介面 485 USB子系統 486 視訊解壓縮器 487 視訊輸出子系統 488 音訊解壓縮子系統 489 音訊輸出子系統 490 高清晰度多媒體介面（HDMI)介面 491 DVI-I 492 S視訊 493 複合視訊 494 數位介面 495 立體聲類比介面 497 具有乙太網路電源（P〇E)之乙太網路 499 電源 501 個別視訊圖框 502 個別視訊圖框 503 個別視訊圖框 511 經壓縮之圖框 512 經壓縮之圖框 513 經壓縮之圖框 520 壓縮邏輯 560 未經壓縮之視訊圖框 561 未經壓縮之視訊圖框 611 I圖框 147159.doc •198. 201119401

612 P圖框 613 P圖框 620 壓縮邏輯 621 額定最大資料速率 622 可用最大資料速率 623 I圖框所需之峰值資料速率 624 視訊串流資料速率 633 I圖框峰值 634 視訊串流資料速率序列 635 P圖框峰值 636 p圖框峰值 670 B圖框 671 I圖框 701-760 未經壓縮之圖框 711-770 R圖框 721-770 未經壓縮之圖框 731-780 R圖框 805 角色 811 R圖框 812 R圖框 922 可用最大資料速率 934 視訊串流資料速率 941 峄值資料速率 942 2倍峰值資料速率 147159.doc -199- 201119401 943 3倍峰值資料速率 944 4倍峰值資料速率 952 2倍峰值 953 平坦化2倍峰值 954 平坦化4倍峰值 955 平坦化4倍峰值 961-970 未經壓縮之圖框 981 經壓縮之圖框1 982 經壓縮之圖框2 983 經壓縮之圖框3 985 經壓縮之圖框5 986 經壓縮之圖框6 987 經壓縮之圖框10 991 傳輸時間 992 傳輸時間 993 傳輸時間 995 傳輸時間 996 傳輸時間 997 傳輸時間 1001 封包 1002 封包 1003 封包 1004 封包 1005 封包

147159.doc •200· 201119401

1010 影像塊包裝邏輯 1100 I影像塊 1101 前向錯誤更正（FEC)碼 1103 I影像塊 1104 F E C碼 1105 F E C碼 1110 音訊封包 1111 FEC碼 1112 音訊封包 1120 使用者輸入命令 1121 FEC碼 1122 使用者輸入命令 1123 F E C碼 1200 多核心及/或多處理器 1201-1208 核心 1205 4x2配置 1300 主機代管服務2 10伺服器中心 1301 網路 1501 入埠網際網路訊務 1502 入埠路由 1511 獨立磁碟冗餘陣列（RAID) 1512 RAID陣列 1515 RAID陣列 1521 應用程式/遊戲（「app/game」）伺服器 147159.doc •201 - 201119401 1522 應用程式/遊戲伺服器 1525 應用程式/遊戲伺服器 1529 未經壓縮之視訊/音訊 1530 共用視訊壓縮/共用硬體壓縮 1539 經壓縮之視訊/音訊 1540 出埠路由 1550 延遲緩衝器及/或群組視訊的視訊路徑 1551 路徑 1552 路徑 1599 出琿網際網路訊務 1600 「縮圖」視訊視窗 1601 黃色選擇方塊 1602 遊戲資訊 1700 視訊視窗 1800 箭頭 1801 覆疊圖 1900 視訊及音訊 2000 視訊 2001 貫況視訊 2002 視訊片段 2003 視訊片段/炫耀剪輯 2004 展示一炫耀剪輯已被觀看之次數的數字 2005 匙孔形狀之圖符 2400 線 147159.doc -202- 201119401 2401 1.5Mbps之連接速度 2402 12 Mbps之連接速度 2403 96 Mbps之連接速度 2500 編碼 2501 反饋頻道 2502 解碼器 2510 圖框 2600 編碼 2601 反饋頻道 2602 解碼器 2605 未經壓縮之影像塊/圖框 .2606 P影像塊/圖框 2607 經解壓縮之影像塊/圖框 2610 記憶體器件 2611 編碼器之過去狀態 2620 記憶體器件 2621 解碼器之過去狀態 2700a 狀態管理邏輯 2700b 狀態管理邏輯 2701a 執行中遊戲 2701b 最後遊戲影像 2702a 遊戲之「遊戲原狀」影像 2702b 遊戲原狀影像 2705a 儲存器件 147159.doc -203- 201119401 2710 平台相依性資料 2800 差異資料 2900 解碼器 2901 下載器應用程式 2902 編碼器 2903 用戶端下載器應用程式 2910 内容 3001 R圖框 3002 R圖框 3003 R圖框 3004 R圖框 3100 編瑪.器 3101 入埠網際網路連接 3102 解碼器 3110 HQ串流 3111 「實況」串流 3111 RAID陣歹ij 3112 串流重播邏輯 3112 RAID陣列 3115 RAID陣列 3121-3125 應用程式/遊戲伺服器 3121H 「HQ」串流 3121L 「實況」串流 3122H 「HQ」串流

147159.doc •204- 201119401

3122L 「實況」串流 3125H 「HQ」串流 3125L 「實況」串流 3140 出埠路由邏輯 3141 入埠路由邏輯 3142 共用視訊按比例調整及重新壓縮 3143 共用視訊延遲緩衝器、按比例調整及 解壓縮子系統 3151 信號路徑 3152 信號路徑 3161 解壓縮器 3161-3165 頻道反饋信號 3162 解壓縮器 3163 解壓縮器 3164 解壓縮器 3171 按比例調整器. 3172 按比例調整器 3173 按比例調整器 3174 按比例調整器 3181 壓縮器 3182 壓縮器 3183 壓縮器 3184 壓縮器 3191 入埠路由 147159.doc •205- 201119401 3192 内部路由 3193 出埠路由 3194 延遲緩衝器 3195 未經延遲之視訊路徑 3196 未經按比例調整之視訊路徑 3197 單一延遲缓衝器 3198 經延遲及未經延遲之視訊串流 HQ 3121D〜 延遲缓衝器 HQ 3131D HQ 3121H1- 視訊壓縮器 HQ 3131H1 HQ HS-l-HS-6 伺服器中心 T1-T8 影像塊 147159.doc -206-

Claims (1)

1. 201119401 七、申請專利範圍： l —種用於執行視訊壓縮的電腦實施之方法，其包含. 根據一第一編碼格式編碼複數個視訊圖框或其部八. 將該複數個經編碼之視訊圖框或部分傳輸至—用 器件； 端 自該用戶端器件接收反饋資訊，該反饋資訊可用以判 定是否尚未成功接收及/或解碼該等視訊圖框或部分中 含有之資料； n 立1應於偵測到尚未成功接收及/或解碼一視訊圖框或其 p刀根據一第二編碼格式編碼一視訊圖框或其部 分；及 八° 將该等視訊圖框或其部分傳輸至該用戶端器件。 2. ^請求項！之方法’其中根據該[編碼格式編碼之每 一視訊圖框或部分分別相依於-先前視訊圖框或部分， =其中根據該第二編碼格式編碼之每―視訊圖框或部分 刀別非相依於一先前視訊圖框或部分。 月长項2之方法’其中該等圖框或其部分在根據該第 %格式編碼時分別包含多個p圖框或多個p影像塊， 且其中經編碼的該等圖框或其部分在根據該第二編碼格 式扁碼時分別包含多個1圖框或多個I影像塊。 长員1之方法，其中該反饋資訊包含已在該用戶端 器=處成功接收及/或解碼該等圖框或其部分之—指示。 山。。求項1之方法，其中該反饋資訊包含尚未在該用戶 而态件處成功接收及/或解碼該等圖框或其部分之一指 147159.doc 201119401 示0 6. 如請求項1之方法，其中該等視訊圖框包含正在該用戶 端器件處玩的視訊遊戲之一影像。 7. 如請求項1之方法，其進一步包含： 在该用戶端器件處解碼該等經編碼之視訊圖框或其部 分；及 在该用戶端器件上之一顯示器上顯示與該等視訊圖框 或其部分中之每一者相關聯之影像。 8' 一種系統，其包含用於儲存程式碼之一記憶體及用於處 理該程式碼以執行以下操作之一處理器： 根據一第一編碼格式編碼複數個視訊圖框或其部分； 將忒複數個經編碼之視訊圖框或部分傳輸至一用戶端 器件； —:°亥用戶端15件接收反饋資訊，該反饋資訊可用以判 疋疋否尚未成功接收及/或解碼該等視訊圖框或 含有之資料； 所 二應於偵測到尚未成功接收及/或解碼一視訊圖框或其 八刀才艮據-第二編碼格式編碼一視訊圖框或其部 i ^等視汛圖框或其部分傳輸至該用戶端器件。 .=求項8之系統’其中根據該第-編碼格式編石馬之 二：圖框或部分分別相依於-先前視訊圖框或部分 分別非相依於—::Γ 每一視訊圖框或部 ^ 先别視訊圖框或部分。 147159.doc 201119401 10·如凊求項9之系統，其中該等圖框或其部分在根據該第 一編碼格式編碼時分別包含多個ρ圖框或多個ρ影像塊， 且其中經編碼的該等圖框或其部分在根據該第二編碼格 式編碼時分別包含多個I圖框或多個I影像塊。 11.如明求項8之系統，其中該反饋資訊包含已在該用戶端 器件處成功接收及/或解碼該等圖框或其部分之一指示。 12·如請求項8之系統，其中該反饋資訊包含尚未在該用戶 φ 端器件處成功接收及/或解碼該等圖框或其部分之一指 示。 如吻求項8之系統，其中該等視訊圖框包含正在該用戶 端器件處玩的視訊遊戲之一影像。 如請求項8之系統，其包含用以使該處理器執行以下操 作之額外程式碼： 在。亥用戶端器件處解碼該等經編碼之視訊圖框或其部 分；及 ' Φ 在。亥用戶端器件上之一顯示器上顯示與該等視訊圖框 或其部分中之每一者相關聯之影像。 15.-種儲存有程式碼之機器可讀媒體，該贏式碼在由一機 器執行時使該機器執行以下操作： 根據一第一編碼格式編碼複數個視訊圖框或其部分； 將該複數個經編碼之視訊圖框或部分傳輸至一用I端 器件； 一自该用戶端器件接收反饋資訊，該反饋資訊可用以判 定^尚未成功接收及/或解碼該等視訊圖框或部分中所 147159.doc 201119401 含有之資料； 立回應於偵測到尚未成功接收及/或解碼_視訊圖框或其 15刀根據一第二編碼格式編碼一視訊圖框或其部 分；及 、。 字该等視訊圖框或其部分傳輸至該用戶端器件。 16·，明求項15之機器可讀媒體，其中根據該第一編碼格式 編，之每一視訊圖框或部分分別相依於_先前視訊圖框 〆。刀且其中根據该第二編碼格式編碼之每一視訊圖 框或部分分別非相依於一先前視訊圖框或部分。 17.如請求項16之機器可讀媒體，其中該等圖框或其部分在 $據該第-編碼格式編碼時分別包含多個p圖框或多個p 衫像塊’且其中經編碼的該等圖框或其部分在根據該第 二編喝袼式編碼時分別包含多個τ圖框或多個Σ影像塊。 A如請求項15之機器可讀媒體，其中該反饋資訊包含已在 ι用戶端器件處成功接收及/或解碼該等圖框或其部分之 —指示。 19·如請求項15之機器可讀媒體’其中該反饋資訊包含尚未 在該用戶端Is件處成功接收及/或解碼該等圖框或其部分 之一指示。 2〇.如請求項15之機器可讀媒體，其中該等視訊圖框包含正 在6亥用戶端器件處玩的視訊遊戲之一影像。 21·如請求们5之機器可讀媒體，其包含用以使該機器執行 以下操作之額外程式碼： 在6亥用戶端器件處解碼該等經編碼之視訊圖框或其部 147159.doc 201119401 分；及 在該用戶端器件上之一顯示器上顯示與該等視訊圖框 或其部分中之每一者相關聯之影像。

   147159.doc