TW200952494A - Method for multicasting views of real-time streaming interactive video - Google Patents
Method for multicasting views of real-time streaming interactive video Download PDFInfo
- Publication number
- TW200952494A TW200952494A TW98115434A TW98115434A TW200952494A TW 200952494 A TW200952494 A TW 200952494A TW 98115434 A TW98115434 A TW 98115434A TW 98115434 A TW98115434 A TW 98115434A TW 200952494 A TW200952494 A TW 200952494A
- Authority
- TW
- Taiwan
- Prior art keywords
- video
- game
- frame
- user
- server
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 31
- 239000000872 buffer Substances 0.000 claims description 31
- 238000007906 compression Methods 0.000 abstract description 143
- 230000006835 compression Effects 0.000 abstract description 135
- 238000004891 communication Methods 0.000 abstract description 17
- 230000033001 locomotion Effects 0.000 description 52
- 230000005540 biological transmission Effects 0.000 description 36
- 238000003860 storage Methods 0.000 description 31
- 230000001934 delay Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 27
- 230000009471 action Effects 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 26
- 230000006837 decompression Effects 0.000 description 25
- 239000000463 material Substances 0.000 description 24
- 230000008901 benefit Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 20
- 230000003111 delayed effect Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 17
- 230000002829 reductive effect Effects 0.000 description 17
- 238000011161 development Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 230000007547 defect Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 230000001413 cellular effect Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 239000000835 fiber Substances 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000981 bystander Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- KDLHZDBZIXYQEI-UHFFFAOYSA-N Palladium Chemical compound [Pd] KDLHZDBZIXYQEI-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 101100006960 Caenorhabditis elegans let-2 gene Proteins 0.000 description 1
- 235000016936 Dendrocalamus strictus Nutrition 0.000 description 1
- 101100346764 Mus musculus Mtln gene Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 240000007591 Tilia tomentosa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000010410 dusting Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 229910052763 palladium Inorganic materials 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007103 stamina Effects 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
200952494 六、發明說明: 【發明所屬之技術領域】 本揭示案大體而言係關於改良使,用者操縱及存取音%及 視訊媒體之能力的資料處理系統之領域。 本申請案為2002年12月10曰申請之名為「用於無線視訊 遊戲之裝置及方法(Apparatus and Method for Wifeless Video Gaming)」的第10/315,460號部分接續(cip)申請案, 該案已讓與給本CIP申請案之受讓人。 〇 【先前技術】 自從托馬斯.愛迪生(Thomas Edison)時代以來,已記錄 之音訊及電影媒體已成為社會之一方面。在2〇世紀初期, 存在已記錄之音訊媒體(磁柱及唱片)及電影媒體(投幣式自 動點唱機及電影)的廣泛發行’但兩種技術仍處於其起步 階段。在20世紀20年代後期,在暢銷基礎上將電影與音訊 組合,繼之將彩色電影與音訊組合。無線電廣播逐漸演變 成很大程度上支援廣告之形式的廣播暢銷音訊媒體。當在 20世紀40年代中期建立電視(τν)廣播標準時,電視與無線 電以廣播暢銷媒體之形式接合,從而將先前已記錄的或現 場直播的電影帶入家庭中。 至20世紀中期為止’大部分美國家庭已具有用於播放已 記錄之音訊媒體的唱片播放機(ph〇n〇graph rec〇rd player)、用於接收現場直播之廣播音訊的無線電,及用於 播放現場直播之廣播音訊/視訊(A/V)媒體的電視機。常常 將此等3個「媒體播放機」(唱片播放機、無線電及TV)組 139851.doc 200952494 合於一共用公共揚聲器之櫥櫃中,變成家庭之「媒體中 心」。儘管對於消費者而言媒體選擇有限,但媒體「生態 系統」非常穩定。大多數消費者知道如何使用「媒體播: 機」且能夠享党其能力之全部範圍。同時,媒體之出版商 (大多為電影及電視工作室’及音樂公司)能夠將其媒體分 配給電影院與家庭兩者,而不遭受廣泛的盜版或「二次錦 」(亦p已使用媒體的重新銷售)。通常,出版商不 ❹ 自二次銷售得到收入’且因A ’二次銷售減少了出版商對 t新的銷售原本可自已使用媒體的購買者得到的收入。儘 管的確存在於20世紀中期期間出售的已使用之唱片,但該 等銷售不會對唱片出版商有大影響,因為不同於電影或視 訊節目(其通常被成年人觀看一次或僅數次),音樂曲目可 被收聽數百次或甚至數千次,,音樂媒體遠比電影/ 視《體「經久」(亦,對於成年消費者而言,其具有 持久價值)。-旦購買了唱片,若消費者喜歡該音樂,則 消費者可能將其保持長時間。 自20世紀中期至當今’媒體生態系統對於消費者與出版 商之利益及知失而言皆已經歷了一系列根本改變。在音訊 記錄器(尤其是具有高品質立體聲之盒式磁帶)之廣泛引入 :隋况下的確存在較高程度之消費者便利。但其亦標誌 著現在廣泛的消眷去4甘 J碉貢考媒體實踐-盜版之開始。的確,多 ^費者純粹出於便利起見而使用盒式磁帶來錄製其自身的 唱片,但日益增加的、% 确費者(例如,宿舍中準備存取彼此 之唱片收集的學生 芊生)將進行盜版複製。又,消費者將錄製 139851.doc 200952494 經由無線電播放之音樂,而 消費者徽之出現導致更=版商購買唱片或磁帶。 戮可以為㈣猜 因為現在 vcm疋為δ己錄τν節目,其可在
亦導致視訊租賃業之建立,I ' ,且VCR “ 其中電影以及TV節目設計可 在「按要求」基礎上進行存取。自20世紀8 的暢銷家庭媒體器件之快迷開發已導致消費者之空二: 擇及便利程度,且料致媒體出版市場之快逮擴張。
現今,消費者面臨過多媒體選擇以及過多媒體器件,其 中之許多者綁定至特定形式之媒體或特定出版商1衷的 媒體消費者可能將-堆器件連接至房屋各房間中的τν及 電腦’造成至-或多個電視機及/或個人電腦(PC)之「鼠寫 式」電纜以及一群遠端控制。(在本申請案之上下文中, 術語「個人電腦」<「PC」指代適合於在家庭或辦公室中 使用的任何種類之電腦),包括桌上型電腦、Maeintosh@ 或其他非Windows電腦、與Windows相容之器件、^^匕變 體、膝上型電腦等)。此等器件可包括視訊遊戲控制台、 VCR、DVD播放機、音訊環繞音效處理器/放大器、衛星 機頂盒、電纜TV機頂盒等。此外,對於熱衷的消費者, 可能由於相容性問題而存在多個類似功能之器件。舉例而 。/肖費者可能擁有HD-DVD與藍光(Blu-ray)DVD播放機 兩者’或 Microsoft Xbox®與 Sony Playstation®視訊遊戲系 統兩者。實際上,由於一些遊戲跨越遊戲控制台之若干版 本的不相容性,消費者可能擁有χΒοχ與稍後之版本(諸 如,Xbox 360®)兩者。經常地,消費者對於使用哪個視訊 I39851.doc 200952494 輸入端及哪個遠端感到迷惑。甚至在將光碟置放於正確播 放機(例如,DVD、HD-DVD、藍光、Xb0J^Piaystati〇n) 中、選擇用於彼器件之視訊及音訊輸入端且發現正確遠端 控制之後,消費者仍面臨技術挑戰。舉例而言,在寬螢幕 DVD之狀況下,使用者可能需要首先判定正確的縱橫比 (例如,4:3、完全、放大、寬放大、電影院寬等)且接著在 其TV或監視器螢幕上設定正確的縱橫比。類似地,使用 者可能需要首先判定正確的音訊環繞音效系統格式(例 如,AC-3、杜比數位、DTS等)且接著設定正確的音訊環 繞音效系統格式。時常地,消費者未意識到其可能未享受 到其電視或音訊系統之全部能力下的媒體内容(例如,觀 看以錯誤縱橫比擠壓之電影,或收聽立體聲之音訊而非環 繞音效之音訊;^ 日益增加地,已將以網際網路為基礎之媒體器件添加至 器件之堆疊。類似Sonos®數位音樂系統之音訊器件使音訊 直接自網際網路串流。同樣地,類似Slingb〇xTM娛樂播放 機之器件記錄視訊且使其經由家庭網路串流或經由網際網 路串流而出’其中可在PC上於遠端觀看該視訊。且網際網 路協定電視(IPTV)服務經由數位用戶線(DSL)或其他家庭 網際網路連接而提供類似電纜TV之服務。近來亦存在將 多個媒體功能整合於單一器件(諸如,Moxi®媒體中心及執 行Windows XP媒髏中心版本之PC)中的努力。儘管此等器 件中之每一者對其執行之功能提供一點便利,但每一者缺 乏對大多數媒體之普遍且簡單的存取。另外,常常由於昂 139851.doc 200952494 貴處理及/或本端儲存之需要而使得該等器件經常花 百二元來製造。另夕卜’此等現代消費者電子器件通常消耗 大量電力’甚至當閒置時亦消耗大量電力,此意謂其 時間而昂貴且浪費能源。舉例而言,#消費者忘記 件切斷或將其切換至不同視訊輸人端,則該器件可能繼續 操作。此外’因為該等器件當中沒有—者為完全解決方 案’所以必須將其與家庭巾之其他器件堆疊整合,此仍對 使用者留下鼠窩式線及許多遠端控制。 ❹ 此外’當許多較新的以網際網路為基礎之器件適當地工 作時,其通常提供更一般形式(與其原本可能可用之形式 相比)之媒體。舉例而言,使視訊經由網際網路串流之器 件常常僅使視訊材料串流,而不能使常常伴隨dvd互動式 「額外計費項目」串流,如視訊之「製作」、遊戲或導演 評論。此係由於以下事實:互動式材料經常係以意欲用^ 在本端處理互動性之特定器件的特定格式而製作。舉例而 言,DVD、HD-DVD及藍光光碟中之每—者具有其自身的 特定互動格< K可家庭媒體器件或本端電腦(其可能經 開發以支援所有風行格式)將需要一定程度的尖端性 (sophistication)及靈活性,其將可能對於消費者操作而言 過於昂貴及複雜。 使該問題加重’若稍後在將來引入新格式,則本端器件 可能不具有支援新格式之硬體能力,此將意謂消費者將必 須購買升級的本端媒體ϋ件。舉例而言,若在稍後之日期 引入較高解析度之視訊或立體視訊(例如,每一隻眼一視 139851.doc 200952494 訊流),則本端器件可能不具有解碼該視訊之計算能力, • 4其可能不具有詩以新格式輸出該視訊的硬體(例如, • 假定藉由與遮光眼鏡(细ered glassess)同步之12〇伽視 訊來達成立體視覺,其中將60 fps遞送至每一隻眼,若消 費者之視訊硬體僅可支援60 fps視訊,則㈣項在缺乏升 級的硬體購買之情況下將不可用)。 當談及尖端的互動式媒體(尤其是視訊遊戲)時,媒體器 件廢棄及複雜度之問題為一嚴重問題。 ❹ 現代視《戲應用基本域分成四個主要非可攜式硬體 平台:Sony PlayStation® 1、2及 3(PS1、PS2,及 PS3);
Microsoft Xbox®及 xb〇x 36〇⑧;及 Nintend〇 以⑺㊁⑶“⑧及
WiiTM ;以及以pc為基礎之遊戲。此等平台中之每一者不 同於其他者,使得經編寫以在一平台上執行之遊戲通常不 會在另一平台上執行。亦可能存在一代器件與下一代器件 之相容性問題。即使大多數軟體遊戲開發者建立獨立於特 ❹ 定平台而設計之軟體遊戲,為了在特定平台上執行特定遊 戲,亦需要專有軟體層(其經常被稱為「遊戲開發引擎」) 來調適遊戲以在特定平台上使用。每一平台以「控制台」 (亦即,附接至TV或監視器/揚聲器之獨立盒子)之形式出 售給消費者或其本身為一 PC。通常,視訊遊戲係在諸如藍 光DVD、DVD-ROM或CD-ROM之光學媒體上出售,該光 學媒體含有體現為尖端的即時軟體應用程式之視訊遊戲。 隨著家庭寬頻帶速度增加’視訊遊戲正日益變得可用於下 載。 I3985I.doc • 9- 200952494 由於高階視訊遊戲之即時性及高計算要求而使得達成與 -視訊遊戲軟體之平台相容性的特殊性要求極端苛刻。舉例 .而言,吾人可能期望自一代視訊遊戲至下一代視訊遊戲 (例如,自 XBox 至 XBox 360,或自 Playstati〇n 2 (「ps2」) 至Playstation 3 (「PS3」))的完全遊戲相容性’正如存在 自一 pc至具有較快處理單元或核心之另一 pc的生產力應 用程式(例如,Microsoft Word)之普遍相容性。然而,對於 視訊遊戲並非為此狀況。因為當發行一代視訊遊戲時,視 β 訊遊戲製造商通常尋求對於給定價格點之最高可能效能, 所以經常對系統進行動態架構改變,以使得經編寫以用於 前代系統之許多遊戲在稍後一代系統上不工作。舉例而 言,XBox係基於x86系列處理器,而χΒ〇χ 36〇係基於 PowerPC系列。 可利用技術來模擬先前架構,但假定視訊遊戲為即時應 用程式’則在模擬中達成完全相同之行為常常不切實際。 ❹ Λ係對❹者、視訊遊戲㈣台製造商及視訊遊戲軟體出 版商之損失。對於消費者而言,其意謂保持將舊的一代視 訊遊戲控制台與新的-代視訊遊戲控制台兩者接通至TV 以便能夠玩所有遊戲的必要性。對於控制台製造商而言, 其意謂與新控制台之模擬及較緩慢採用相關聯的成本。且 對於出版商而s ’其意謂可能必須發行新遊戲之多個版本 二便:蓋所有潛在的消,費者_不僅發行用☆視訊遊戲之每 商铽(例如,χΒ〇χ、PIaystati〇n)的版本,而且常常發行 用於給疋商標之每一版本(例如,PM及PM)的版本。舉例 13985 丨.doc 200952494 而吕’開發電子藝術「瘋狂撖欖球08」之單獨版本以用於 XBox、XBox 360、PS2、PS3、Gamecube、Wii及 PC 平台 以及其他平台。 可攜式器件(諸如,蜂巢式電話及可攜式媒體播放機)亦 對遊戲開發商提出挑戰。日益增加地,該等器件連接至無 線資料網路且能夠下載視訊遊戲。但是,市場中存在具有 多種不同顯示解析度及計算能力的多種蜂巢式電話及媒體 器件°又’因為該等器件通常具有電力消耗、成本及重量 約束’所以其通常缺乏類似圖形處理單元(「GPU」)之高 階圖形加速硬體(諸如,由CA之Santa Clara之NVIDIA製造 的器件)。因此,遊戲軟體開發商通常開發同時用於許多 不同類型之可攜式器件的給定遊戲標題。使用者可發現: 給定遊戲標題不可用於其特定蜂巢式電話或可攜式媒體播 放機。 在家庭遊戲控制台之狀況下,硬體平台製造商通常向軟 體遊戲開發商索要用於在其平台上發布遊戲之能力的版 稅。蜂巢式電話無線通信公司通常亦向遊戲出版商索要用 於將遊戲下載至蜂巢式電話中之版稅。在pc遊戲之狀況 下’不存在用於發布遊戲所支付之版稅,但由於用於支援 多種P C組態及可能引起的安裝問題的較高消費者服務負擔 而使得遊戲開發商通常面臨高成本。又,PC通常較少對遊 戲軟體之盜版提出障礙,因為其可由技術上博學之使用者 容易地重新程式化且遊戲可更容易地被盜版且更容易地被 分配(例如,經由網際網路)^因此,對於軟體遊戲開發商 139851.doc 200952494 而言’在遊戲控制台、蜂巢式電話及PC上發現存在成本及 不利之處。 對於控制台及PC軟體之遊戲出版商而言,成本不止於 此。為了經由零售通道分配遊戲,出版商向零售商索要低 於出售價格之批發價格以使零售商具有利潤率。出版商通 常亦必須支付製造及分配保存遊戲之實體媒體的成本。零 售商經常亦向出版商索要「價格保護費」以涵蓋可能的意 外費用(諸如’遊戲售不出’或遊戲之價格降低,或零售 商必須退還部分或所有批發價格及/或自購買者收回遊 戲)。另外,零售商通常亦向出版商索要用於幫助在廣告 傳單中銷售遊戲之費用。此外,零售商曰益增加地自已完 成遊戲之使用者購買回遊戲,且接著將該等遊戲以已使用 之遊戲出售,通常不與遊戲出版商分享已使用遊戲之收 入。以下事實添加施加於遊戲出版商之成本負擔:遊戲常 常被經由網際網路盜版及分配以供使用者下載及進行免費 複製。 隨著網際網路寬頻帶速度增加且寬頻帶連接性在美國及 全世界變得更廣泛(特定言之,至家庭及至租賃連接網際 網路之PC的「網咖」)’遊戲日益增加地被經由下載而分 配至PC或控制台。又,寬頻帶連接日益增加地用於玩多人 及大^•多人線上遊戲(s亥兩者在本揭示案中藉由首字母縮 寫詞MMOG」來指稱)。此等改變減輕了與零售分配相 關聯之-些成本及問題。下載線上遊戲解決了遊戲出版商 之些不利之處,因為分配成本通常較小且存在較少或不 139851.doc 12 200952494 存在未出售媒體之成本。但已下載的遊戲仍經受盜版’且 2於其大小(大小常常為許多個十億位元組)而使得其可能 • t費非常長之時間來下載。另外,多個遊戲可填滿小磁碟 機諸如連同可攜式電腦一起或連同視訊遊戲控制台一起 出售之彼等磁碟機。然而,就遊戲或MMOG需要線上連接 以使得遊戲可玩之程度而言,盜版問題得以減輕,因為通 常需要使用者具有有效的使用者帳戶。不同於可藉由相機 拍攝顯示螢幕之視訊或藉由麥克風記錄來自揚聲器之音訊 來複製的線性媒體(例如,視訊及音樂),每一視訊遊戲體 驗係唯一的,且不可使用簡單視訊/音訊記錄來複製。因 此’甚至在未強力執行版權法且盜版猖獗的區域中亦可 保護MMOG免於被盜版且因此可支援商業。舉例而言,已 成功地部署Vivendi SA之「魔獸世界」MMOG,而在全世 界未遭受盜版。且許多線上或MMOG遊戲(諸如,Linden Lab之「第二人生」MM〇G)經由建置於遊戲中之經濟模型 ❹ 而產生遊戲運營商的收入,其中資產可使用線上工具而帶 來、出售且甚至建立。因此,可使用除習知遊戲軟體購買 或訂用之外的機制來為線上遊戲之使用付費。 儘管由於線上或MMOG之性質而使得常常可減輕盜版, 但線上遊戲運營商仍面臨其餘挑戰。許多遊戲需要大量的 本端(亦即’家庭内)處理資源以供線上或MMOG適當地工 作。若使用者具有低效能之本端電腦(例如,不具有Gpu 之電腦’諸如低端膝上型電腦),則其可能不能夠玩該遊 戲°另外,隨著遊戲控制台老化’其遠落後於目前技術狀 139851.doc •13- 200952494 態且可能不能夠處理更高階之遊戲。即使假定使用者之本 '^PC能夠處理遊戲之計算要求,常常亦存在安裝複雜度。 • 彳能存在驅動器不相容性(例如1下載新遊戲,則可能 安裝新版本的圖形驅動器,其致使依賴於舊版本圖形驅動 器之先前已安裝之遊戲不可操作)。隨著下載更多遊戲, 控制台可能用完本端磁碟空間。當發現缺陷並修復時或若 對遊戲進行了修改(例如,若錢開發商魏遊戲之級別 λ難玩或太容易玩)’複雜遊戲通常隨著時間推移而自遊 ❹齡’發商接收下載之修補程式(patch)。此等修補程式需要 新的下載。但有時並非所有使用者完成所有修補程式之下 載。在其他時候,下載之修補程式引入其他相容性或磁碟 空間消耗問題。 又,在遊戲播放期間,可能需要大資料下載以將圖形或 行為資訊提供至本端PC或控制台。舉例而言,若使用者進 入MMOG中之-房間中,且遭遇由圖形資料組成或具有在 ❹制者之本端機器上不可用之行為的場景或人物,則必須 下載彼場景或人物之資料。若網際網路連接不夠快,則此 可導致玩遊戲期間的實質延遲。此外,若所遭遇之場景或 人物需要超過本端PC或控制台之儲存空間或計算能力的= 存空間或計算能力,則其可產生一情形:其中使用者不可 在遊戲中繼續,或必須以品質降低之圖形繼續。因此,線 上或MMOG遊戲常常限制其儲存及/或計算複雜度要求 另外,其常常限制遊戲期間之資料傳送的量。線上戈 MMOG遊戲亦可使可玩遊戲之使用者之市場變窄。 139851.doc -14- 200952494 此外,技術上博學之使用者日益增加地反向工程設計遊 戲之本端複本且修改遊戲以使得其可作弊。作弊可能與進 行比用人力可能的速度快的重複按鈕按壓(例如,以便非 常快速地射擊)一般簡單。在支援遊戲中資產交易之遊戲 中,作弊可達到導致欺騙性交易涉及具有實際經濟價值之 資產的欺詐程度。當線上或MMOG經濟模型係基於該等資 產交易時,此可導致對遊戲運營商之實質有害後果。 開發新遊戲之成本隨著PC及控制台能夠製作愈加尖端的 遊戲(例如,具有更逼真之圖形(諸如,即時光線追蹤),及 更逼真之行為(諸如,即時物理學仿真))而增長。在視訊遊 戲業之早期,視訊遊戲開發係與應用程式軟體開發非常類 似之過程;亦即,大多數開發成本係在軟體之開發中(與 圖形、音訊及行為要素或「資產」之開發相對比),諸如 可經開發以用於具有廣泛特殊效果之電影的彼等軟體開 發。現今’許多尖端的視訊遊戲開發努力比軟體開發更類 似於昌有特殊效果之電影開發。舉例而言,許多視訊遊戲 提供3-D世界之仿真,且產生曰益真實(亦即,看似與攝影 拍攝的活人動作影像一般逼真的電腦圖形)的人物、道具 及環境。照片般逼真的遊戲開發之最具挑戰方面中之一者 為建立不能區別於活人動作人面的電腦產生之人面。面部 俘獲技術(諸如,由CA之San Francisco之Mova開發的 C〇nt〇UrTM真實性俘獲系統)俘獲表演者之面部之精確幾何 形狀並在表演者處於運動中時以高解析度追蹤表演者之面 部之精確幾何形狀》此技術允許在pc或遊戲控制台上再現 139851.doc 15 200952494 3D面部,該3D面部實際上不能區別於所俘獲的活人動作 面部。精確地俘獲及再現「照片般逼真的」人面在若干方 面有用。首先,咼度可辨識之名人或運動員常常用於視訊 遊戲中(常常以高成本雇用),且不完美性可能對於使用者 而言顯而易見,從而使檢視體驗分心或令人不愉快。經常 地,需要高度細節來達成高度照片般逼真感_潛在地需要 再現大量多邊形及高解析度紋理(在多邊形及/或紋理在圖 框接圖框基礎上隨著面部移動而改變之情況下)。 當具有詳細紋理之高多邊形計數場景快速改變時,支援 遊戲之pc或遊戲控制台可能不具有足夠的RAM來儲存用 於遊戲片段中所產生的所需數目之動晝圊框的足夠多邊形 及紋理資料。另外,通常可用於PC或遊戲控制台上之單一 光碟機或單一磁碟機通常比RAM緩慢得多,且通常不可跟 上GPU在再現多邊形及紋理中可接受的最大資料速率。當 則遊戲通常將大多數多邊形及紋理載入至RAM中,此意謂 給定場景在複雜度及持續時間上很大程度上受RAM之容量 限制。在(例如)面部動畫製作之狀況下,此可能將pc或遊 戲控制台限制於並無真實感之低解析度面部,或限制於僅 可在遊戲暫停且載入用於更多圖框之多邊形及紋理(及其 他資料)之前在有限數目之圖框中製作成動畫的真實感面 部。 當pc或控制台顯示類似於「正在載入…」之訊息時觀看 進程條跨越螢幕緩慢地移動由現今的複雜視訊遊戲之使用 者A⑽為内在缺點。下一個場景自磁碟(除非另外有條 139851.doc -16 - 200952494 件否則本文中之磁碟」指代非揮發性光學媒體或磁性 ㈣’以及諸如半導體「快閃」記憶體之非磁碟媒體)載 • a時之延遲可花費若干秒或甚至若干分鐘。此浪費時間且 可能使遊戲玩家相當受挫。如先前所論述,大量或所有延 遲可能係由於來自磁碟之多邊形、紋理或其他資料之載入 時間,但亦可能係以下狀況:tPC或控制台中之處理器及/ 或GPU準備用於場景之資料時,花費一部分载入時間。舉 例而言’英式足球視訊遊戲可允許玩家在大量玩家、小 組、運動場及天氣條件當中選擇。因此,取決於選擇何特 定組合,可能需要用於場景之不同多邊形、紋理及其他資 料(統稱「物件」)(例如’不同小組在其制服上具有不同色 彩及圖案)。有可能列舉各種排列中之許多或所有者且提 前預先計算物件中之許多或所有者並將物件儲存於用於儲 存遊戲之磁碟上。但是,若排列之數目大,則所有物件所 需之儲存量可能過大以致不能安裝在磁碟上(或太不切實 G 際以致不能下載)。因此,現存之%及控制台系統通常在 給定場景之複雜度與播放持續時間兩者上受約束且對於複 雜場景遭受長載入時間。 先前技術視訊遊戲系統及應用程式軟體系統之另一顯著 限制在於:其日益增加地使用(例如)3£>物件之大資料庫 (諸如,多邊形及紋理),該等大資料庫需要被栽入至或 遊戲控制台中以用於處理。如上所述,當將該等資料庫在 本端儲存於磁碟上時,該等資料庫可花費長時間來載入。 然而,若資料庫係儲存於遠端位置且經由網際網路來存 13985I.doc 17 200952494 ❹
取’則载入時間通常嚴重得多。在此種情形下,下載大資 料庫可能花費幾分鐘、幾小時或甚至幾天。另夕卜,該等資 料庫㊉常產生大量費用(例用於遊戲、電影或歷史記 錄片中的詳細的高有桅帆船之3D模型)且意欲用於銷售給 7終端使用者n —旦資料庫被下載至本端使用 ▲其就有被盜版之風險。在許多狀況下,使用者僅出於 估計資料庫以查看其是否適合使用者之需要(例如,當使 用者執行特定移動時’用於遊戲人物之3D服裝是否具有滿 意的外觀或外表)的目的而希望下載資料庫。對於在決定 進行購買之前估計3Df料庫之使用者而言,長載人時間可 能係一阻礙。 —類似問題在MM0G(㈣言之,如允許使用者利用日益 定製化人物之遊戲)中出現。對於顯示人物之或遊戲控 制台’其需要能夠存取具有3D幾何形狀(多邊形、紋理等) 以及彼人物之行為(例如,若人物具有盾牌,則盾牌是否 足夠強以使矛偏轉)的資料庫。通常,#mm〇g由一使用 者初次玩時,用於人物之大量資料庫在遊戲之初始複本下 已經可用’遊戲之初始複本在本端在遊戲光碟上可用或經 下載至磁碟。但是’隨著遊戲進展,錢用者遭遇資料庫 在本端不可用之人物或物件(例如,若另一使用者已建立 一定製人物)’則在可顯示彼人物或物件之前,必須下載 其資料庫。此可導致遊戲之實質延遲。 給定視訊遊戲之尖端性及複雜度,則在先前技術視訊遊 戲控制台情況下對視訊遊戲開發商及出版商之另—挑戰在 139851.doc -18- 200952494 於:開發視訊遊戲經常花f2年至3年,成本在數千萬美 . $ °假定新視訊遊戲㈣台平台係以大致每駐年一次之 • 料引人’則遊戲開發商需要在新遊戲控制台發行之前的 數年開始彼等遊戲之開發工作,以便在發行新平台時使視 訊遊戲同時可用。來自競爭性製造商之若干個控制台有時 大約同時發行(例如,彼此在—年或兩年内),但尚待分曉 的係每一控制台之風行性(例如,哪個控制台將產生最大 視訊遊戲軟體銷售)。舉例而言,在近來的控制台循環 中,Microsoft XBox 360、Sony PlayStati〇n ^Nintend〇 觀 預定為在大約相同的一般時間框引入。但在該等引入之前 的數年中,遊戲開發商實質上必須「壓注」哪些控制台平 台將比其他者更成功,且相應地投入其開發資源。電影製 作公司亦必須在電影發行之前很長時間基於其估計可能成 功之電影而分攤其有限的製作資源。給定視訊遊戲所需之 投資之增長程度’則遊戲製作愈加變得類似電影製作,且 φ 遊戲製作公司常規上基於其對特定視訊遊戲之將來成功的 估計而投入其製作資源。但是,不同於電影公司,此壓注 並非僅基於製作本身之成功;實情為’其依據於遊戲意欲 在其上執行之遊戲控制台的成功。同時在多個控制台上發 行遊戲可減輕風險,但此額外努力增加成本,且經常延遲 遊戲之實際發行。 PC上之應用程式軟體及使用者環境正變得更為計算上密 集、動態及互動,不僅使其在視覺上更吸引使用者,而且 使其更有用及直觀。舉例而言,新Windows VistaTM作業系 139851.doc -19- 200952494 統與Macintosh®作業系統之相繼版本兩者併有視覺動晝效 應。咼階圖形工具(諸如,來自Autodesk公司之MayaTM)提 供非常尖端之3D再現及動晝製作能力(其推動了目前技術 狀態的CPU及GPU之限制)。然而,此等新工具之計算要求 對於該等產品之使用者及軟體開發商而言產生許多實際問 題。 因為作業系統(OS)之視覺顯示必須在多種電腦(包括不 再出售但仍可隨著新〇S而升級之前代電腦)上工作,〇8圖 形要求在很大程度上受OS意欲用於之電腦(其通常包括不 包括GPU之電腦)的最少共同點限制。此嚴重地限制〇s之 圖形能力。此外’電池供電之可攜式電腦(例如,膝上型 電腦)限制視覺顯示能力,因為CPU或GPU中之高計算活動 通常導致較高電力消耗及較短電池壽命。可攜式電腦通常 包括在不利用處理器時自動地減低處理器活動性以降低電 力消耗的軟體。在一些電腦型號中,使用者可手動地減低 處理器活動性。舉例而言,Sony之VGN-SZ280P膝上型電 腦含有在一側上標記為「Stamina」(用於低效能,更長電 池壽命)且另一側上標記為「Speed」(用於高效能,較短電 池壽命)之交換器。在可攜式電腦上執行之〇s必須能夠即 使在電胳》以其峰值效能能力之一分率執行的情況下亦可用 地起作用。因此,OS圖形效能常常保持為遠低於目前技術 狀態的可用計算能力。 經常出售高端的計算上密集之應用程式(如Maya),期望 該等應用程式將用於高效能PC上《此通常產生高得多的效 139851.doc •20- 200952494 月巨’及更昂貴且可攜性較差、最少共同點之要求β因此, 該等應用程式具有比通用os(或通用生產力應用程式,類 似Microsoft 〇ffice)有限得多的目標受眾且通常以比通用 OS軟體或通用應用程式軟體低得多的量出售。潛在的受眾 進一步受限制,因為預期的使用者時常難以提前試用該等 计算上密集之應用程式。舉例而言,假設學生希望瞭解如 何使用Maya或已經知道該等應用程式之潛在購買者在購買 中希望在進行投資之前試用Maya(此可能涉及亦購買能夠 執行Maya之高端電腦當學生或潛在購買者可下載 之演示版本或得到Maya演示版本之實體媒體複本時,若其 缺乏能夠執行Maya至其全部潛能(例如,處理複雜3D場景) 之電腦,則其將不能夠進行產品之全方位評估。此實質上 限制該等高端應用程式之受眾。其亦使出售價格變高,因 為開發成本通常經由比通用應用程式之購買次數小得多之 購買次數而清償。 向價應用程式亦對使用應用程式軟體之盜版複本之個體 及商業產生更多刺激。因此,高端應用程式軟體遭受猖獗 盜版,儘管該軟體之出版商進行了大量努力來藉由各種技 術減輕該盜版。但是,甚至當使用盜版的高端應用程式 時,使用者亦不可能排除投資昂貴的目前技術狀態的1>(:來 執行盜版複本之需要。因此,儘管使用者可以軟體應用程 式之實際零售價格之一分率獲得軟體應用程式之使用,但 盜版軟體之使用者仍需要購買或獲得昂貴的pc,以便完全 利用該應用程式。 139851.doc -21 - 200952494 此對於高效能盜版視訊遊戲之使用者同樣成立。儘管盜 版者可以遊戲之實際價格之一分率得到遊戲,但其仍需要 購買適當地玩遊戲所需的昂貴計算硬體(例如,GPu_增強 型PC,或類似XB〇x 360之高端視訊遊戲控制台)。假定視 訊遊戲通常為消費者之娛樂,則用於高端視訊遊戲系統之 額外成本可為過於昂貴的。此情形在當前工人之平均年收 入相當低(相對於美國之當前工人平均年收入)的國家(例 如’中國)中更糟。因此’小得多的百分比之人口擁有高 端視訊遊戲系統或高端PC ^在該等國家中,使用者可支付 費用以使用連接至網際網路之電腦的「網咖」相當普遍。 經常地’該等網咖具有不具有高效能特徵(諸如,原本可 使玩家能夠玩計算上密集之視訊遊戲的GPU)的較舊型號 或低端PC。此為在低端PC上執行之遊戲成功的關鍵因素 (諸如,Vivendi之「魔獸世界」,其在中國高度成功,且通 常係在中國的網咖中玩)。相比之下,計算上密集之遊戲 (如「第二人生」)更不可能在安裝於中國網咖中之PC上 玩。該等遊戲實際上達不到僅能夠存取網咖中之低效能PC 的使用者。 對於考慮購貝視訊遊戲且首先願意藉由經由網際網路將 廣示下載至其家庭而試用遊戲之示範版本的使用者亦存在 障礙。視訊遊戲演示常常為遊戲之全能版本,其中一些特 徵停用,或對遊戲播放之量施加限制。此可能涉及在可將 遊戲安裝於PC或控制台上且在1>(:或控制台上執行之前下 載數十億位元組之資料的長過程(可能幾個小時”在PC2 139851.doc •22· 200952494 狀況下,其亦可能涉及算出遊戲需要哪些特殊驅動器(例 • 如,Directx或0penGL驅動器),下載正確的版本,安裝正 . #的版本,及接著判定pc是否能夠播放該遊戲。此後者步 驟可能涉及判定pc是否具有足夠的處理(cpu及Gpu)能 力、足夠的RAM及相容的0S(例如,一些遊戲在wind〇ws XP上執行而不在Vista上執行)。因此,在試圖執行視訊遊 戲演示之長過程之後,使用者可能發現視訊遊戲演示不可 能玩(給定使用者之PC組態)。更糟地,一旦使用者已下載 ❹ ㈣動器以便嘗試該演示’此等驅動器版本就可能與使用 者在PC上習慣使用的其他遊戲或應用程式不相容,因此, 演示之安裝可致使先前可操作的遊戲或應用程式不能操 作。此等障礙不僅使使用者受挫,而且其對視訊遊戲軟體 出版商及視訊遊戲開發商銷售其遊戲產生障礙。 導致不具經濟效益之另一問題與以下事實有關:給定PC 或遊戲控制台通常經設計以適應對應用程式及/或遊戲的 H 特定程度之效能要求。舉例而言,一些PC具有或多或少之 RAM、較緩慢或較快之CPU及較緩慢或較快之GPU(若其 具有GPU)。一些遊戲或應用程式利用給定PC或控制台之 全計算能力,而一些遊戲或應用程式卻不利用給定PC或控 制台之全計算能力。若使用者之遊戲或應用程式之選擇未 達到本端PC或控制台之峰值效能能力,則使用者可能由於 未利用之特徵而在PC或控制台上浪費了財力。在控制台之 狀況下’控制台製造商可能支付地比資助控制台成本 的多。 139851.doc •23· 200952494
❹ 存在於視訊遊戲之銷售及享受中的另一問題涉及在使用 者實施購買遊戲之前允許使用者觀看他人玩遊戲。存在用 於記錄視訊遊戲以在稍後時間重放的若干先前技術方法。 舉例而言,美國專利第5,558,339號教示了在「遊戲播放」 期間將遊戲狀態資訊(包括遊戲控制器動作)記錄於視訊遊 戲用戶端電腦(由同一或不同使用者擁有)中。此狀態資訊 可在稍後時間使用以在視訊遊戲用戶端電腦(例如,pC或 控制台)上重放-些或所有遊戲動作。此方法之顯著缺點 在於:對於檢視已記錄之遊戲的使用者,使用者必須具有 能夠播放該遊戲之視訊遊戲用戶端電腦且必須具有在彼電 腦上執行之視訊遊戲應用程式,以使得當重放已記錄之遊 戲狀態時遊戲播放係等同的。除此之外,視訊遊戲應用程 式必須係以在已記錄之遊戲肖經回放之賴之間不存在可 月色的執行差異的此種方式編寫。 舉例而言’遊戲圖形大體係在圖框接圖框基礎上計算。 對於許多遊戲,取決於場景是否特別複雜或是否存在減緩 執行之其他延遲(例如,在心,另—過程可能正在執 行’以致自遊戲應用程式奪走CPU循環^遊戲邏輯有時可 能花費比-圖框時間短或比一圖框時間長之時間來 下-個圖框而顯示之圖形。在此種遊戲中,以比一圖框時 間稍少之時間(例如,少幾個ρ ρ τ 了性^ ^個咖時脈循環)計算的「臨限 值」圖框最終可出現。當使用完 仰U <遊戲狀態資訊 次計算彼同一場景時,可能容易扣_ α W 了月“易化費比-圖框時間多幾個 CPU時脈循環之時間⑽如, υ匯流排稍微與外部 J39851.doc 24- 200952494 且即使不存在來自自遊戲處理奪走 過程的大延遲,其亦引入幾個cpu DRAM匯流排不同相, 數毫秒CPU時間之另一
循環時間之延遲)。因此,當回放遊戲時,圖框變成以兩 個圖框時間計算而非以單一圓框時間計算。一些行為係基 於遊戲計算新圖框之頻率(例如,當遊戲取樣來自遊戲控 制器之輸人時)。當播放遊戲時,用於不同行為的時間參 考中之此偏差不會影響遊戲播放,但其可導致所回放之遊 戲產生不同結果。舉例而言’若籃球之軌道係以穩定的60 fps速率來計算,但遊戲控制諸人係基於經計算之圖框 之速率來取樣,則當記錄遊戲時,經計算之圖框之速率可 能為53 fps ’而當重放遊戲時,經計算之圖框之速率可能 為52 fps’此可使得籃球是否被阻止進入籃中存在差異, 從而導致不同結果。因&,使用遊戲狀態記錄視訊遊戲需 要非常謹慎之遊戲軟體設計,以確保使用同一遊戲狀態資 訊重放產生完全相同之結果。 用於記錄視訊遊戲之另—先前技術方法係僅記錄PC或視 訊遊戲系統之視訊輸出(例如,至VCR、DVD記錄器,或 至PC上之視訊俘獲板)。接著可將視訊回倒及重放,或替 代地’將已記錄之視訊上載至網際網路(通常在將視訊壓 縮之後)。此方法之不利之處在於:當回放3D遊戲序列 時’使者限於僅自檢視點(序列被自其記錄)來檢視序 列。換言之,使用者不可改變場景之檢視點。 另外,當經由網際網路而使在家庭?(;:或遊戲控制台上播 放的已記錄之遊戲序列的經壓縮之.視訊為其他使用者可用 139851.doc -25 200952494 時’即使視訊係即時壓縮’亦不可能即時地將經壓縮之視 S孔上載至網際網路。其原因係因為世界上連接至網際網路 之許多豕庭具有高度不對稱之寬頻帶連接(例如,DSL及電 纜數據機通常具有比上傳頻寬高得多的下傳頻寬)。經壓 縮之高解析度視訊序列常常具有比網路之上傳頻寬容量高 的頻寬,使得其不可能即時上載。因此,在播放遊戲序列 之後(可能幾分鐘或甚至幾小時),在網際網路上之另一使 用者能夠檢視該遊戲之前’將存在顯著延遲。儘管此延遲 在特定情形下(例如,觀看在先前時間出現的遊戲玩家之 成果)可容忍,但其消除了觀看遊戲現場直播(例如,由優 勝玩家玩的籃球錦標赛)之能力或現場直播地播放遊戲時 的「即刻重放」能力。 另一先前技術方法允許具有電視接收器之檢視者觀看視 訊遊戲現場直播’但僅在電視製作人員之控制下^美國與 其他國家中的一些電視頻道提供視訊遊戲檢視頻道,其中 電視觀眾能夠在視訊遊戲頻道上觀看特定視訊遊戲使用者 (例如,參加錦標赛之頂級玩家此藉由將視訊遊戲系統 (PC及/或控制台)之視訊輸出馈送至用於電視頻道之視訊分 配及處理設備中來完成。此正如電視頻道廣播現場直播之 籃球比賽時的情況’其中若干個相機自籃球場周圍之不同 角度提供現場直播之饋送。電視頻道接著能夠利用其視訊/ 音訊處理及效應設備來操縱來自各種視訊遊戲系統之輸 出。舉例而言,電視頻道可在來自視訊遊戲的視訊之上上 覆指示不同玩家之狀態的文字(正如其可在現場直播之籃 139851.doc -26- 200952494 球比賽期間上覆文字),且電視頻道可加錄來自評論員(其 . 彳論述在比賽期間出現之動作)之音訊。另外,可將視訊 • 遊戲輸出與記錄遊戲之實際玩家之視訊的相機(例如,展 示玩家對遊戲之情緒反應)組合。 此方法之一問題在於:必須即時地使該等現場直播之視 訊饋送為電視頻道之視訊分配及處理設備可用,以便使其 具有現場直播之廣播的刺激性.然而,如先前所論述,當 視訊遊戲系統係自家庭執行時(尤其是當廣播之一部封包 . 化括來自正俘獲遊戲玩家之真實世界視訊之相機的現場直 播之視訊時),此常常不可能。另外,在錦標賽情形下, 所關注的為家庭中遊戲者可修改遊戲及作弊,如先前所描 述。由於此等原因’電視頻道上之該等視訊遊戲廣播常常 配置有聚集於公共位置處(例如,在電視演播室處或在競 技場中)之播放器及視訊遊戲系統,其中電視製作設備可 接受來自多個視訊遊戲系統及潛在的現場直播之相機的視 ^ 訊饋送。 ❹ 儘管該等先前技術視訊遊戲電視頻道可為電視觀眾提供 非常刺激之演出(其為與現場直播之運動事件同類(例如, 與以「運動員」呈現之視訊遊戲玩家同類)的體驗,不僅 根據其在視訊遊戲世界中之動作,而且根據其在真實世界 中之動作)’但此等視訊遊戲系統常常限於玩家彼此實體 極接近之情形。此外’因為電視頻道係經廣播,所以每一 經廣播之頻道僅可展示由電視頻道之製作人員選擇的一視 訊流。由於此等限制及廣播時間、製作設備及製作人員之 139851.doc -27^ 200952494 南成本’該等電視頻道通常僅展示參加頂級錦標赛之頂級 • 玩家。 • 另外,向全部電視觀眾廣播視訊遊戲之全螢幕影像的給 定電視頻道每次僅展示一視訊遊戲。此嚴重地限制電視檢 視者之選擇。舉例而言,電視檢視者可能對給定時間展示 之遊戲不感興趣。另-檢視者可能僅對觀看並非由電視頻 道在給定時間放映的特定玩家之遊戲播放感興趣。在其他 狀況下’檢視者可能僅對觀看内行玩家如何處理遊戲中之 參特定級別感興趣。其他檢視者可能希望控制檢視點(視訊 遊戲係自其來看),該檢視點不同於由製作小組等選擇之 檢視點。簡s之’電視檢視者在觀看視訊遊戲中可能具有 ".、數的偏好(即使若干個不同電視頻道可用,電視網路之 特定廣播亦不適應該等偏好)。由於所有上述原因,使得 先前技術視訊遊戲電視頻道在向電視檢視者呈現視訊遊戲 中具有顯著限制。 ❹ 先前技術視訊軸“及剌程式軟㈣統之另一缺點 在於:其複雜,且通常遭受錯誤、崩潰及/或非所欲且不 =的行為(統稱「缺陪」)^儘管遊戲及應用程式在發行 ^刖通常經歷除錯及㈣過程(經f稱為「軟體品質保 :匕或SQA) ’但幾乎不變的是:一旦遊戲或應用程式被 :仃至領域中之廣大受眾,缺陷就會突然出現。遺條的 疋軟體開發商難以在發行之後識別及追鞭到許多缺陷。 ^體:發商可能難以意識到缺陷。即使#其瞭解一缺陷 '、α 3b僅存在其可用於識別是什麼引起該缺陷的有限 139851.doc -28. 200952494 量之資訊。舉例而言,使用者可打電話給遊戲開發商之消 費者服務熱線且留下訊息,該訊息陳述:當玩遊戲時,榮 幕開始閃爍’接著改變成固體藍且Pc凍結。其為Sqa小組 提供了在追蹤缺陷中有用的非常少之資訊。線上連接之一 些遊戲或應用程式在特定狀況下有時可提供更多資訊。舉 例而言,有時可使用「看門狗」過程來監視遊戲或應用程 式是否「崩潰」,看門狗過程可收集遊戲或應用程式崩潰 時關於遊戲或應用程式過程之狀態(例如,記憶體堆疊之 使用狀態、遊戲或應用程式進展至之程度等)的統計,且 接著經由網際網路而將彼資訊上載至SQA小組。但在複雜 遊戲或應用程式中,該資訊可花費非常長之時間來解密, 以便準確地判定在崩潰時使用者正在進行什麼。儘管如 此,亦不可能判定何事件序列導致崩潰。 與PC及遊戲控制台相關聯之又一問題在於:其經受使消 費者極不便利之服務問題。服務問題亦影響1>(:或遊戲控制 台之製造商,因為其通常需要發送特殊盒子以安全地裝運 破扣的PC或控制台,且因而招致修理之成本(若pc或控制 台處於保修期内)。遊戲或應用程式軟體出版商亦可受處 於修理狀態中之PC及/或控制台引起的鎖售損失(或線上服 務使用)影響。 圖 1 說明諸如 Sony piaystati〇n⑧ 3、Microsoft Xbox ® Nintendo Wiitm、aWind〇ws為基礎之個人電腦或 Apple Macintosh的先前技術視訊遊戲系統。此等系統中之 每者包括用於執行程式碼之中央處理單元(CPU)(通常為 139851.doc •29- 200952494 用於執行高階圖形操作之圖形處理單元(GPU)),及用於與 外部器件及使用者通信的多個形式之輸入/輸出(1/〇)。為 簡單起見,將此等組件展示為組合在一起為單一單元 100。圖1之先刖技術視訊遊戲系統亦展示為包括光學媒體 驅動器104(例如’ DVD-ROM驅動器);用於儲存視訊遊戲 程式碼及資料之硬碟機103;用於播放多人遊戲、用於下 載遊戲、修補程式、演示或其他媒體之網路連接1〇5 ;用 於储存當前正由CPU/GPU 100執行之程式碼的隨機存取記 憶體(RAM) 101 ;用於在遊戲播放期間接收來自使用者之 輸入命令的遊戲控制器106 ;及顯示器件ι〇2(例如,SDTV/ HDTV或電腦監視器)。 圖1中所展示之先前技術系統遭受若干限制。首先,與 RAM 101之存取速度相比較,光碟機】〇4及硬碟機1〇3往往 具有緩慢得多的存取速度。當直接經由RAM 1〇1工作時, 由於RAM 101通常具有高得多的頻寬且不會遭受光碟機構 之相對長的搜尋延遲的事實,CPU/GPU 100在實踐中可處 理比直接自硬碟機103或光碟機104讀出程式碼及資料時可 能的每秒多邊形數多得多的每秒多邊形數。但僅有限量之 RAM提供於此等先前技術系統中(例如,256_512兆位元 組)°因此’常常需要「正在載入」序列,其中ram ι〇ι 被週期性地填以用於視訊遊戲之下一個場景的資料。 一些系統試圖同時地重疊程式碼之載入與遊戲播放,但 此僅可在存在已知序列之事件時進行(例如’若正沿道路 駕馼車,則可在駕駛車的同時載人路旁之正接近的建築物 139851.doc -30 - 200952494 的幾何形狀)。對於複雜及/或快速場景改變,此類型之重 • 疊通常不起作業。舉例而言,在使用者處於戰役進行之中 . 且在彼時刻之視圖内RAM 101完全被填滿表示物件之資料 的狀況下’若使用者將視圖快速地向左移動以檢視當前未 載入於RAM 101中之物件,則將導致動作之不連續性,因 為不存在足夠的時間來將新物件自硬碟機103或光碟機1〇4 載入至RAM 1 〇 1中。 圖1之系統的另一問題係由於硬碟機1〇3及光學媒體1〇4 馨 之儲存容量之限制引起。儘管磁碟儲存器件可被製造成有 相對大之儲存容量(例如,500億位元組或500億位元組以 上)’但其仍不提供用於在當前視訊遊戲中所遭遇之特定 情況的足夠儲存容量。舉例而言,如先前所敍述,英式足 球視訊遊戲可允許使用者在全世界的許多小組、玩家及運 動場當中選擇《對於每一小組、每一玩家及每一運動場, 需要大量紋理映射及環境映射來特徵化世界上之31)表面 ❿ (例如每一小組具有一唯一運動衫,每一者需要一唯一 紋理映射)。 用於解決此後者問題之一技術係:對於遊戲,一旦使用 者選擇了紋理及環境映射,就預先計算紋理及環境映射。 此可涉及許多計算上密集之過程,包括解壓縮影像、3D映 射、加陰影、組織資料結構等。因此,當視訊遊戲執行此 等计算時,對於使用者可能存在延遲。減少此延遲之一方 法原則上為·最初開發遊戲時執行所有此等計算-包括小 、且玩家名冊及運動場之每一排列。遊戲之發行版本因而 139851.doc -31 - 200952494 將包括儲存於光學媒艎104上或網際網路上之一或多個祠 服器上的所有此經預先處理之資料,當使用者作出選擇 時’僅經由網際網路將用於給定小組、玩家名冊、運動場 選擇的選定之預先處理之資料下載至硬碟機103。然而, 作為實際問題’遊戲播放中可能的每個排列之該預先載入 之資料可能輕易地為數太位元組(terabyte)之資料,其遠超 過現今的光學媒體器件之容量。此外,用於給定小組、玩 家名冊、運動場選擇之資料可能輕易地為數億位元組之資 料或數億位元組以上之資料。在家庭網路連接之情況下 (例如,10 Mbps),經由網路連接1〇5下載此資料將比在本 端計算資料花費更長時間》 因此’圖1中所展示之先前技術遊戲架構使使用者在複 雜遊戲之較大場景轉變之間經受顯著延遲。 諸如圖1中所展示之先前技術方法的先前技術方法的另 一問題在於:這些年來,視訊遊戲傾向於變得更高階且需 要更多CPU/GPU處理能力。因此,即使採用無限量之 RAM,視訊遊戲硬艘要求亦超過此等系統中可用之處理能 力的峄值位準。因此,需要使用者每隔幾年升級遊戲硬體 以保持同步(或以較低品質水準玩較新遊戲)。比以往更高 階之視訊遊戲之趨勢的一後果為:用於家庭用途的玩視訊 遊戲之機器通常不具經濟效益,因為其成本通常係由其可 支援之最同效此遊戲的要求來判定。舉例而言,可能使用 XBox 360來玩類似「戰爭機器(Gears 〇f War)」之遊戲, 該遊戲要求高效能之CPU、GPU及數億位元組之RAM,或 139851.doc -32- 200952494 者可能使用XBox 360來玩「吃豆(pac Man)」,其為來自2〇 • 世紀7〇年代之遊戲,其僅需要數千位元組之RAM及非常低 ‘ 效能之CPU。實際上,XBox 360具有同時主機代管許多同 時的「吃豆」遊戲的足夠計算能力。 在一週之大多數小時中,通常切斷視訊遊戲機。根據 2006年7月Nielsen娛樂對13歲及13歲以上之活躍遊戲者的 研究,平均起來,活躍遊戲者一週中花費十四個小時或一 週中的全部小時之僅12%來玩控制台視訊遊戲。此意謂平 ❹ 均視訊遊戲控制台在88〇/〇之時間内閒置,此為昂貴資源之 無效率使用。假定視訊遊戲控制台常常係由製造商來資助 以降低購買價格(期望該資助將藉由來自未來視訊遊戲軟 體購買之版稅來賺回),則此特別有意義。 視訊遊戲控制台亦招致與幾乎任何消費者電子器件相關 聯的成本。舉例而言,需要將系統之電子器件及機構容納 於外殼中。;t造商需要提供服務保證。出冑該系統之零售 ❹冑需要收取關於系統之銷售及/或關於視訊遊戲軟體之銷 售的利潤。所有此等因素添加視訊遊戲控制台之成本,該 成本必須由製造商來資助、傳遞至消費者,或者由製造商 與消費者兩者來資助。 另外,盜版係視訊遊戲工業之較大問題。實際上每個較 大視訊遊戲系統上所利用的安全機構這些年來已「破 裂」’導致視訊遊戲之未經授權的複製。舉例而言,xb〇x 安全系統在2_年7月破裂且使用者現在能夠線上下載 非法複本。可下載之遊戲(例如,用於pqMae之遊戲)特 139851.doc •33· 200952494 別易受經受盜版。在世界之特定區域(其中盜版管制不強) ' 實質上不存在獨立視料齡體之可行市場,因為使 • 肖者可與合法複本—般容易地以成本之-微小分率構買盜 版複本。又,在世界之許多地方,遊戲控制台之成本係收 入之高百分比,以致即使盜版受控制,亦很少有人可買得 起目前技術狀態之遊戲系統。 另外,已使用之遊戲的市場減少了視訊遊戲業之收入。 #使用者變得對遊戲厭倦時,其可將遊戲出售給將遊戲轉 ® I給其他使用者之店鋪。此未經授權但普遍的實踐顯著減 5 了遊戲出版商之收入。類似地’當每隔幾年存在平台轉 變時,通常出現大約50%的銷售減少。此係因為:當使用 者知道即將發行較新版本之平台時,使用者停止講買用於 較舊平台之遊戲(例如,當即將發行piaystati〇n 3時,使用 者停止購買Playstation 2遊戲)。組合起來,銷售之損失及 與新平台相關聯之增加的開發成本可對遊戲開發商之收益 ❹ 性有非常顯著之不利影響。 新遊戲控制台亦非常昂貴。xb〇x 36〇、Nintend〇觀及
Sony Playstation 3均以數百美元零售。高能力之個人電腦 遊戲系統可花費高達$8000。此表示使用者之顯著投資, 特定言之,考慮到硬體在幾年後變陳舊及許多系統係為孩 子而購買的事實。 上述問題之方法係線上遊戲,其中將遊戲程式碼及資 料主機代管於飼服器上且按要求將其遞送至用戶端機器, 經壓縮之視訊及音訊經由數位寬頻帶網路而串流。一些公 139851.doc -34- 200952494 司(諸如’ Finland之G-ClUster,其現在為日本之 SOFTBANK Broadmedia的子公司)當前線上提供此等服 務。類似遊戲服務變得在本端網路(諸如,旅館内及由Dsl 及電纜電視提供者提供之彼等網路)中可用。此等系統之 較大缺點係延時之問題,亦即,信號行進至遊戲伺服器及 自遊戲伺服器行進所花費的時間,遊戲伺服器通常定位於 運營商之「頭端」中。快速動作視訊遊戲(亦稱為「極速 (twitch)」視訊遊戲)在使用者藉由遊戲控制器執行動作之 時間與更新顯示螢幕以展示使用者動作之結果的時間之間 需要非常低的延時。需要低延時,以使得使用者感覺到遊 戲「即刻地」回應。可視遊戲之類型及使用者之熟練程度 而以不同延時間隔來滿足使用者。舉例而言,對於緩慢的 非正式遊戲(類似西洋雙陸棋)或緩慢動作角色扮演遊戲而 言’ 100毫秒之延時可能係可容忍的,但在快動作遊戲 中,超過70毫秒或80毫秒之延時可引起使用者在遊戲中更 拙劣地表現,且因此不可接受。舉例而言’在需要快反應 時間之遊戲中’當延時自50毫秒增加至1〇〇毫秒時,存在 準確度之銳降。 ▲遊戲或應用伺服器安裝於附近的受控網路環境或至使 用者之網路路徑可預測及/或可容忍頻寬峰值的網路環境 中時’在最大延時以及延時之一致性方面,控制延時容易 得多(例如,因此使用者經由網路觀察到來自數位視訊串 、 穩疋運動)。該程度之控制可在以下達成:在電規τν 網路頭端至電纜τν用戶之家庭之間,或自DSL中央辦公室 139851.doc -35· 200952494 至DSL用戶之家庭,或在來自伺服器或使用者之商業辦公 . 室區域網路(LAN)環境中。又,有可能獲得商業之間的具 * 有得到保證之頻寬及延時的經特定分級的點到點私用連 接。但在將遊戲主機代管於連接至通用網際網路之伺服器 中心中且接著經由寬頻帶連接而使經壓縮之視訊串流至使 用者的遊戲或應用系統中,許多因素招致延時,導致先前 技術系統之部署中的嚴重限制。 在典型的連接寬頻帶之家庭中,使用者可具有用於寬頻 帶服務之DSL或電纜數據機。該等寬頻帶服務通常招致使 用者之家庭與通用網際網路之間的多達25毫秒之來回行程 延時(且有時更多)。另外,存在由於經由網際網路將資料 路由至伺服器中心而招致的來回行程延時。經由網際網路 之延時基於給出資料之路線及資料被路由時資料所招致之 延遲而改變。除路由延遲之外,亦由於光穿過互連大多數 網際網路之光纖的速度而招致來回行程延時。舉例而言, 參 *於每一 1000英里,由於光穿過光纖之速度及其他耗用而 招致約22毫秒之來回行程延時。 額外延時可由於經由網際網路串流之資料的資料速率而 招致。舉例而言’若使用者具有以「6 Mbps DSL服務」出 售之DSL服務,則在實踐中,使用者將很可能最多得到小 於5 Mbps之下行輸送f ’且將可能週期性地看見由於各種 因素(諸如,峰值載入時間期間在數位用戶線存取多工器 (DSLAM)處之擁擠)產生的連接降級。若㈣相鄰者猶環 之本端共用同軸電規中存在擁擠或電境數據機系統網路中 139851.doc • 36 - 200952494 之其他地方存在擁擠,則類似問題可出現,從而將用於以 • 「6 Mbps電缆數據機服務」出售之連接的電纜數據機之資 . 料速率減小至遠小於彼資料速率。若使4 Mbps之穩定速率 下的資料封包以使用者資料報協定(UDp)格式單向地自伺 服器中心經由該等連接而串流,若一切皆適當地工作,則 資料封包將通過而不招致額外延時,但若存在擁擠(或其 他妨礙)且僅3·5 Mbps可用於使資料串流至使用者,則在典 型情形下,封包將被丟棄,導致丟失資料,或者封包將在 ® 擁擠點處排入佇列直至其可被發送為止,藉此引入了額外 延時。不同擁擠點具有用於保存經延遲之封包的不同排入 仔列容量’因此在-些狀況下,立即將不可成功解決擁擠 之封包丟棄。在其他狀況下,將數百萬位元之資料排入佇 列且最終將其發送。但是,在幾乎所有狀況下,擁擠點處 之佇列具有容量限制,且一旦超過彼等限制,佇列將溢出 且封包將被丟棄。因此,為了避免招致額外延時(或更糟 〇 地,封包之丟失)’必須避免超過自遊戲或應用伺服器至 使用者之資料速率容量。 亦由於在伺服器中壓縮視訊及在用戶端器件中㈣縮視 訊所需,時間而招致延時。當在飼服器上執行之視訊遊戲 正在計算待顯示之下一個圖框時’進一步招致延時。當前 可用之視訊壓縮演算法遭受高資料速率或高延時。舉例而 言,運⑽EG為僅框内有損之塵縮演算法,其特徵為低延 時。視訊之每-圖框獨立於視訊之每一其他圖框而麼縮。 當用戶端器件接收經壓縮之運㈣EG視訊的—圖框時,其 13985l.doc -37- 200952494 可立即解壓縮該圖框且顯示該圖框,從而導致非常低之延 時。但因為每一圖框係分開進行壓縮,所以演算法不能夠 利用相繼圖框之間的類似性’且因此僅框内視訊壓縮演算 法遭受非常高之資料速率。舉例而言,60 fpS(每秒圖框 數)64〇χ480運動JPEG視訊可能需要40 Mbps(每秒百萬位 元)或40 Mbps(每秒百萬位元)以上之資料。用於該等低解 析度視訊窗之該等高資料速率在許多寬頻帶應用程式中將 係過於昂貴(且對於大多數消費者的以網際網路為基礎之 應用程式的確如此)。另外,因為每一圖框經獨立壓縮, 所以可能由於有損壓縮而產生的圖框中之假影可能出現於 相繼圖框中之不同位置處。此可導致當解壓縮視訊時,在 檢視者看來為移動的視覺假影。 其他壓縮演算法(諸如,來自Microsoft公司之MPEG2、 H.264或VC9)當用於先前技術組態中時,可達成高壓縮比 率,但以高延時為代價。該等演算法利用框間壓縮以及框 内壓縮。週期性地,該等演算法執行圖框之僅框内壓縮。 此種圖框被稱為關鍵圖框(通常稱作「I」圖框)。接著,此 等演算法通常將I圖框與先前圖框與相繼圖框兩者相比 較。並非獨立地壓縮先前圖框及相繼圖框,而是演算法判 定影像自I圖框至先前圖框及相繼圖框有何改變,且接著 將彼等改變儲存為:「B」圖框(對於I圖框之前的改變)及 「P」圖框(對於I圖框之後的改變)。此導致比僅框内壓縮 低得多的資料速率。但是,其通常以較高延時為代價。J 圊框通常比Β圖框或Ρ圖框大得多(常常大10倍),且因此, 139851.doc -38- 200952494 以給定資料速率傳輸成比例地花費較長之時間。 • 考慮(例如)一情形:其中I圖框為B圖框及p圖框之大小 • 的1〇倍,且對於每個單一 I框内,存在29個B圖框+30個P圖 框59個框間,或對於每一「圖框群」(GOP)總共60個圖 忙因此’在60 fPs下,每秒存在1個60圖框GOP。假設傳 輸頻道具有2 Mbpk最大資料速率。為了在頻道中達成最 南〇〇質之視戒,壓縮演算法將產生2 MbpS資料流,且給定 上述比率,此將產生每框内2百萬位元(Mb)/(59+i〇)=30,394 眷個位元及每1圖框3〇3,935個位元。當藉由解壓縮演算法接 收經壓縮之視訊流時,為了穩定地播放視訊,需要以規則 間隔(例如,60 fps)解壓縮及顯示每一圖框。為了達成此 結果,若任何圖框經受傳輸延時,則需要將所有圖框延遲 至少彼延時,因此最糟狀況的圖框延時將界定用於每個視 訊圖框之延時。因為1圖框最大,所以I圖框引入最長傳輸 延時,且整個1圖框將必須在可解壓縮及顯示I圖框(或取決 φ 於1圖框之任何框間)之前接收。假定頻道資料速率為2 MbPs ’則傳輸一!圖框將花費3〇3,935/2 Mb=145毫秒。 使用傳輸頻道之頻寬之大百分比的框間視訊壓縮系統 (如上所述)將由於丨圖框相對於圖框之平均大小的大的大小 而經受長延時。或者,換言之,當先前技術框間壓縮演算 法達成比僅框内壓縮演算法低之平均每圖框資料速率(例 如’ 2 Mbps對40 Mbps)時’其由於大I圖框而仍遭受高的 峰值每圖框資料速率(例如,3〇3,935*6〇 = 18 2 Mbps)。但 s月s己住:上述分析假定p圖框及B圖框均比ι圖框小得多。 139851.doc -39- 200952494 儘管此大體成立,但對料㈣ 改變不相關之高影像複雜度的图框,此不成立。=等: 形:,P圖框或B圖框可變得與!圓框一般大(若p圖框或B圖 變得比1圖框大,則尖端壓縮演算法通常將「強制」斶 框且用1圖框替換P圖框或B圖框)。圖框大小之資 料速率峰值可在任何時刻出現於數位視訊流中。因此,對 於經壓縮之視訊’當平均視訊資料速率接近傳輸頻道之資
料速率令量時(經常為該狀況,給定對於視訊之高資料速 率要求),來自I圖框《大的p圖框或關框之高峰值資料速 率導致高圖框延時。
备然上述為述僅特徵化由GOP中之大的B圖框、p圖框 或I圖框產生的壓縮演算法延時。若使用B圖框,則延時 將更高。此之原因係因為在可顯示B圖框之前,必須接收 B圖框之後的所有B圖框及I圖框。因此,在諸如 BBBBBIPPPPPBBBBBIppppp之圖片群(G〇p)序列中,其中 在每一I圖框之前存在5個B圖框,只有在接收到隨後的B圖 框及I圖框之後才可由視訊解壓縮器顯示第一B圖框^因 此,若使視訊以60 fps(亦即,16.67毫秒/圖框)串流,則在 可解壓縮第一B圖框之前,不管頻道頻寬如何快,接收五 個B圖框及I圖框將花費ι6.67*6=1〇〇毫秒,且此係僅5個b 圖框之情況。具有30個B圖框的經壓縮之視訊序列相當普 遍。此外,在如2 Mbps之低頻道頻寬下,由於I圖框之大 小而引起的延時影響很大程度上添加至由於等待B圖框到 達而產生的延時影響。因此,在2 Mbps頻道上,在大量B 139851.doc -40 - 200952494 圖框之情況下,使用先前技術視訊壓縮技術超過毫秒 或500毫秒以上之延時相當容易。若不使用B圖框(對於給 定品質水準,以較低壓縮比率為代價),則不招致B圖框延 時,但仍招致上文所描述的由於峰值圖框大小而引起的延 時。 問題恰恰由於許多視訊遊戲之性質而加重。利用上文所 描述之G Ο P結構的視訊壓縮演算法很大程度上被最佳化以 用於連同意欲用於被動檢視的現場直播之視訊或電影材料 一起使用。通常,相機(真實相機,或者電腦產生之動晝 之狀況下的虛擬相機)及場景相對穩定,僅因為若相機或 場景太顛簸地來回移動,則視訊或電影材料(a)通常觀看起 來令人不愉快,且(b)若其正被觀看,當相機突然來回顛簸 時,檢視者通常不能夠緊密地跟隨該動作(例如,若相機 在拍攝吹滅生日蛋糕上之蠟燭的孩子時被擾動且突然在蛋 糕之間來回顛簸,則檢視者通常集中於孩子及蛋糕上,而 不理會相機突然移動時之簡短中斷)。在視訊會談或視訊 電話會議之狀況下,可將相機固持於固定位置中且根本不 移動,從而導致根本非常少之資料峰值。但3D高動作視訊 遊戲係藉由恆定運動來特徵化(例如,考慮3D競赛,其中 整個圖框在競赛之持續時間中處於快速運動中,或者考慮 第-人稱射擊遊戲’其中虛擬相機怪定地顛簸地來回移 動)。該等視訊遊戲可產生具有大的及頻繁的峰值之圖框 序歹j其中使用者可能需要清楚地看見在彼等突然運動期 間發生了什麼。因此,在3D高動作視訊遊戲中,壓縮假影 139851.doc -41 · 200952494 遠不可谷忍。因此,許多視訊遊戲之視訊輸出(由於其性 . f)產生具有非常高且頻繁之蜂值的經壓縮之視訊 . 假定快動作視訊遊戲之使用者對於高延時具有小的容忍 度,且給定所有上述延時原因,至今存在對於使視訊在網 際網路上串流的伺服器主機代管之視訊遊戲的限制。另 外,若需要高度互動性之應用程式係主機代管於通用網際 網路上且使視訊串流,則該等應用程式之使用者遭受類似 限制。該等服務需要網路組態,其中主機代管伺服器直接 ® 設置於頭端(在電纜寬頻帶之狀況下)或中央辦公室(在數位 用戶線(DSL)之狀況下)中,或商業背景中之LAN内(或經特 別分級之私用連接上),以便控制自用戶端器件至伺服器 之路線及距離以最小化延時且可適應峰值而不招致延時。 LAN(通常額定在1〇〇 Mbps-1 Gbps)及具有足夠頻寬之租用 線路通常可支援峰值頻寬要求(例如,U Mbps峰值頻寬為 •100 Mbps LAN容量之一小分率)。 0 若進行特殊適應’則峰值頻寬要求亦可由住宅寬頻帶基 礎架構來適應。舉例而言,在電纜TV系統上,可為數位 視訊訊務給出專用頻寬,該專用頻寬可處理諸如大I圖框 之峰值。此外,在DSL系統上,可供應較高速度之DSL數 據機(慮及高峰值),或可供應可處理較高資料速率之經特 別分級的連接。但是,附接至通用網際網路之習知電規數 據機及DSL基礎架構對於用於經壓縮之視訊的峰值頻寬要 求而言遠不能容忍。因此’線上服務(將視訊遊戲或應用 程式主機代管於距用戶端器件長距離之伺服器中心中,且 139851.doc -42· 200952494 接著經由習知的住宅寬頻帶連接經由網際網路而使經壓縮 之視訊輸出串流)遭受顯著之延時及峰值頻寬要求-尤其對 於需要非常低之延時的遊戲及應用程式(例如,第一人稱 射擊遊戲及其他多使用者、互動式動作遊戲,或需要快回 應時間之應用程式)。 ' 【實施方式】 本揭示案將自以下[實施方式]及附圖而更完全地理解, 然而,其不應用於將所揭示之標的物限於所展示之特定實 β 施例,而僅用於說明及理解。 在以下描述中闡述特定細節(諸如,器件類型、系統組 態、通信方法等),則更提供對本揭示案之徹底理解。然 而,一般熟習相關技術者應瞭解,實踐所描述之該等實施 例可能不需要此等特定細節。 圖2a至圖2b提供兩個實施例之高階架構,其中視訊遊戲 及軟體應用程式由主機代管服務21〇主機代管且在訂用服 ❹務下由使用者場所叫(注意,「使用者場所」意謂使用者 所定位的無論何處之位置,若使用行動器件則包括室外) 處之用戶端器件205經由網際網路2〇6(或其他公眾網路或 私用網路)來存取。用戶端器件2〇5可為具有至網際網路之 有線或無線連接、具有内部或外部顯示器件如的通用電 腦(諸如,以Microsoft Windows或以仙乂為基礎之…或
Apple公司之Macintosh電腦),或者其可為將視訊及音訊輸 出至監視器或電視機222之諸如機頂盒之專用用戶端器件 (具有至網際網路之有線或無線連接),或者其可為推測起 139851.doc •43· 200952494 來具有至網際網路之無線連接的行動器件。 此等器件中之任一者可具有其自身的使用者輸入器件 (例如,鍵盤、按鈕、觸摸螢幕、追蹤板(track pad)或慣性 感測棒(inertial-sensing wand)、視訊俘獲相機及/或運動追 蹤相機等),或者其可使用藉由線連接或無線地連接之外 部輸入器件221 (例如’鍵盤、滑鼠、遊戲控制器、慣性感 測棒、視訊俘獲相機及/或運動追蹤相機等如下文更詳 細描述’主機代管服務210包括各種效能位準之伺服器(包 括具有尚能力CPU/GPU處理能力之彼等伺服器在播放 遊戲或使用主機代管服務210上之應用程式期間,家庭或 辦公室用戶端器件205接收來自使用者之鍵盤及/或控制器 輸入’且接著其將控制器輸入經由網際網路2〇6傳輸至主 機代管服務210,主機代管服務210回應於此而執行遊戲程 式碼並產生用於遊戲或應用程式軟體的視訊輸出(視訊影 像序列)之相繼圖框(例如,若使用者按壓將會指引榮幕上 之人物向右移動的按鈕,則遊戲程式接著將產生展示人物 向右移動的視訊影像序列)。接著使用低延時視訊壓縮器 壓縮此視訊影像序列,且主機代管服務210接著經由網際 網路206而傳輸低延時視訊流。家庭或辦公室用戶端器件 接著解碼經壓縮之視訊流並將經解壓縮之視訊影像再現於 監視器或TV上。因此,顯著地減少用戶端器件205之計算 及圖形硬體要求。用戶端205僅需要具有用於將鍵盤/控制 器輸入轉遞至網際網路2 0 6且解碼並解壓縮自網際網路206 所接收的經壓縮之視訊流的處理能力,實際上現今任 13985l.doc • 44· 200952494 何個人電腦均能夠在其CPU上以軟體來進行此(例如,以 • 約2 GHz執行之Intel公司雙核CPU能夠解壓縮使用諸如 • H.264及Windows媒體VC9之壓縮器編碼的72〇p HDTV)。 此外,在任何用戶端器件之狀況下,專用晶片亦可以比通 用cpu低得多的成本及比通用CPU少得多的電力消耗(諸 如,現代PC所需的)來即時地執行用於該等標準之視訊解 壓縮。值得注意地,為了執行轉遞控制器輸入及解壓縮視 訊的功能,家庭用戶端器件2〇5不需要任何專門化的圖形 ❿ 處理單元(GPU)、光碟機或硬碟機(諸如,圖ί中所展示之 先前技術視訊遊戲系統)。 隨著遊戲及應用程式軟體變得更複雜及更具照片般逼真 感,其將需要較高效能之CPU、GPU、較多RAM,及較大 且較快之磁碟機,且可使主機代管服務21〇處之計算能力 不斷地升級,但終端使用者將不需要使家庭或辦公室用戶 端平台205升級,因為將藉由給定視訊解壓縮丨寅算法而使 ❹ 該或辦公室用戶料台205之處理要求對於顯示解析度 及圖框速率保持值定。因此,圖2a至圖2b中所說明之系統 中不存在現今所見的硬體限制及相容性問題。 另外因為遊戲及應用程式軟體僅在主機代管服務21〇 中之飼服器中執行,所以在使用者之家庭或辦公室(除非 另外有條件,否則如本文中所使用之「辦公室」將包括任 何非住宅背景’包括(例如)教室)中決不存在遊戲或應用程 式軟體之複本(光學媒體之形式,或者為經下載之軟體 此顯著減輕遊戲或應用程式軟體被非法複製(盜版)之可能 13985l.doc -45· 200952494 x及減輕可由遊戲或應用程式軟體使用的有償值之資 料庫被盜版之可能性。實際上,若需要專門化的伺服器 (例如,需要非常昂貴的、大的或㈣音的設備)來播放對 於家庭或辦公室使用不可行之遊戲或應用程式軟體,則即 使獲得遊朗制㈣㈣之盜版複本,其亦將不可在家 庭或辦公室中操作。 參
在實施例中,主機代管服務2 1 〇向設計視訊遊戲之遊 戲或應用程式軟體開發商(其大體指代軟體開發公司、遊 戲或電影工作室’或遊戲或應用程式軟體出版商)220提供 軟體開發工具,以使得其可設計能夠在主機代管服務21〇 上執行之遊戲。該專工具允許開發商利用主機代管服務之 特徵(該等特徵通常在獨立PC或遊戲控制台中將不可 用)(例如,快速存取複雜幾何形狀的非常大之資料庫(除非 另外有條件,否則「幾何形狀」將在本文中用於指代界定 3D資料集之多邊形、紋理、索具、照明、行為及其他組件 及參數))。 在此架構下’不同商業模型係可能的。在一模型下,主 機代管服務210自終端使用者收取訂用費用且向開發商22〇 支付版稅,如圖2a中所展示❹在替代實施中(圖2b中所展 示)’開發商220直接自使用者收取訂用費用且向主機代管 服務210支付用於主機代管遊戲或應用程式内容的費用。 此等基本原理不限於用於提供線上遊戲或應用程式主機代 管之任何特定商業模型。 經壓縮之視訊特性 139851.doc •46· 200952494 如先前所論述’線上提供視訊遊戲服務或應用程式軟體 服務之顯著問題在於延時。7〇毫秒·8〇毫秒之延時(自輸 器件被使用者致動之時刻至在顯示器件上顯示回應時之 夺刻)為用於需要快回應時間之遊戲及應用程式的上限。 然而由於大量實際及實體約束而使得此在圖以及圖2b中 所展示之架構的情況下非常難以達成。 圖3中所才曰示,當使用者訂用網際網路服務時,連接 ❹ 通常額疋為至使用者之家庭或辦公室的標稱最大資料速率 3〇1。取決於提供者之策略及路由設備能力彼最大資料 速率可或多或少被嚴格地強制執行,但通常由於許多不同 原因中之-者而使得實際可用資料速率較低。舉例而言, 可食匕在DSL中央辦公室處或在本端電魔數據機迴路上存在 過多網路訊務,或可能在電欖線上存在雜訊’從而引起丢 棄之封包,或提供者可能建立每使用者每月最大數目之位 ^當前’料錢及DSL服務之最大下行資料速率通 常在數百千位元/秒(Kbps)至3〇 M—之範圍" 服務通常限於數百Kbps之下行f料寬頻帶服務之 ㈣|^使用者之數目將隨著時間而急劇 备則,一些分析者估計33%之美國寬頻帶用戶具有 2 MbpsW Mbps以上之下行資料速率。舉例而言,一此八 ^者預测··至年止,超過85%之_寬㈣^二 有2 MbpkiU Mbps以上之資料速率。 將具 :圖3中所指示’實際可用最大f料速率3〇2可隨著 而波動。因此,在低延時、線上遊 ,曰 您戳次應用程式軟體情況 \39S5l.doc -47- 200952494
下’有時難以預測用於特定視訊流之實際可用資料速率。 若對於特定量之場景複雜度及運動在給定數目之每秒圖框 數(fps)下以給定解析度(例如,64〇χ48〇 @ 6〇 fps)維持給 定品質位準所需的資料速率303升高高於實際可用最大資 料速率302(如藉由圖3中之峰值指示),則可出現若干問 題。舉例而言,一些網際網路服務將僅丟棄封包,從而導 致使用者之視訊螢幕上的丟失的資料及失真的/丟失的影 像。其他服務將暫時緩衝(亦即,排入佇列)額外封包且以 可用資料速率將該等封包提供至用戶端,從而導致延時之 增加-對於許多視訊遊戲及應用程式而言為不可接受的結 果。最後,一些網際網路服務提供者將資料速率之增加視 為惡意攻擊(諸如,否認服務攻擊(由電腦黑客用以使網路 連接停用的熟知技術)),且將在特定時間週期中切斷使用 者之網際網路連接<•因此,本文中所描述之實施例設法確 保用於視訊遊戲的所需資料速率不會超過最大可用資料速 主截代管服務架構 圖4a說明根據一實施例之主機代管服務2ι〇的架構。主 機代管服務210可定位於單一伺服器中心中,或者可跨越 複數個伺服器中心而分散(以A且古+甘i 刀散為具有比其他者低延時的至 特定祠服H中心之路徑的㈣者提供低延時連接, 用者之間提供負載平衡,且在一或多個 / N服器中心出故障 之狀況下提供冗餘)。主機代f服務21()最終^ 萬個或甚至數百萬個飼服器4〇2,從而词服非常大之使= 139851.doc •48· 200952494 者基礎(user base)。主機代管服務控制系統4〇1提供對主機 ' 代管服務210之總體控制’且指引路由器、伺服器、視訊 . 壓縮系統、计費及帳務系統等。在一實施例中,主機代管 服務控制系統401實施於以Linux為基礎之分散式處理系統 上’該處理系統綁定至用於儲存用於使用者資訊、伺服器 資訊及系統統計資料之資料庫的陣列。在上述描述 中,除非歸因於其他特定系統,否則由主機代管服務21〇 實施之各種動作由主機代管服務控制系統4〇1來起始及控 參 制。 主機代管服務210包括許多伺服器402,諸如當前可自 Intel、IBM及Hewlett Packard及其他者得到的彼等伺服 器。或者’可將伺服器402裝配成定製組件組態,或者最 終可將伺服器402整合以便將整個伺服器實施為單一晶 片。儘管此圖為說明起見而展示少數伺服器402,但在實 際部署中,可能存在少至一伺服器402或多達數百萬個或 數百萬個以上伺服器402的伺服器。伺服器402均可以相同 〇 方式組態(作為一些組態參數之實例,具有相同CPU類型及 效能;具有或不具有GPU,且若具有GPU,則具有相同 GPU類型及效能;具有相同數目之CPU及GPU ;具有相同 量及相同類型/速度之RAM ;及具有相同RAM組態),或伺 服器402之各種子集可具有相同組態(例如,25%之伺服器 可以一特定方式組態,5 0 %之4司服器以一不同方式組態, 且25%之伺服器以又一方式組態),或每個伺服器402可不 同。 139851.doc • 49- 200952494
在一實施例中,伺服器402無磁碟,亦 自身的本端大容量儲存器(其為光學或磁 寬-接近或可能超過可自用於當前遊戲控制台及pc中之 ram得到的頻寬 此外,儘管基於諸如磁性媒體之旋轉媒 體的RAID陣列經常具有顯著的搜尋時間存取延時,但基 於半導體儲存器之RAID陣列可實施為具有低得多的存取 延時。在另一組態中,一些或所有伺服器4〇2在本端提供 一些或所有其自身的大容量儲存器。舉例而言,伺服器 ❹ 402可將頻繁存取之資訊(諸如,其作業系統及視訊遊戲或 應用程式之複本)儲存於以低延時本端快閃記憶體為基礎 之儲存器上,但其可利用SAN來存取基於旋轉媒體之具有 較高搜尋延時之RAID陣列405,以較不頻繁地存取幾何形 狀或遊戲狀態資訊之大資料庫。 另外’在一實施例中’主機代管服務210使用下文詳細 描述的低延時視訊壓縮邏輯404。視訊壓縮邏輯404可以軟 體、硬體或其任何組合來實施(下文描述其特定實施例)。 視訊壓縮邏輯404包括用於壓縮音訊以及視覺材料之邏 139851.doc •50- 200952494 輯。 在操作中’當經由鍵盤、滑鼠、遊戲控制器或其他輸入 器件421而玩視訊遊戲或使用使用者場所211處之應用程式 時’用戶端415上之控制信號邏輯413將表示由使用者致動 之按紐按壓(及其他類型之使用者輸入)的控制信號4〇6a_ b(通常為UDP封包之形式)傳輸至主機代管服務21〇。將來 自給定使用者之控制信號路由至適當伺服器(或若多個伺 服器回應於使用者之輸入器件,則路由至多個伺服器) 402。如圖4a中所說明,可經由SAN而將控制信號406a路 由至祠服器402。或者或另外,可經由主機代管服務網路 (例如’以乙太網路為基礎之區域網路)而將控制信號4〇6b 直接路由至伺服器402。不管控制信號4〇6a-b係如何被傳 輸’該或該等伺服器均回應於控制信號406a-b而執行遊戲 或應用程式軟體。儘管圖4a中未說明,但各種網路連接組 件(諸如,防火牆及/或閘道器)可處理主機代管服務21〇之 邊緣處(例如,主機代管服務21〇與網際網路410之間)及/或 使用者場所211之邊緣處(網際網路41〇與家庭或辦公室用 戶端415之間)的傳入及傳出的訊務。所執行的遊戲或應用 程式軟體之圖形及音訊輸出(亦即,新的視訊影像序列)提 供至低延時視訊壓縮邏輯404,低延時視訊壓縮邏輯4〇4根 據低延時視訊壓縮技術(諸如,本文中所描述之彼等技術) 而壓縮視訊影像序列且經由網際網路4i〇(或,如下文所描 述,經由繞過通用網際網路的最佳高速網路服務)而將經 壓縮之視訊流(通常具有經壓縮或未經壓縮之音訊)傳輸回 139851.doc -51 - 200952494 至用戶端415。接著,用戶端415上之低延時視訊解壓縮邏 - 輯412解壓縮視訊及音訊流並再現經解壓縮之視訊流,且 . 通常在顯示器件422上播放經解壓縮之音訊流。或者,可 在與顯示器件422分開之揚聲|§上播放音訊或根本不播放 音訊。注意,儘管輸入器件421及顯示器件422在圖2a及圖 2b中展示為獨立式器件,但其可整合於諸如可攜式電腦或 行動器件之用戶端器件内。 家庭或辦公室用戶端4 15(先前在圖2a及圖2b中描述為家 參 庭或辦公室用戶端205)可為非常低廉且低能力之器件,其 具有非常有限之計算或圖形效能且可能具有非常有限之本 端大容量儲存器或不具有本端大容量儲存器。相比之下, 耦合至SAN 403及多個RAID 405之每一伺服器402可為格 外局效能之計算系統,且實際上,若多個伺服器以一並列 處理組態合作地使用’則幾乎不存在對可承受的計算量及 圖形處理能力的限制。此外,由於低延時視訊壓縮4〇4及 ❹ 低延時視訊解壓縮412(由使用者感知地),所以將伺服器 402之計算能力提供給使用者。當使用者按壓輸入器件421 上之按鈕時,顯示器422上之影像被回應於按鈕按壓而更 新(在感知上無有意義之延遲),好像遊戲或應用程式軟體 係在本端執行。因此,對於為非常低效能之電腦或僅為實 施低延時視訊解壓縮及控制信號邏輯413之低廉晶片的家 庭或辦公至用戶端415,自看來在本端可用之遠端位置有 效也為使用者提供任意計算能力。此為使用者給出用於玩 最网階、處理器密集的(通常為新的)視訊遊戲及最高效能 139851.doc -52- 200952494 之應用程式的能力。 圖4c展示非常基礎且低廉的家庭或辦公室用戶端器件 465。此器件為來自圖4a及圖4b之家庭或辦公室用戶端415 之一實施例。其為約2吋長。其具有與具有乙太網路供電 (PoE)之乙太網路電纜介接的乙太網路插孔462,該器件自 乙太網路插孔462得到其電力及其至網際網路之連接性。 該器件能夠在支援網路位址轉譯(NAT)之網路内執行 NAT。在辦公室環境中,許多新的乙太網路交換器具有 PoE且將PoE直接帶至辦公室中之乙太網路插孔。在此種 情形下,所需的為自壁式插孔至用戶端465之乙太網路電 纜。若可用的乙太網路連接不載運電力(例如,在具有DSL 或電纜數據機但無PoE之家庭中),則存在可用的低廉的壁 式「磚塊(brick)」(亦即,電源),其將接受無電力之乙太 網路電規且輸出具有p〇E之乙太網路。
用戶端465含有耦合至藍芽無線介面之控制信號邏輯 413(圖4a) ’該藍芽無線介面與諸如鍵盤、滑鼠、遊戲控制 器及/或麥克風及/或耳機之藍芽輸入器件479介接。又用 戶端465之一實施例在與顯示器件468耦合的情況下能夠以 120 fps輸出視訊,顯示器件468能夠支援12〇 fps視訊且向 一對遮光眼鏡466發信號(通常經由紅外)以對於每一相繼圖 框交替地遮蔽-隻眼接著遮蔽另—隻眼。使用者所感覺之 效應為「跳出」冑巾螢幕之立體3D影像。支援該操作之一 種該顯示器件468為Samsung HL_T5〇76s。因為用於每一隻 眼之視訊流係單獨的’所以在兩個獨立視訊流係由主機代 139851.doc •53· 200952494 管服務210壓縮的一實施例中,圖框在時間上交錯,且圖 • 框在用戶端465内係以兩個獨立解壓縮過程來解塵縮。 • 用戶端465亦含有低延時視訊解壓縮邏輯4 12,其解壓縮 傳入的視訊及音訊且經由HDMI(高清晰度多媒體介面)'、 連接器463輸出,HDMI(高清晰度多媒體介面)、連接器 463插入於SDTV(標準清晰度電視)或HDTV(高清晰度電 視)468中,從而向TV提供視訊及音訊,或插入於$援 HDMI之監視器468中。若使用者之監視器468不支援 ❹ HDMI,則可使用HDMI至DVI(數位視覺介面),但音訊將 丟失。在HDMI標準下,顯示能力(例如,所支援之解析 度’圖框速率)464係自顯示器件468傳達,且接著經由網 際網路連接462將此資訊傳回至主機代管服務21〇,因此主 機代管服務210可使經壓縮之視訊以適合於該顯示器件之 格式串流。 圖4d展示家庭或辦公室用戶端器件475,除了用戶端器 參件475具有更多外部介面之外,其與圖补中所展示之家庭 或辦公室用戶端器件465相同。又,用戶端475可接受p〇E 來供電’或者其可佔用插入牆壁中之外部電源配接器(未 圖示)。視訊相機477使用用戶端475 USB輸入將經壓縮之 視訊提供至用戶端475,經壓縮之視訊由用戶端475上載至 主機代管服務210以用於下文所描述之用途。將利用下文 所描述之壓縮技術將低延時壓縮器建置於相機477中。 除具有用於其網際網路連接之乙太網路連接器之外,用 戶端475亦具有至網際網路之802.n g無線介面。兩種介面 139851.doc -54- 200952494 均能夠在支援NAT之網路内使用NAT。 又’除具有用於輸出視訊及音訊之HDMI連接器之外, 用戶端475亦具有雙鏈接DVI-I連接器,雙鏈接DVI-I連接 器包括類比輸出端(且具有將提供VGA輸出之標準配接器 電纜)。其亦具有用於複合視訊及S視訊之類比輸出端。 對於音訊,用戶端475具有左/右類比立體RCA插孔,且 對於數位音訊輸出’其具有TOSLINK輸出端。 除了至輸入器件479之藍芽無線介面之外,其亦具有用 於介接至輸入器件之USB插孔。 圖4e展示用戶端465之内部架構之一實施例。該圖中所 展示的所有器件或一些器件可實施於場可程式化邏輯陣 列、定製ASIC中或若干個離散器件(定製設計或者現成的) 中。 具有PoE之乙太網路497附接至乙太網路介面481。電力 499係自具有P〇E之乙太網路497得到且連接至用戶端465中 之其餘器件。匯流排480為用於器件之間的通信之公同匯 流排。 執行來自快閃記憶體476之小用戶端控制應用程式的控 制CPU 483(幾乎任何小CPU係適當的,諸如具有嵌入式 RAM的100 MHz下的MIPS R4000系列CPU)實施用於網路 (亦即,乙太網路介面)之協定堆疊且亦與主機代管服務21〇 通信,並組態用戶端465中之所有器件。其亦處理與輸入 器件469之介面並將封包(必要時,連同受前向錯誤校正保 護之使用者控制器資料一起)發送回至主機代管服務21〇。 139851.doc -55- 200952494 又,控制CPU 483監視封包訊務(例如,封包係丟失還是延 遲,以及其到達之時間戳”將此資訊發送回至主機代管 服務21〇,以使得其可恆定地監視網路連接且相應地調整 其發送之内容。最初在製造時為快閃記憶體476載入用於 控制CPU 483之控制程式以及對於特定用戶端仂5單元而言 唯一的序號。此序號允許主機代管服務21〇唯一地識別用 戶端465單元。 藍芽介面484經由其天線(在用戶端465内部)無線地通信 至輸入器件469。 視訊解壓縮器486為經組態以實施本文中所描述之視訊 解壓縮的低延時視訊解壓縮器。大量視訊解壓縮器件存 在,或者為現成產品,或者作為具有可整合於FPGa或定 製ASIC中的設計之智慧產權(IP)。一提供用於H 264解碼 器之 IP的公司為 NSW Australia之 〇cean L〇gic 〇f Manly。 使用IP之優點在於··本文中所使用之壓縮技術與壓縮標準 不相符。一些標準解壓縮器足夠靈活以經組態以適應本文 中之壓縮技術,但一些標準解壓縮器可能並非如此。但 是,在IP之情況下,在視需要而重新設計解壓縮器中存在 完全靈活性。 視訊解I縮器之輸出端耦合至視訊輸出子系統487,視 訊輸出子系統487將視訊耦合至HDMI介面490之視訊輸出 端。 音訊解壓縮子系統488或者使用可用的標準音訊解壓縮 器來實施,或者其可實施為Ip,或者可在可(例如)實施 139851.doc •56· 200952494
Vorbis音訊解壓縮器之控制處理器483内實施音訊解壓縮。 實施音訊解壓縮之器件耦合至音訊輸出子系統489,音 訊輸出子系統489將音訊耦合至HDMI介面490之音訊輸出 端。 圖4f展示用戶端475之内部架構之一實施例。如可見, 除額外介面及來自插入牆壁中之電源配接器的可選外部 DC電力(且若如此使用,則可選外部DC電力替換將來自乙 太網路PoE 497之電力)之外,該架構與用戶端465之架構 相同。下文中將不重複與用戶端465共同之功能性,但將 額外功能性描述如下。 CPU 483與額外器件通信且組態額外器件。
WiFi子系統482經由其天線提供無線網際網路存取,作 為對乙太網路497之替代。WiFi子系統可購自多家製造 商,包括 CA 之 Santa Clara 之 Atheros Communications。 USB子系統485提供對用於有線USB輸入器件479之藍芽 通信的替代。USB子系統相當標準且可容易地用於FPGA 及ASIC,且經常建置於執行如視訊解壓縮之其他功能的現 成器件中。 與用戶端465内之視訊輸出相比較,視訊輸出子系統487 產生較寬範圍之視訊輸出。除提供HDMI 490視訊輸出之 外,其提供DVI-I 491、S-視訊492及複合視訊493。又’當 DVI-I 49 1介面係用於數位視訊時,將顯示能力464自顯示 器件傳回至控制CPU 483,以使得其可向主機代管服務210 通知顯示器件478之能力。由視訊輸出子系統487提供之所 139851.doc -57· 200952494 有介面均為相當標準之介面且容易以許多形式可用。 音訊輸出子系統489經由數位介面494(S/PDIF及/或 Toslink)數位地輸出音訊且經由立體類比介面495輸出類比 形式之音訊。 來回行程延時分析 當然’為了實現前一段之利益,使用者使用輸入器件 421之動作與在顯示器件420上看見彼動作之後果之間的來 回行程延時應不大於毫秒-80毫秒。此延時必須考慮在 自使用者場所211中之輸入器件421至主機代管服務21〇及 再次返回至使用者場所211至顯示器件422之路徑中的所有 因素。圖4b說明各種組件及網路(信號必須經由其行進), 且此等組件及網路上方的為時刻表,該時刻表列出實際實 施中可預期的例示性延時。注意,圖4b經簡化以便僅展示
重要路徑路由。下文描述用於系統之其他特徵之資料的其 他路由。雙頭箭頭(例如’箭頭453)指示來回行程延時且單 頭箭頭(例如’箭頭457)指示單向延時…〜」表示近似 量測。應指出,將存在所列之延時不可達成的真實世界情 形,但在大量狀況下,在美國,使用至使用者場所川之 DSL及電規數據機連接,此等延時可在下—段中所描述之 情形中達成…注意,儘管至網際網路之蜂巢式無線連 接性的確將在所展示之系統t工作,但大多數當前美= 巢式資料系統(諸如,EVD〇)招致非常高之 夠達成圖财所展示之延時。然而,此等基切理 能能夠實施此位準之延時的未來蜂巢式技術上實施。在可 I39S5I.doc -58- 200952494 自使用者場所211處之輸入器件421開始,一旦使用者致 . 動輸入器件421 ’就將使用者控制信號發送至用戶端 . 415(其可為諸如機頂盒之獨立器件,或其可為在諸如?(:或 行動器件之另一器件中執行的軟體或硬體),且將其封包 化(在一實施例中以UDP格式)並為封包給出目的地位址以 到達主機A管服務210。#包將亦含有用》指示控制信號 係來自那個使用者的資汛。接著經由防火牆/路由器/ NAT(網路位址轉譯)器件443將控制信號封包轉遞至wan介 _ 面442。WAN介面442為由使用者之ISp(網際網路服務提供 者)¼供至使用者%所211的介面器件。wan介面442可為 電缓或DSL數據機、WiMax收發器、光纖收發器、蜂巢式 資料介面、電力線網際網路協定介面(Internet Pr〇t〇c〇1_ over-powerline interface),或至網際網路之許多介面中的 任何其他介面。另外,可將防火牆/路由器/NAT器件 443(及(可能地)WAN介面442)整合於用戶端415中。此之一 ❿ 實例將為行動電話,其包括用於實施家庭或辦公室用戶端 415之功能性的軟體’以及用於經由某一標準(例如, 802.1 1 g)而無線地路由及連接至網際網路的構件。 WAN介面442接著將控制信號路由至本文中所稱的用於 使用者之網際網路服務提供者(ISP)的「存在點」441, WAN介面442為提供連接至使用者場所211之WAN輸送器與 通用網際網路或私用網路之間的介面的設施。存在點之特 性將視所提供之網際網路服務的性質而改變。對於DSL, 其通常將為DSLAM所定位之電話公司中央辦公室。對於 139851.doc •59· 200952494 電境數據機,其通常將為電境多系統運營商(ms〇)頭端。 •冑於蜂巢式系統,其通常將為與蜂巢式塔相關聯的控制 冑。但無論存在狀性質怎樣,其均將接著將控制信號封 包路由至通用網際網路410。接著經由將最可能係光纖收 發器介面之介面將控制信號封包路由至wan介面444至主 機代管服務21〇。WAN 444將接著將控制信號封包路由至 路由邏輯409(其可以許多不同方式來實施,包括乙太網路 交換器及路由伺服器),路由邏輯4〇9估計使用者之位址且 ❹ 將控制信號路由至用於給定使用者之正確的祠服器術。 伺服器402接著將該等控制信號視為在词月艮器4〇2上執行 之遊戲或應用程式軟體的輸入且使用該等控制信號來處理 遊戲或應用程式之下一個圖框。一旦產生下一個圖框,就 將視訊及音訊自伺服器402輸出至視訊壓縮器4〇4。可經由 各種構件將視訊及音訊自伺服器402輸出至壓縮器4〇4。首 先,可將壓縮器404建置於伺服器402中,因此可在伺服器 _ 402内在本端實施壓縮。或者,可經由至網路(其或者為伺 服器402與視訊壓縮器404之間的私用網路,或者為經由諸 如SAN 403之共用網路的網路)之網路連接(諸如,乙太網 路連接)以封包化形式輸出視訊及/或音訊。或者,可經由 視訊輸出連接器(諸如,DVI或VGA連接器)將視訊自伺服 器402輸出,且接著由視訊壓縮器404來俘獲。又,可將音 訊自伺服器402輸出為數位音訊(例如,經由TOSLINK或 S/PDIF連接器)或類比音訊’類比音訊由視訊壓縮器4〇4内 之音訊壓縮邏輯來數位化並編碼。 139851,doc -60 - 200952494 一旦視訊壓縮器404已俘獲來自伺服器402之視訊圖框及 在彼圖框時間期間所產生之音訊,則視訊壓縮器將使用下 文所描述之技術壓縮視訊及音訊。一旦視訊及音訊被壓 縮,就藉由一位址將其封包化以將其發送回至使用者之用 戶端415,且將其路由至WAN介面444,WAN介面444接著 經由通用網際網路41〇路由視訊及音訊封包,通用網際網 路410接著將視訊及音訊封包路由至使用者之isp的存在點
441,存在點44 1將視訊及音訊封包路由至使用者場所處之 WAN介面442,WAN介面442將視訊及音訊封包路由至防 火牆/路由器/NAT器件443,防火牆/路由器/NAT器件443接 著將視訊及音訊封包路由至用戶端41 5。 用戶端41 5解壓縮視訊及音訊’且接著在顯示器件 422(或用戶端之内置顯示器件)上顯示視訊並將音訊發送至 顯示器件422或至單獨的放大器/揚聲器或至建置於用戶端 中之放大器/揚聲器。 /為使使用者感覺_才所描述之整個過程在感知上無滞 後丄來回行程延遲需要小於7()毫秒或㈣毫秒。所描述之來 °行程路徑中的—些延時延遲受主機代管服務⑽及,或使 用者之控制’而其他的延時延遲不受主機代管服務加及/ ^ 吏用者之控制°儘管如此’基於大量真實世界情況之分 析及測試,以下為近似量測。
用於發送控制信號之罝A 琥之單向傳輸時間451通常小於丨毫秒, :::者:所之來回行程路由452通常係使用 上的易仵之消費者級防火牆/路由器/ΝΑτ交換器而在約】毫 13985I.doc •61 · 200952494 秒内完成。使用者ISP廣泛地改變其來回行程延遲453,但 在DSL及電纜數據機提供者之情況下,通常看見其在1〇毫 秒與25毫秒之間。通用網際網路41〇上之來回行程延時可 視訊務被如何路由及路線上是否存在任何故障(且此等問 題在下文加以論述)而極大地改變,但通常通用網際網路
提供相當最佳的路由且延時很大程度上係由光穿過光纖之 速度(給定至目的地之距離)來判定。如下文進一步論述, 已確定1000英里作為期望將主機代管服務210遠離使用者 場所211置放的大致最遠距離。在1〇〇〇英里處(來回行程 2000英里),用於信號經由網際網路之實際傳輸時間為約 22毫秒。至主機代管服務21〇之WAN介面444通常為具有可 忽略之延時的商業級光纖高速介面。因此,通用網際網路 延時454通常係在丨毫秒與1〇毫秒之間。經由主機代管服務 210之單向路由455延時可在小於丨毫秒内達成。伺服器4〇2 通常將在小於一圖框時間(其在6〇 fps下為16 7毫秒)之時間 中計算用於遊戲或應用程式之新圖框,因此16毫秒為將使 用的合理的最大單向延時456。在本文中所描述之視訊魔 縮及音訊壓縮演算法之最佳硬體實施中,壓縮457可在1毫 秒内完成。在次佳版本中’壓縮可花費多達6毫秒(當然, 更人佳之版本可;^費更長時間,但該等實施將影響來回行 程之總延時且將需要其他延時較短(例如,可減小經由通 用網際網路之可允許的距離)以維持7()毫秒㈣秒延時目 標)。已經考慮網際網路454、使用者lsp 453及使用者場所 路由452之來回行程延時,因此剩餘的為視訊解壓縮咐延 13985l.doc • 62 - 200952494 時’視訊解壓縮458延時取決於視訊解壓縮458是實施於專 用硬體中還是實施於用戶端器件415(諸如,PC或行動器 件)上之軟體中,可視顯示器之大小及解壓縮CPU之效能而 改變。通常,解壓縮458花費1毫秒與8毫秒之間的時間。 因此’可藉由將在實踐中所見的所有最糟狀況之延時加 在一起來判定圖4a中所展示之系統之使用者可預期將經歷的 最糟狀況之來回行程延時。其為:1 + 1+25+22+1 + 16+6+8=8〇
毫秒。此外,實際上’在實踐中(具有下文所論述的防止 誤解之說明),此大致為使用圖4a中所展示之系統之原型 版本(在美國使用現成的Windows PC作為用戶端器件及家 庭DSL及電缓數據機連接)所見的來回行程延時。當然,優 於最糟狀況之情況可導致短得多的延時,但不可依賴其來 開發廣泛使用之商業服務。 為了經由通用網際網路達成圖仆中所列出之延時,需要 用戶端4丨5中之視訊壓縮器404及視訊解壓縮器412(來自圖 4a)產生具有非常特定的特性之封包流,以使得經由自主 機代管服務2H)至顯示器件422之整個路徑 列不經受延遲或過多封包丢失,且詳言之,始終 在經由使用者之網際網路連接(經由WAN介面術及防火牆/ 路由器/NAT 433)而可用於使用者的頻寬之約束内。另 外’視訊Μ縮器必須產生足夠強健之封包流,以使得盆可 容忍在正常網際網路及網路傳輸中出現㈣可避免的封包 丟失及封包重排序。 低延時視訊麈縮 139851.doc •63· 200952494 為了完成上述目標’ 一實施例採用新的視訊壓縮方法, 該方法降低用於傳輸視訊之延時及峰值頻寬要求^在描述 此等實施例之前,將關於圖5及圖6a至圖6b提供對當前視 讯壓縮技術之分析。當然,若使用者具備足以處理此等技 術所需之資料速率的頻寬,則此等技術可根據基本原理來 使用。注意,本文中不解決音訊壓縮,而是陳述音訊壓縮 係與視訊壓縮同時且同步地來實施。滿足用於此系統之要 求的先前技術音訊壓縮技術存在。 圖5說明用於壓縮視訊之一特定先前技術,其中由壓縮 邏輯520使用特定壓縮演算法來壓縮每一個別視訊圖框 501-503以產生一系列經壓縮之圖框511513。此技術之一 實施例係「運動JPEG」’其中根據聯合圖像專家群(JpEG) 壓縮演算法基於離散餘弦變換(DCT)來壓縮每一圖框。可 使用各種不同類型之壓縮演算法,然而,仍遵守此等基本 原理(例如,以小波為基礎之壓縮演算法,諸如JpEG_ 2000) ° 此類型壓縮之一問題在於:其減小了每一圖框之資料速 率,但其不利用相繼圖框之間的類似性來減小總視訊流之 資料速率。舉例而言,如圖5中所說明,假定64〇χ48〇χ24 位元/像素=640*480*24/8/1024=9〇〇千位元組/圖框(κβ/圖 框)之圖框速率,則對於給定品質之影像,運動jpEG可能 僅將該流壓縮mo,從而產生90 KB/圖框之資料流。在6〇 圖框/秒下,此將需要90 KB*8位元*60圖框/秒=42 2 Mbps 之頻道頻寬’其對於美國現今幾乎所有的家庭網際網路連 139851.doc -64- 200952494 接而S將為極高之頻寬,且對於許多辦公室網際網路連接 而言為過高之頻寬。實際上,假定其在此種高頻寬之情況 下要求恆定資料流,且其將僅伺服一使用者,則即使在辦 公至LAN環境中,其亦將消耗i 〇〇 Mbps乙太網路LAN之頻 寬的大百分比及支援LAN之負擔沉重的乙太網路交換器。 因此’當與其他壓縮技術(諸如下文所描述之彼等技術)相 比較時,用於運動視訊之壓縮無效率。此外,使用有損壓 縮演算法之單一圖框壓縮演算法(如JPEg及jPeg-2〇〇〇)產 生在靜止影像中可能不引人注意的壓縮假影(例如,場景 中之密集樹葉内之假影可能不呈現為假影,因為眼並不確 切地知道密集樹葉應如何呈現)。但是,一旦場景係在運 動中’假影就可能突出,因為眼偵測到自圖框至圖框而改 變之假影’儘管假影係在場景之區域(在該區域中,假影 在靜止影像中可能不引人注意)中。此導致圖框序列中之 「背景雜訊」之感知’該「背景雜訊」之外觀與邊緣類比 TV接收期間可見的「雪」雜訊類似。當然,此類型之壓 縮仍可用於本文中所描述之特定實施例中,但一般而言, 為了避免場景中之背景雜訊,對於給定感知品質,需要高 資料速率(亦即,低壓縮比率)。 其他類型之壓縮(諸如’ H.264,或Windows媒體VC9、 MPEG2及MPEG4)在壓縮視訊流中均更有效,因為其利用 相繼圖框之間的類似性。此等技術均依賴於用於壓縮視訊 之相同的一般技術。因此,儘管將描述Ή 264標準,但相 同的一般原理適用於各種其他麗縮演算法。大量Η· 26 4壓 139851.doc -65- 200952494 縮器及解壓縮器可用’包括用於壓縮Η·264之χ264開放源 軟體庫及用於解壓縮Η.264之FFmpeg開放源軟體庫。 圖6a及圖6b說明例示性先前技術壓縮技術,其中由壓縮 邏輯620將一系列未經壓縮之視訊圖框5〇1·5〇3、559_561壓 縮成一系列「I圖框」611、671 ;「Ρ圖框」612-613 ;及 「Β圖框」670。圖6a中之垂直軸大體表示經編碼之圖框中 之每一者的所得大小(儘管該等圖框未按比例進行緣製)。 如上所述’熟習此項技術者良好地理解使用I圖框、B圖框 及P圖框之視訊寫碼。簡言之,I圖框611為完全未壓縮之 圚框501的以DCT為基礎之壓縮(類似於如上所述的經壓縮 之JPEG影像)。ρ圖框612-613之大小通常顯著小於I圖框 611之大小,因為其利用先前I圖框或ρ圖框中之資料;亦 即’其含有指示先前I圖框或P囷框之間的改變的資料。除 B圖框使用隨後參考圖框中的圖框以及(可能地)之前參考 圖框中的圖框之外,B圖框670類似於P圖框。 對於以下論述,將假定所要之圖框速率為6〇圖框/秒, 每一 I圖框為約160 Kb ’平均P圖框及B圖框為16 Kb且每隔 一秒產生一新的I圖框。在此組參數下,平均資料速率將 為:160 Kb+16 Kb*59=l.l Mbps。此資料速率適當地落在 用於至家庭及辦公室之許多當前寬頻帶網際網路連接之最 大資料速率内。此技術亦傾向於避免來自僅框内編碼之背 景雜訊問題’因為P圖框及B圖框追蹤圖框之間的差異,因 此壓縮假影傾向於不自圖框至圖框而呈現及消失,藉此減 少上文所描述之背景雜訊問題。 139851.doc • 66 - 200952494 上述類型之壓縮之一問題在於:儘管平均資料速率相對 • 低(例如,I·1 MbPs),但單一I圖框可能花費若干個圖框時 • 間來傳輸。舉例而言,使用先前技術,2.2 Mbps網路連接 (例如,DSL或電緵數據機,其具有來自圖3a的最大可用資 料速率302之2.2 Mbps峰值)通常將足夠使視訊以丨」Mbps 串流,每60個圖框一 160 Kbps I圖框。此將藉由使解壓縮 器在解壓縮視訊之前將1秒視訊排入仔列來完成。在1秒 内,將傳輸1.1 Mb之資料,其將藉由2.2 Mbps最大可用資 ® 料速率來容易地適應,即使假定可用資料速率可能週期性 地下降多達50%亦如此。遺懷地’此先前技術方法將由於 接收器處之1秒視訊緩衝而導致視訊之丨秒延時。此種延遲 對於許多先前技術應用程式(例如,線性視訊之回放)而言 足夠,但對於不可容忍大於70毫秒_8〇毫秒之延時的快動 作視訊遊戲而言其為極長之延時。 若進行嘗試來消除1秒視訊緩衝’其仍將不會導致用於 ❿ 快動作視訊遊戲之足夠延時減少。舉例而言,如先前所描 述,B圖框之使用將需要接圖框之前的所有3圖框以及工 圖框。若假定在P圖框與B圖框之間大致分裂59個非1圖 框,則將存在至少29個B圖框且可顯示任何B圖框之前所 接收的I圖框。因此,不管頻道之可用頻寬如何,均需要 29+^30個圖框每一者1/60秒持續時間之延遲,或5〇〇毫秒 之延時。顯而易見,彼時間極長。 因此,另一方法將為消除B圖框且僅使用χ圖框及1>圖 框。(此之-後果為··對於給定品質位準,資料速率將增 139851.doc -67- 200952494 加’但出於此實例中之一致性起見,繼續假定每一 i圖框 之大小為160 Kb且平均P圖框之大小為16 Kb,且因此資料 • 速率仍為1.1 Mbps)。此方法消除了由B圖框引入的不可避 免之延時’因為每一P圖框之解碼僅依賴於先前所接收之 圖框。此方法仍存在的問題在於:I圖框比平均p圖框大得 多’以致在低頻寬頻道上(如大多數家庭中及許多辦公室 中典型的)’ I圖框之傳輸添加實質延時。此在圖讣中加以 說明。視訊流資料速率624低於可用最大資料速率621(除 β 對於1圖框之外),其中Ϊ圖框所需之峰值資料速率623遠超 過可用最大資料速率622(且甚至超過額定最大資料速率 62 1)。Ρ圖框所需之 > 料速率小於可用最大資料速率。即 使在2.2 Mbps之可用最大資料速率峰值穩定地保持在其2.2 Mbps峰值速率’亦將花費16〇 Kb/2 2 Mb=71毫秒來傳輸I 圖框,且若可用最大資料速率622下降5〇%(1」Mbps),則 將钯費142毫秒來傳輸I圖框。因此,傳輸】圖框中之延時將 ❹ 落在71毫秒與M2毫秒之間的某處。此延時添加至圖仆中 所識別之延時(該等延時在最糟狀況下總計達7〇毫秒),因 此,此將導致自使用者致動輸入器件421之時刻直至影像 呈現於顯示器件422上的為14卜222毫秒之總來回行程延 時,其極间。且若可用最大資料速率下降至低於2.2 Mbps,則延時將進一步增加。 亦注意,以遠超過可用資料速率622之峰值資料速率623 使ISP堵塞」通常存在嚴重後果。不同中之設備將不 同地表ί見但當以比可用資料速率622高得多的資料迷率 139851.doc -68 - 200952494 2封包時,以下行為在飢及錢㈣機聊當中相告 二.⑷藉由將封包排入佇列而使封包延遲(引入延時): 棄一或所有封包’(C)停用連接歷時一時間週期 :能因㈣擔憂其為惡意攻擊,諸如「否認服務」: 擊)_。因此’以全資料速率傳輸封包流(具有諸如圖6b中所 :不之彼等特性的特性)並非為可行的選項。可在主機代 官服務21G處將峰值623排人㈣且以低於可用最大資料速 ❹ 率之資料速率進行發送,從而引人前—段中所描述的不可 接受之延時。 「另外’圖6b中所展示之視訊流資料速率序列624為非常 「剔服的(tame)」視訊流f料速率序列,且將係由於塵縮 來自視訊序列之視訊而預期產生的該種資料速率序列,該 視訊序列並不改變很大且具有非常少之運動(例如,如: 視訊電話會議中將係普遍的,在視訊電話會議中,相機處 於固定位置中且具有非常少之運動,且場景(例如,就座 的人談話)中之物件展示較少運動)。 圖6c中所展示之視訊流資料速率序列634為自具有多得 多的動作之視訊(諸如,可能在電影或視訊遊戲中或在某 一應用程式軟體中產生)預期可見的典型序列。注意,除I 圖框峰值633之外,亦存在相當大且在許多場合上超過可 用最大資料速率之P圖框峰值(諸如,635及636)〇儘管此 等P圖框峰值並不如〗圖框峰值一般相當大,但其仍極大以 致不能由頻道以全資料速率來載運,且如同1圖框峰值一 樣,P圖框峰值必須緩慢地傳輸(藉此增加延時)。 139851.doc -69- 200952494 在一高頻寬頻道(例如,100 Mbps LAN,或高頻宽ι〇〇 . Mbps私用連接)上,網路將能夠容忍諸如工 .圖框峰值伽之大峰值,但原則上,可㈣ 是,該等網路經常在許多使用者當中共用(例如,在辦公 室環境中),且該「有峰」資料將影響LAN之效能,尤其 在網路訊務經路由至私用共用連接(例如,自遠端資料中 心至辦公室)之情況下。首先,記住此實例係6〇印3下 640x480像素的相對低解析度的視訊流的實例。6〇下之 β 1920x1080的HDTV流容易由現代電腦及顯示器來處理,且 60 fps下之2560x1440解析度顯示器日益可用(例如,Appie 公司之30"顯示器)。使用h.264壓縮,60 fps下之 1920x1080之高動作視訊序列可能需要4 5 Mbps以獲得合 理品質位準。若假定I圖框峰值為標稱資料速率之1〇倍, 則其將產生45 Mbps峰值,以及較小但仍相當大的p圖框峰 值。若若干個使用者正在同一 1〇〇 Mbps網路(例如,辦公 ❹ 室與資料中心之間的私用網路連接)上接收視訊流,則容 易看見來自若干使用者之視訊流之峰值可如何碰巧對準, 從而淹沒網路之頻寬,且可能淹沒網路上支援使用者之交 換器的底板之頻寬。即使在超高速乙太網路之狀況下,若 足夠的使用者具有同時對準的足夠峰值,則其可淹沒網路 或網路交換器。此外,一旦256〇χ144〇解析度視訊變得更 常見,平均視訊流資料速率就可能為9.5 Mbps,從而或許 產生95 Mbps峰值資料速率。不用說,資料中心與辦公室 之間的1 0 0 M b p s連接(其在現今為格外快之連接)將完全被 139851.doc -70· 200952494 來自單一使用者之峰值訊務擊潰《因此,即使LAN及私用 網路連接對有峰串流視訊可具有更高容忍度,具有高峰值 之串流視訊亦係不需要的且可能需要辦公室之IT部門之特 殊計劃及適應。
當然’對於標準線性視訊應用程式’此等問題並非問 題’因為資料速率在傳輸點「經平滑化」且用於每一圖框 之資料低於最大可用資料速率622,且在解壓縮I圖框、p 圖框及B圖框序列之前,用戶端中之缓衝器儲存I圖框、p 圖框及B圖框序列。因此,網路上之資料速率保持接近於 視訊流之平均資料速率。遺憾地,此引入延時,即使不使 用B圖框,對於諸如需要快回應時間之視訊遊戲及應用程 式的低延時應用程式而言,彼亦係不可接受的。 用於減輕具有高峰值之視訊流的一先前技術解決方法係 使用常常被稱作「怪定位元速率」(CBR)編碼之技術。儘 管術語CBR看來似乎暗示將所有圖框塵縮以具有相同位元 速率(亦即,大小),但其經f提及的為壓縮範例,在壓縮 範例中,允許跨越特定數目之圖框(在吾人之狀況下,⑽ 圖框)的最大位元速率。舉例而言,纟圖心之狀況下,若 對編碼施加CBR約束(其將位元速率限於(例如)額定最大資 料速率⑶之鄕),則壓縮演算法將限制該等圖框中之每 -者的壓縮,以使得通常將使用額定最大資料速率621之 70%以上來㈣的㈣圖框將以較少位元來_。此之社 广將使通常將需要更多位元來維持給定品質位準之圖 框極度缺乏」位元且彼等圖框之影像品質將比不需要比 13985 丨.doc 71 200952494 額定最大資料速率62丨之70%多的位元的其他圖框之影像 • 品質糟。此方法對於特定類型的經壓縮視訊(其中(a)預期 較少運動或場景改變且(b)使用者可接受週期性的品質降 級)可產生可接受的結果。適合CBR之應用的良好實例為 視訊電話會議,因為存在較少峰值,且在品質暫時降級之 情況下(例如,若使相機掃視,從而導致顯著場景運動及 大峰值,則在掃視期間可能不存在足夠的位元用於高品質 影像壓縮,其將導致降級的影像品質),大多數使用者可 ❹ 接受。遺憾地,CBR並非良好地適合具有高複雜度之場景 或大量運動及/或需要合理恆定之品質位準的許多其他應 用0 •在一實施例中所使用之低延時壓縮邏輯4〇4使用若干不 同技術來解決串流低延時經壓縮視訊同時維持高品質之許 多問題。首先,低延時壓縮邏輯404僅產生I圖框及p圖 框,藉此緩解等待若干個圖框時間來解碼每一B圖框的需 ❹要另外,如圖7a中所說明,在一實施例中,低延時壓縮 邏輯404將每一未經壓縮之圖框701-760再分成一系列「影 像塊(tile)」且將每一影像塊個別地編碼為〗圖框或p圖框。 在本文中將該群經壓縮之〗圖框及p圖框稱作「R圖框」 711-770。在圖乃中所展示之特定實例中,將每一未經壓 縮之圖框再分成4M矩陣的16個影像塊。然而,此等基本 原理不限於任何特定再分機制。 在實施例中,低延時壓縮邏輯404將視訊圖框劃分成 許多影像塊,且將來自每一圖框之一影像塊編碼(亦即, 139851.doc -72- 200952494 壓縮)為1圏框(亦即’將該影像塊壓縮,好像其為全影像之 大小之1/16的單獨視訊圖框,且用於此「迷你型」圖框之 壓料!圖框壓縮)並將剩餘影像塊編碼為卩圖框(亦即,用 「迷你型」1/16囷框之壓縮為p圖框墨縮)。經壓縮 及經壓縮為p圖框之影像塊將分別被稱作 =及「p影像塊」。隨著每—相繼視訊圖框而改 變待料為!影像塊之影像塊。因此,在給定圖框 ❹ ❹ 中,視訊圖框中之該等影像塊中僅一影像塊為旧像塊, 且§亥等影像塊中之剩餘者為p影像塊。舉例而言,在圖7a 中’未經壓縮之圖框7G1之影像_經編瑪W影像塊10且剩 餘的1-15影像塊經編碼為?影像塊(PJP⑺以產生汉圖框 711。在下-個未經壓縮之視訊圖框繼中,未經壓縮之圖 框701之影像塊㈣編碼為!影像塊U剩餘的影像塊〇及2至 15經編碼為p影像塊(p。,及p2至p15)以產生R圖框712。因 此,用於影像塊之旧像塊及p影像塊在 在時間上交錯。該過程繼續,直至產生R影像塊77=^ 1㈣㈣Μ編碼為Z影像塊(亦即’ U)為止。該過程 接者㈣開始’從而產生諸如圖框711(亦即,對於影像塊 0編石馬I影像塊)等之另__R圖框。儘管圖^中未說明,但 =一實施例中,R圖框之視訊序列之第—R圖框僅含有⑶ 塊(亦即,以使得隨後之1>圖框具有參考影像資料(自其 =計算運動))。或者,在一實施例中,啟動序列使用與 一 @的%像塊型樣’但不包括用於尚未連同I影像塊 一起編媽之彼等影像塊的P影像塊。換言之,在第影像 13985 丨.doc -73- 200952494 塊到達之前不連同任何資料一起編碼特定影像塊,藉此避 免圖9a中的視訊流資料速率934中之啟動峰值,其在下文 進一步詳細說明。此外,如下所述,各種不同大小及形狀 可用於該等影像塊同時仍遵守此等基本原理。 在用戶端415上執行之視訊解壓縮邏輯412解壓縮每一影 像塊’好像其為小I圖框及P圖框之單獨視訊序列,且接著 將每一影像塊再現給驅動顯示器件422之圖框緩衝器。舉 例而言’使用來自R圖框711至770之1〇及P〇來解壓縮並再現 視訊影像之影像塊0。類似地,使用來自r圖框7丨丨至77〇之 I〗及P!來重建影像塊1 ’等等。如上所述,I圖框及p圖框之 解壓縮係此項技術中眾所熟知的,且〗影像塊及p影像塊之 解壓縮可藉由使視訊解壓縮器之多個執行個體在用戶端 415上執行來完成。儘管倍增過程看來似乎增加用戶端415 上之計算負擔’但實際上其不會增加用戶端415上之計算 負擔’因為影像塊本身成比例地較小(相對於額外處理之 數目而言),因此所顯示之像素之數目相同,好像存在一 個處理且使用習知的全大小之I圖框及p圖框。 此R圖框技術顯著減輕通常與I圖框相關聯之頻寬峰值 (圖6b及圖6c中所說明)’因為任何給定圖框主要係由通常 比I圖框小之P圖框構成。舉例而言,再次假定典型〗圖框 為160 Kb,則圖7a中所說明之圖框中之每一者的I影像塊 將為此量之大致1/16或10 Kb。類似地,假定典型p圖框為 16 Kb ’則用於圖7 a中所說明之影像塊中之每一者的p圖框 可為大致1 Kb。最終結果為約1〇 Kb+15*l Kb=25 Kb之R圖 139851.doc • 74- 200952494 框。因此’每一 60圖框序列將係25 Kb*60 = 1.5 Mbps。因 此,在60圖框/秒下,此將需要能夠維持Mbps之頻寬的 頻道’但由於I影像塊係貫穿60圖框間隔而分散而使得具 有低得多的峰值。 ❹ 注意’在先前實例中,在用於I圖框及p圖框之相同假定 資料速率情況下,平均資料速率為M Mbpp此係因為在 先前實例中’每隔60個圖框時間僅引入一新I圖框,而在 此實例中,構成I圖框之16個影像塊在丨6個圖框時間中循 環,且因此,每隔16個圖框時間弓丨入一〖圖框之均等物, 從而導致稍高之平均資料速率。儘管如此,但在實踐中, 引入更頻繁之I圖框並不會線性地增加資料速率。此係由 於以下事實:P圖框(或P影像塊)主要編碼自先前圖框至下 -個圖框之差異1此,若先前圖框與下—個圖框相當類 似,則P圖框將非常小,若先前圖框與下—個圖框相當不 同,則P圖框將非常大。但因為P圖桓很大程度上係自先前 圖框導出,而非自實際圖框導出’所以所得的經編碼圖框 可能含有比具有足夠數目之位元之!圖框多的錯誤(例如, 視覺假影)。此外,當一 P圖框跟隨另一 p圖框時,可出現 錯誤累加(當存在長P圖框序列時,變得更糟卜現在,尖 端的視訊壓縮器將偵測到影像之σ 豕疋質在一序列ρ圖框之後 降級的事實’且必要時,其將 足多位70分配給隨後之Ρ圖 框以提高品質,或若其為最有 動 接她·Π㈤上 之動作過程,則用I圖框 替換Ρ圖框。因此,當使用 ^ ^ 使m框序列(例如,59個Ρ圖 框,如上文先刖實例中)時,特 疋。之當%景具有大量複 139851.doc -75- 200952494 雜度及/或運動時,通常,對於p圖框而言需要更多位元(因 為其變得距I圖框更遠)。 • 或者,自相對檢視點看p圖框,緊密地跟隨I圖框之P圖 框傾向於需要比距〗圖框更遠之p圖框少的位元。因此,在 圖7a中所展示之實例中,無p圖框比距1圖框隔開15個圖框 更遠(在I圖框之前),而在先前實例中,p圖框可為自j圖框 隔開59個圖框。因此,在更頻繁之I圖框情況下,P圖框較 小。當然’確切相對大小將基於視訊流之性質而改變,但 ^ 在圖7a之實例中,若〗影像塊為1〇 Kb,則p影像塊之大小平 均可為僅0.75 kb,從而導致10 Kb+15*0.75 Kb=21.25 Kb, 或在60圖框/秒下’資料速率將為2125 Kb*6〇 = 1.3 Mbps, 或比1.1 Mbps下的具有一j圖框繼之以59個p圖框之流之資 料速率高約16%。再一次,用於視訊壓縮之此等兩種方法 之間的相對結果將視視訊序列而改變,但通常,吾人憑經 驗發現,對於給定品質位準,使用R圖框比使用I/p圖框序 參 歹1j需要多約20%之位元。但是’當然’ R圖框急劇地減少 峰值,此使視訊序列在遠小於I/p圖框序列之延時下可用。 可視視訊序列之性質、頻道之可靠性及可用資料速率而 以多種不同方式來組態尺圖框。在替代實施例中,在4χ4組 態中使用不同於16之數目之影像塊。舉例而言,可在2χΐ 或1x2組態中使用2個影像塊,可在2x2、4叫或1><4組態中 使用4個影像塊,可在3χ2、2χ3、6><1或1><6組態中使用^固 影像塊或可在4χ2(如圖几中所展示)、2χ4、8><1或1><8組態 中使用8個影像塊。注意,影像塊不需要為方形,視訊圖 139851.doc -76- 200952494 框=不必為方形,或甚至矩形。可將影像塊分解成最佳地 ' 適合所使用之視訊流及應用程式的無論什麼形狀。 • 在另一實施例中,1影像塊及P影像塊之循環不鎖定至影 像塊之數目。舉例而言,在8影像塊4x2組態中,仍可如圖 7b中所說明而使⑽循環序列。順序的未經壓縮之圖框 721、722、723各自經劃分成8個影像塊〇 7,且每一影像 塊經個別壓縮。自R圖框731,僅影像塊〇經壓縮影像 鬼且剩餘衫像塊經壓縮為p影像塊。對於隨後之R圖框 鬱 732,所有8個影像塊經壓縮為p影像塊,且接著對於隨後 之R圖框733 ’影像塊丨經壓縮為〗影像塊且其他影像塊均經 壓縮為P影像塊。此外,如此對於16個圖框繼續進行排 序,僅每隔一圖框產生一I影像塊’因此在第15個圖框時 間期間(圖7b中未圖示)及在第16個圖框時間期間產生用於 影像塊7之最末I影像塊(使用所有的p影像塊壓縮R圖框 780) ^接著,序列再次以影像塊〇經壓縮為[影像塊且其他 參影像塊經壓縮為P影像塊開始。如在先前實施例中,整個 視訊序列之第一圖框通常將均為Ϊ影像塊,以提供用於自 彼點向前之P影像塊的參考。I影像塊及P影像塊之循環甚 至不需要為影像塊之數目之偶倍數。舉例而言,在8個影 像塊之情況下’在使用另一 I影像塊之前,具有一 J影像塊 之每一圖框之後可為所有皆為p影像塊之2個圖框。在又一 實施例中,若(例如)已知螢幕之特定區域具有更多運動(需 要更頻繁之I影像塊),而其他區域更為靜態(例如,展示遊 戲之分數)(需要較不頻繁之I影像塊),則與其他影像塊相 139851.doc -77- 200952494 比,可更經常地將特定影像塊連同〖影像塊一起進行排 序。此外,儘管在圖7心圖715中說明每一圖框具有單一 像塊,但可在單一圖框中編碼多個I影像塊(取決於傳輸頻 道之頻寬)。相反地,特定圖框或圖框序列可在不具有工影 像塊(亦即,僅P影像塊)的情況下傳輸。
别一段之方法適當起作用之原因在於:儘管不具有跨越 每個單圖框而分散之I影像塊看來似乎導致較大峰值, 但系統之行為並不如此簡單。因為每一影像塊係與其他影 像塊分開進行壓縮,所以#影像塊變小時,每—影像塊之 編碼可變得較不有效,因為給定影像塊之壓縮器不能夠利 用來自其他影像塊之類似影像特徵及類似運動。因此,與 將勞幕劃分成8個影像塊相比較’將螢幕劃分成16個影像 塊通常將導致較不有效之編碼。但是,若將螢幕劃分成8 個影像塊且其引起每隔8個圖框(而非每隔16個圖框)引入一 完全I圖框之資料,則其導致總體上高得多的資料速率。 因此,藉由每隔16個圖框(而非每隔8個圖框)引入一完全I 圖框,減小了總資料速率。又,藉由使用8個較大影像塊 (而非16個較小影像塊),減小了總資料速率,其亦將由較 大影像塊引起之資料峰值減輕至某種程度。 在另-實施例中’圖7a及圖7b中之低延時視訊壓縮 4〇4藉由基於待壓縮之視訊序列之已知特性而藉由設定 先組態或者基於每一影像塊中之影像品質的正在進行=八 析而自動地控制至R圖框中之各影像塊之位元的分配。刀 例而言,在一些競赛視訊遊戲中,玩家之汽車為:舉 139851.doc -78- 200952494 :才目對無運動的)之前方佔據營幕之下半部之大部分,而 . 《上半部完全破填滿正接近的道路、建築物及風景, •、幾乎總7^在運動中°若壓縮邏輯404將相等數目之位元 分配給每:影像塊,則圖7b中的未經壓縮之圖框721中的 螢幕之下半部上之影像塊(影像塊4_7)通常將以比圖^中的 未經壓縮之圖框721中的螢幕之上半部中之影像塊(影像塊 〇_3)尚的品質而壓縮。若已知此特定遊戲或遊戲之此特定 I景具有該等特性,則主機代管服務21()之運營商可組離 ®壓縮邏輯404以將更多位元分配給螢幕之頂部之影像塊(與 、刀配給榮$之底部處之影像塊的位元相& )。&者,屋縮 邏輯404可在壓縮圖框之後估計影像塊之壓縮品質(使用許 多壓縮品質度量中之一或多者,諸如峰值信號雜訊比 (PSNR)) ’且若判定在特定時間窗上,特定影像塊始終如 一地產生較佳品質結果,則其逐漸地將更多位元分配給產 生較低品質結果之影像塊,直至各種影像塊達到類似位準 ❿ 之品質為止。在替代實施例中,壓縮器邏輯404分配位元 以在特定影像塊或影像塊群中達成較高品質。舉例而言, 其可提供較佳的總體感知外觀,以在螢幕之中心具有比邊 緣處高之品質。 在一實施例中,為了改良視訊流之特定區域之解析度, 視訊壓縮邏輯404使用較小影像塊來編碼視訊流之具有相 對多之場景複雜度及/或運動的區域(與視訊流之具有相對 >之%景複雜度及/或運動的區域相比)。舉例而言,如圖8 中所說明’在一 R圖框811(可能繼之以具有相同影像塊大 139851.doc •79· 200952494 之系列R圖框(未圖示))之一區域中的移動人物805之周 圍使用較小影像塊。接著,當人物8〇5移動至影像之新區 域時,在另一R圖框812内之此新區域之周圍使用較小影像 塊,如所說明《如上所述,各種不同大小及形狀可用作 「影像塊」同時仍遵守此等基本原理。 儘管上文所描述之循環Ι/P影像塊實質上減小視訊流之 資料速率中的峰值,但其並不完全消除峰值,尤其在快速 改變或高度複雜之視訊影像(諸如在電影、視訊遊戲及某 一應用程式軟體下出現)的狀況下。舉例而言,在突然場 景轉變期間,一複雜圖框可能繼之以完全不同之另一複雜 圖框。即使若干個I影像塊可領先於場景轉變僅幾個圖框 時間,其在此情形下亦無助益’因為新圖框之材料與先前 I影像塊無關。在此種情形下(及在即使並非一切皆改變, 大量影像亦改變的其他情形下),視訊壓縮器404將判定將 許多(若並非所有)P影像塊更有效地寫碼為I影像塊,且所 導致的為彼圖框之資料速率中的非常大之峰值。 如先前所論述’其僅為對於大多數消費者級網際網路連 接(及許多辦公室連接)之狀況,其僅不可「堵塞」超過圖 6c中展示為622之可用最大資料速率以及額定最大資料速 率621的資料。注意’額定最大資料速率621(例如,「6 Mbps DSL」)實質上為對於考慮購買網際網路連接的使用 者之銷售數字,但通常其不保證效能位準。出於此應用之 目的,其不相關’因為吾人僅關注經由連接使視訊串流時 之可用最大資料速率622。因此,在圖9a及圖9C中,當描 139851.doc -80- 200952494 述對峰值問題之解決方法時,自曲線圖省略額定最大資料 速率,且僅展示可用最大資料速率922。視訊流資料速率 不得超過可用最大資料速率922。 為了解決此問題,視訊壓縮器404進行的第一件事係判
定峰值資料速率941,其為頻道能夠穩定地處理之資料速 率。此速率可藉由許多技術來判定。一種該技術係將愈加 變高的資料速率測試流自主機代管服務21〇逐漸發送至用 戶端41 5(圖4a及圖4b中),且使用戶端將關於封包丟失及延 時之位準的反饋提供至主機代管服務。當封包丟失及/或 延時開始展示尖銳增加時,其為達到可用最大資料速率 922之指不。之後,主機代管服務21〇可逐漸地減小測試流 之資料速率’直至用戶端415報告在合理之時間週期中已 接收到測試流(封包丟失及延時之可接受位準接近最小)為 止。此確定峰值最大資料速率941,其接著將用作用於串 流視訊之峰值資料速率。隨著時間的推移,峰值資料速率 941將波動(例如’絲庭中之另—使用者開始嚴重地使用 網際網路連接),且用戶端415將需要怪定地監視峰值資料 速率941以查看封包丢失或延時是否增加(指示可用最大資 料速率922下降至低於先前所確定的峰值資料迷率gw), =如此,則峰值資料速率94卜類似地,若隨著時間的 推移’用戶端化發現封包丢失及延時保持在最佳位準, =可請求視訊壓縮器緩慢地増加資料速率以査看 大資枓速率是否增加(例如’若家庭中之另 止對網際網料接之嚴4使用),且再以待直至封包^ 139851.doc • 81 - 200952494 失及/或較高延時指示已超過可用最大資料速率922為止, 1 且可再次發現用於峰值資料速率941之較低位準,但該較 . ⑯位準可能高於測試增加的資料速率之前的位準。因此, 可藉由使用此技術(及類似其之其他技術)而發現峰值資料 速率941 ’且視需要而週期性地進行調整。峰值資料速率 941確定可由視訊麼縮器4〇4使用則吏視訊串流至使用者的 最大資料速率。用於判定峰值資料速率之邏輯可在使用者 場所211處及/或在主機代管服務21〇上加以實施。在使用 β 者場所211處’用戶端器件415執行計算以判定峰值資料速 率且將此資訊傳輸回至主機代管服務21〇;在主機代管服 務210處,主機代管服務處之伺服器4〇2執行計算以基於自 用戶端415所接收之統計資料(例如,峰值丟失、延時、最 大資料速率等)而判定峰值資料速率。 圖9a展示具有實質場景複雜度及/或運動之實例視訊流 負料速率934,其係使用先前所描述且在圖7a、圖%及圖8 ❹ 中加以說明的循環UP影像塊壓縮技術而產生。視訊壓縮器 404經組態而以低於峰值資料速率941之平均資料速率輸出 經壓縮之視afl,且注意,大部分時間,視訊流資料速率保 持低於峰值資料速率941。資料速率934與圖6c中所展示之 視訊流資料速率634(其係使用1/?/3或1/1>圖框而產生)的比 較展示循環Ι/P影像塊壓縮產生平滑得多的資料速率。但在 圖框2倍峰值952(其接近2倍峰值資料速率942)及圖框4倍峰 值954(其接近4倍峰值資料速率944)下,資料速率仍超過峰 值資料速率941,其為不可接受的。在實踐中,即使對於 139851.doc -82- 200952494 來自快速改變之視訊遊戲的高動作視訊,超過峰值資料速 • 率之峰值亦在小於2%之圖框中出現,超過2倍峰值資 . 料速率942之峰值很少出現,且超過3倍峰值資料速率943 之峰值難得出現。但是’當其確實出現時(例如,在場景 轉變期間)’其所需之資料速率必須產生良好品質之視訊 影像。 解決此問題之一方式係簡單地組態視訊壓縮器404以使 得其最大資料速率輸出為峰值資料速率941。遺憾地,峰 Φ 值圖框期間的所得視訊輸出品質不良,因為壓縮演算法 「極度缺乏」位元。所導致的為當存在突然轉變或快速運 動時出現壓縮假影,且及時地,使用者開始認識到:當存 在犬然改變或快速運動時假影總是突然出現,且其可變得 相當討厭。 儘管人的視覺系統對在突然改變或快速運動期間出現的 視覺假影相當敏感,但對在該等情形下偵測到圖框速率之 ❹ 減小並不是非常敏感。事實上,當該等突然改變出現時, 看來似乎人的視覺系統專注於追蹤該等改變,且若圖框速 率暫時自60 fps下降至30 fpS且接著立即返回至6〇 fps,則 人的視覺系統不會注意到。此外,在非常急劇之轉變(如 突然場景改變)的狀況下’若圖框速率下降至2〇 fps或甚至 1 5 fps且接著立即返回至60 fpS,則人的視覺系統不會注意 到。只要圖框速率減小僅偶爾出現,對於人觀察者而古, 看來似乎視訊係以60 fps不斷地執行》 藉由圖9b中所說明之技術來利用人的視覺系統之此特 I39851.doc -83- 200952494 性。伺服器402(來自圖4a及圖4b)以穩定圖框速率(在一實 施例中’在60 fps下)產生未經壓縮之視訊輸出流。時刻表 展示每一 1/60秒每一圖框96卜970輸出。自圖框961開始, 將每一未經壓縮之視訊圖框輸出至低延時視訊壓縮器 404,低延時視訊壓縮器4〇4在小於一圖框時間之時間中壓
縮該圖框’產生用於第一圖框之經壓縮之圖框1 98丨。經 產生用於經壓縮之圖框丨981的資料可視如先前所描述之 許多因素而較大或較小。若資料足夠小以致可以峰值資料 速率941在一圖框時間(1/6〇秒)或小於一圖框時間内將其傳 輸至用戶端415,則在傳輸時間(xmit時間)991(指示傳輸時 間之持續時間的箭頭之長度)期間將其傳輸。在下一個圖 框時間中,伺服器402產生未經壓縮之圖框2 962,將其壓 縮成經壓縮之圖框2 982,且在小於一圖框時間之傳輸時 間992期間以峰值資料速率941將其傳輸至用戶端415。 接著,在下一個圖框時間中,伺服器4〇2產生未經壓縮 之圖框3 963。當由視訊壓縮器例來壓縮未經壓縮之圖框 3 963時所得的經壓縮之圖框3 983為比可以峰值資料速 率941在一圖框時間中傳輸之資料多的資料。因此,在傳 輸時間(2倍峰值)993期間將其傳輸,其佔據所有圖框時間 及下個圖框時間之一部分。現在,在下一個圖框時間期 間’伺服器402產生另_去鋪厥始 ^ 禾經壓縮之圖框4 964且將其輸出 至視訊壓縮器404,作資料站勿政丨 頁杆破忽略且藉由974來說明。此係 因為視訊壓縮器404铖能.、,& a丄 ,·、、且L以忽略在其仍傳輸先前經壓縮 之圖框時到達的其他夫铋厭 禾級·壓縮之視訊圖框。當然,用戶端 139851.doc •84- 200952494 41 5之視訊解壓縮器將未能接收到圖框4,但其簡單地繼續 . 在顯不器件422上顯示圖框3歷時2個圖框時間(亦即,暫時 . 將圖框速率自60 fps減小至30 fps)。 對於下一個圖框5,伺服器402輸出未經壓縮之圖框5 965,將其壓縮成經壓縮之圖框5 985且在傳輸時間期 間在1圖框内將其傳輸。用戶端415之視訊解壓縮器解壓縮 圖框5並將其顯示於顯示器件422上。接著,伺服器4〇2輸 出未經壓縮之圖框6 966 ,視訊壓縮器404將其壓縮成經壓 ⑩ 縮之圖框6 986,但此時所得的資料非常大。在傳輸時間(4 倍峰值)996期間以峰值資料速率941傳輸經壓縮之圖框, 但花費幾乎4個圖框時間來傳輸圖框。在接下來的3個圖框 時間期間,視訊壓縮器404忽略來自伺服器402之3個圖 框,且用戶端415之解壓縮器將圖框6穩定地保持在顯示器 件422上歷時4個圖框時間(亦即,暫時將圖框速率自6〇 fps 減小至15 fps)。接著最後’伺服器402輸出圖框1〇 970,視 ❿ 訊壓縮器404將其壓縮成經壓縮之圖框1〇 987,且在傳輸 時間997期間將其傳輸,且用戶端415之解壓縮器解壓縮圖 框10並將其顯示於顯示器件422上且再一次視訊以6〇印3重 新開始。 注意,儘管視訊壓縮器404丟棄了來自由伺服器4〇2產生 之視訊流的視訊圖框,但其不會丟棄音訊資料(不管音訊 係以什麼形式來的),且當丟棄視訊圖框時視訊壓縮器4〇4 繼續壓縮音訊資料並將其傳輸至用戶端415,用戶端415繼 續解壓縮音訊資料並將音訊提供至由使用者使用以回放音 139851.doc •85· 200952494 汛之無論什麼器件。因此在丟棄圖框之週期期間,音訊繼 續而不減弱。與經壓縮之視訊相比,經壓縮之音訊消耗相 對小百分比之頻寬,且因此不會對總資料速率有較大影 響。儘管在資料速率圖中之任一者中皆未說明,但峰值資 料速率941内總是存在經保留用於經壓縮音訊流的資料速 率容量。
Ο 選擇剛剛在圖9 b中所描述之實例來說明在資料速率峰值 期間圖框速率如何下降,但未說明的係當使用先前所描述 之循環Ι/P影像塊技術時,該等資料速率峰值及隨之發生的 丟棄的圖框很少,即使在高場景複雜度/高動作序列(諸如 在視sfl遊戲、電影及某一應用程式軟體中出現的彼等)期 間亦如此。因此,減小的圖框速率罕有且暫時,且人的視 覺系統不會偵測到它們。 若將剛剛所描述之圖框速率減小機制應用於圖%中所說 明之視訊流資料速率’則在圖9c中說明所得的視訊流資料 速率。在此實例中’ 2倍峰值952已減小至平坦化的2倍峰 值953,且4倍峰值955已減小至平坦化的4倍峰值955,且 整個視訊流資料速率934保持處於或低於峰值資料速 941。 因此’使用上文所描述之技術,可經由通用網際網路及 消費者級網際網料接而以低延時來傳輸高料視訊流。 另外,在LAN(例如,1〇〇购乙太網路或8〇2" §無線網 路)上或私用網路(例如,資料中心與辦公室之間的1〇〇 Mbps連接)上之辦公室環境中,可在無峰值情況下傳輸高 139851.doc -86- 200952494 如,以4.5 Mbps傳輸60 用私用資料連接,而不 動作視訊流,以使得多個使用者(例 fps下之1920X1080)可使用LAN或共 使重疊峰值淹沒網路或網路交換器底板 資料速率調整
在一實施例中,主機代管服務21〇最初評估頻道之可用 最大資料速率622及延時以判定用於視訊流之適當資料速 率且接著回應於此而動態地調整資料速率。為了調整資料 速率,主機代管服務21〇可(例如)修改待發送至用戶端/15 之視訊流的影像解析度及/或每秒圖框數。又,主機代管 服務可調整經壓縮視訊的品質位準。當改變視訊流之解: 度時(例如,自1280x720解析度至64〇x36〇),用戶端415上 之視訊解壓縮邏輯412可將影像按比例增加以在顯示螢幕 上維持相同影像大小。 在一實施例中,在頻道完全退出之情形下,主機代管服 務210將遊戲暫停。在多人遊戲之狀況下,主機代管服務 向其他使用者報告該使用者已退出遊戲及/或將遊戲暫停 以用於其他使用者。 丟棄或延遝的封包 在實施例中’若資料由於圖4a或圖4b中的視訊壓縮器 4〇4與用戶端41 5之間的封包丟失而丟失,或由於到達得過 晚以致不能解壓縮及滿足經解壓縮圖框之延時要求的封包 被無次序地接收而去失,則視訊解壓縮邏輯412能夠減輕 視覺假影。在串流I/p圖框實施中,若存在丟失/延遲的封 包’則整個螢幕受影響,從而可能引起螢幕完全凍結歷時 139851.doc -87- 200952494 ❹ 參 一時間週期或展示其他螢幕寬視覺假影。舉例而言,若丢 失/延遲的封包引起I圖框之丢失’則在接收新的I圖框之 前,解壓縮器將缺乏用於跟隨的所有p圖框之參考。若丢 失P圖框’則其將影響跟隨的用於整個螢幕之p圖框。視工 圖框出現之前有多久’此將具有較長或較短之視覺影響。 使用如圖7a及圖7b中所展示之交錯ι/ρ影像塊,丟失/延遲 的封包不太可能影響整個螢幕,因為其僅影響受影響之封 包中所含有的影像塊。若每一影像塊之資料係在個別封包 内發送,則若封包丟失,則其僅影響一影像塊。當然,視 覺假影之持續時間將取決於Ϊ影像塊封包是否丟失及在p影 像塊丟失之情況下在〗影像塊出現之前將花費多少個圖 框。但是,假定螢幕上之不同影像塊係藉由j圖框非常頻 繁地(可能每個圖框)更新’則即使螢幕上之一影像塊受影 響’其他影像塊亦可能不受影響。$夕卜,若某一事件引起 :干封包同時丟失(例如,鄰接DSL線之電力中的暫時中斷 貝料抓之尖峰號),則一些影像塊將比其他影像塊受到 更大影響,但因為-些影像塊將藉由新的】影像塊迅速地 更新所以其僅暫時受影響。又,在串流Ι/P圖框實施之情 況下,不僅1圖框為最關鍵圖框,而且I圖框極大,因此若 存在引起吾棄/延遲的封包之事件,則與小得多的1影像塊 2比1圖框受影響存在較高機率(亦即,若I圖框之任何部 分丢失’則根本不可能可解壓縮I圖框)。由於所有此等原 因’與Ι/P圖框之情況相比,當封包被吾棄 卿像料致小得多的視覺假影。 139851.doc -88 - 200952494 一實施例試圖藉由將經壓縮之影像塊智慧地封裝於 . TCP(傳輸控制協定)封包或UDP(使用者資料報協定)封包内 而減少丟失封包之效應。舉例而言,在一實施例中,只 可能,即將影像塊與封包邊界對準。圖10a說明可如何在 不實施此特徵之情況下將影像塊封裝於一系列封包1〇〇ι_ 1〇〇5内。具體言之’在圖l〇a中,影像塊越過封包邊界且 經無效率地封裝以致單一封包之丟失導致多個圖框之丢 失。舉例而言’若封包1003或1004丟失,則丟失三個影像 ® 塊,導致視覺假影。 相比之下,圖l〇b說明用於將影像塊智慧地封裝於封包 内以減少封包丟失之效應的影像塊封裝邏輯1〇1〇。首先, 影像塊封裝邏輯1010將影像塊與封包邊界對準。因此,影 像塊ΤΙ、T3、T4、T7及T2分別與封包1〇〇1_10〇5之邊界對 準。影像塊封裝邏輯亦試圖以可能的更有效之方式將影像 塊組合於封包内,而不越過封包邊界。基於影像塊中之每 ❺ 一者的大小,將影像塊T1與T6組合於一封包1〇〇1中;將 T3與T5組合於一封包1002中;將影像塊T4與T8組合於一 封包1003中;將影像塊T8添加至封包1〇〇4 ;且將影像塊T2 添加至封包1005。因此,在此方案下,單一封包吾失將導 致不多於2個影像塊(而非如圖10a中所說明的3個影像塊)之 丟失。 圖1 Ob中所展示之實施例的一額外益處在於:影像塊係 以其在影像内被顯示之不同次序進行傳輸》若鄰近封包由 於干擾傳輸之同一事件(其將影響螢幕上彼此不接近之區 139851.doc -89- 200952494 域)而丟失 影。 則此方式在顯 示器上產生較不引人注意的假 一實施例使用前向錯誤校正(FEc)技術來保護視訊流之 特疋。p为以使其免受頻道錯誤之影響。如此項技術中已 知’諸如里德·所羅門及ViterbkFEc技術產生錯誤校正資 料資訊並將其附加至經由通信頻道而傳輸之資料。若錯誤 在基本貝料(例如,I圖框)中出現,則FEC可用於校正該錯 誤。
FEC碼增加傳輸之資料速率,因此理想地,其僅在最需 要時使用。若資料正被發送,Α其將不導致非常引人注意 之視覺假影,則可較佳不使用FEC碼來保護資料。舉例而 言,緊接於丟失的I影像塊之前的p影像塊將僅在螢幕上產 生1/60秒之視覺假影(亦即,螢幕上之影像塊將不被更 新)。此種視覺假影幾乎不能被人眼偵測到。隨著p影像塊 自I影像塊進一步向後,丟失P影像塊愈加變得更引人注 意。舉例而言,若影像塊循環型樣為在〖影像塊再次可用 之則一 I影像塊繼之以1 5個P影像塊,則若緊接於〖影像塊 之後之P影像塊丟失,則其導致彼影像塊展示不正確之影 像歷時15個圖框時間(在60 fps下’彼將為250毫秒)。人眼 將容易偵測到250毫秒的流之中斷。因此,p影像塊距新的 I影像塊愈向後(亦即,P影像塊跟隨I影像塊愈接近),則假 影愈引人注意。如先前所論述,儘管如此,但一般而言, P影像塊跟隨I影像塊愈接近,用於彼P影像塊之資料愈 小。因此,跟隨I影像塊之P影像塊不僅對於保護以免去失 139851.doc -90- 200952494 而言更關Μ ’而且其大小較小。此外,一般而言,需要保 護之資料愈小,保護其所需之FEC碼愈小。 因此’如圖lla中所說明,在一實施例中,由於工影像塊 在視讯流中之重要性,僅ϊ影像塊具備FEC碼。因此, 1101含有用於I影像塊1100之錯誤校正碼且FEC 11〇4含有 用於I影像塊1103之錯誤校正碼。在此實施例中,對於p影 像塊不產生FEC。
在圖lib中所說明之一實施例中,對於在丟失時最可能 引起視覺假影之P影像塊亦產生FEC碼。在此實施例中, FEC 11〇5提供用於前3個p影像塊但不用於跟隨的p影像塊 之錯誤校正碼。在另一實施例中,對於資料大小最小之p 影像塊產生FEC碼(其將傾向於自選在〗影像塊之後最早出 現的P影像塊’其對於保護最為關鍵)。 在另一實施例中,並非將FEC碼連同影像塊_起發送, 而是將影像塊傳輸兩次,每次在不同封包中傳輸。若一封 包丟失/延遲,則使用另一封包。 在圖Uc中所展示之-實施例中,產生分別用於與視訊 同時自主機代管服務傳輸之音訊封包111〇及1112的FEC碼 1111及1113。維持視訊流中之音訊之完整性特別重要,因 為失真之音訊(例如,滴答聲或嘶嘶聲)將導致特別不人需 要之使用者體驗。FEC碼幫助確保音訊内容在好端㈣ 415處無失真地再現》 在另-實施例中,並非將FEC媽連同音訊資料—起發 送,而是將音訊資料傳輸兩次,每次在不同封包中傳輸。 139851.doc -91 - 200952494 若一封包丟失/延遲,則使用另一封包。 另外’在圖11 d中所說明之一實施例中,FEC碼1121及 1123分別用於自用戶端415上行傳輸至主機代管服務21〇之 使用者輸入命令(例如’按紐按壓)U 2〇及1122。此係重要 的’因為在視訊遊戲或應用程式中漏掉按鈕按壓或滑鼠運 動可能導致不合需要之使用者體驗。 在另一實施例中’並非將FEC碼連同使用者輸入命令資 料一起發送’而是將使用者輸入命令資料傳輸兩次,每次 ❹
在不同封包中傳輸。若一封包丟失/延遲,則使用另一封 包。 在一實施例中’主機代管服務21〇評估與用戶端415之通 信頻道之品質,以判定是否使用FEC,且若使用,則判定 應對視訊、音訊及使用者命令之何部分應用FEC。評估頻 道之「品質」可包括如上所述的諸如估計封包丟失、延時 等之功能。若頻道特別不可靠,則主機代管服務21〇可對 所有I影像塊、p影像塊、音訊及使用者命令應用FEC。相 比之下,若頻道可靠,則主機代管服務2丨〇可僅對音訊及 使用者命令應用FEC’或可不對音訊或視訊應用FEC,或 可根本不使用FEC。可使用FEC之應用之各種其他排列, 同時仍遵守此等基本原理《在-實施例中,主機代管服務 210不斷地監視頻道之狀況且相應地改變FEc策略。 在另-實施例中’參看圓4a及圖仆,當封包丟失/延 遲’從而導致影像塊資料之吾失時,或若可能由於特別糟 之封包丢失而使得FEC不能夠校正丢失的影像塊資料,用 139851.doc •92. 200952494 戶端415評估在將接收新的i影像塊之前剩餘多少個圖框且 . 將其與自用戶端化至主機代管服務21()之來回行程延^相 • 比較。若來回行程延時小於新的I影像塊應到達之前的圖 框之數目,則用戶端415向主機代管服務21〇發送訊息,請 求新的I影像塊。將此訊息路由至視訊壓縮器,且其並 非產生用於資料已丟失之影像塊的p影像塊,而是產生】影 像塊。假定圖4a及圖4b中所展示之系統經設計以提供通常 小於80毫秒之來回行程延時,則此導致料塊被校:於的 參 ί秒内(在60fpS下,圖框具有16.6?毫秒之持續時間,因此 在全圖框時間_,80毫秒延時將導致83 33毫秒内的經校 正之影像塊,83.33毫秒為5個圖框時間,其為引人注意的 中斷,但遠不及(例如)對於丨5個圖框25〇毫秒中斷引人注 意)。當壓縮器404脫離其通常的循環次序而產生此種τ影像 塊時,若I影像塊將引起彼圖框之頻寬超過可用頻寬,則 壓縮器404將延遲其他影像塊之循環,以使得其他影像塊 ❹ 在彼圖框時間期間接收Ρ影像塊(即使在彼圖框期間一影像 塊通常將應為I影像塊)’且接著通常的循環將自下一個圖 框開始繼續,且通常將已接收到先前圖框中之〗影像塊的 影像塊將接收I影像塊。儘管此動作暫時延遲R圖框循環之 階段,但其通常將在視覺上不引人注意。 视訊及音訊壓缩器/解麈缩器實施 圖12說明一特定實施例,其中使用多核及/或多處理器 1200來並行地壓縮8個影像塊。在一實施例中,使用在 2.66 GHz或更高下執行之雙核處理器、四核Xe〇nCpu電腦 I39851.doc -93- 200952494 系統’每一核心作為獨立過程實施開源χ264 Η.264壓縮 • 器。然而’可使用各種其他硬體/軟體組態,同時仍遵守 此等基本原理。舉例而言’ CPU核心中之每一者可藉由以 FPGA實施之H.264壓縮器來替換。在圖12中所展示之實例 中,核心1201-1208用於作為八個獨立線緒來同時處理 像塊及P影像塊。如此項技術中眾所熟知的,當前多核及 多處理器電腦系統與諸如Microsoft Windows XP專業版(64 位元版或者32位元版)及Linux之多線緒處理作業系統整合 β 時,其固有地能夠進行多線緒處理。 在圖12中所說明之實施例中,因為該8個核心中之每一 者僅負責一影像塊,所以其很大程度上獨立於其他核心而 操作,每一者執行Χ264之單獨實例化。使用以PCI Express xl為基礎之DVI俘獲卡(諸如,來自Netherlands的 Microtronix of Oosterhout之 Sendero視訊成像卩開發板)來 俘獲640x480、800x600或1280x720解析度下的未經壓縮之 ❿ 視訊,且卡上之FPGA使用直接記憶體存取(DMA)來將所 俘獲之視訊經由DVI匯流排傳送至系統ram中。將該等影 像塊配置成4x2配置1205(儘管其說明為方形影像塊,但在 此實施例中’其具有160x240解析度)。x264之每一實例化 經組態以壓縮該8個160x240影像塊中之一者,且其經同步 化以使得在初始I影像塊壓縮之後每一核心進入一循環, 每一圖框與另一圖框不同相,以壓縮一〗影像塊繼之以七 個P影像塊,如圖12中所說明。 在每一圖框時間’使用先前所描述之技術將所得的經壓 139851.doc • 94- 200952494 縮影像塊組合成封包流,且接著將經壓縮影像塊傳輸至目 的地用戶端415。 儘管圖12中未說明,但若組合的8個影像塊之資料速率 超過指定峰值資料速率941 ’則所有8個χ264過程將暫時中 止歷時達必要的圖框時間’直至已傳輸用於組合的8個影 像塊之資料為止。 在一實施例中’將用戶端415實施為執行FFmpeg之8個 實例化之PC上的軟體。接收過程接收8個影像塊,且將每 一影像塊路由至FFmpeg實例化,FFmpeg實例化解壓縮影 像塊並將其再現至顯示器件422上之適當影像塊位置。 用戶端415接收來自PC之輸入器件驅動器的鍵盤、滑鼠 或遊戲控制器輸入並將其傳輸至伺服器402。伺服器402接 著應用所接收之輸入器件資料並將其應用於在伺服器402 上執行之遊戲或應用程式,伺服器402為使用Intel 2.16 GHz雙核CPU執行Windows之PC。伺服器402接著產生新圖 框並經由其DVI輸出端將新圖框自以主機板為基礎之圖形 系統或者經由NVIDIA 8800GTX PCI Express卡之DVI輸出 端輸出。 同時’伺服器402經由其數位音訊輸出端(例如, S/PDIF)輸出由遊戲或應用程式產生之音訊,該數位音訊 輸出端麵合至實施視訊壓縮的以雙四核Xe〇n為基礎之pc 上的數位音訊輸入端。V〇rbis開源音訊壓縮器用於使用可 用於處理線緒之無論什麼核心來與視訊同時地壓縮音訊。 在一實施例中,完成壓縮其影像塊之核心首先執行音訊壓 I39851.doc -95· 200952494 縮。接著將經壓縮之音訊連同經壓縮之視訊一起傳輸,並 在用戶端415上使用Vorbis音訊解壓縮器來解壓縮經壓縮之 音訊。 主機代管服務伺服器中心分κ 經由玻璃(諸如,光纖)之光以光在真空中之速度的某一 分率行進,且因此可判定光在光纖中之確切傳播速度。但 是’在實踐中,考慮用於路由延遲、傳輸無效率及其他耗 用之時間,吾人觀察到網際網路上之最佳延時反映較接近 光速之50%的傳輸速度。因此,最佳1000英里來回行程延 時為約22毫秒’且最佳3000英里來回行程延時為約64毫 秒。因此,一美國海岸上之單一伺服器將距離過遠以致不 能以所要之延時伺服另一海岸上之用戶端(其可能達3〇〇〇 英里遠)。然而,如圖13a中所說明,若主機代管服務21〇 伺服器中心1300定位於美國之中心(例如,Kansas、 Nebraska等),以致至美國大陸中之任何點之距離為約1500 英里或1500英里以下,來回行程網際網路延時可低至32毫 秒。參看圖4b,注意:儘管使用者ISP 453所允許之最糟狀 況延時為25毫秒,但通常,在DSL及電纜數據機系統之情 況下吾人觀察到較接近10-15毫秒之延時。又,圖4b假定 自使用者場所211至主機代管中心210之最大距離為1000英 里。因此,在所使用的典型的15毫秒之使用者ISP來回行 程延時及對於32毫秒之來回行程延時的1500英里之最大網 際網路距離的情況下,自使用者致動輸入器件421之時刻 至在顯示器件422上看見回應的總來回行程延時為 139851.doc -96- 200952494 1 + 1+ 15+32 + 1+ 16+6+8 = 80毫秒。因此,通常可在1500英里 之網際網路距離上達成80毫秒回應時間。此將允許美國大 陸中具有足夠短之使用者ISP延時453的任何使用者場所存 取在中心定位之單一伺服器中心。 在圖13b中所說明之另一實施例中,主機代管服務2丨〇伺 服器中心HS1-HS6戰略上定位於美國(或其他地理區域)之 周圍’特定較大之主機代管服務伺服器中心接近高人口中 心而定位(例如,HS2及HS5) »在一實施例中,伺服器中心 HS1-HS6經由網路1301交換資訊,網路1301可為網際網路 或私用網路或兩者之組合。在多個伺服器中心之情況下, 可以較低延時向具有高使用者ISP延時4 53之使用者提供服 務。 儘管網際網路上之距離的確為對經由網際網路之來回行 程延時有影響的因素,但有時很大程度上與延時無關之其 他因素亦起作用。有時經由網際網路將封包流路由至距離 遠之位置且再次返回,從而導致來自長循環之延時^有時 在路徑上存在不適當操作之路由設備,從而導致傳輸之延 遲。有時存在使路徑超載之訊務,其引入延遲。此外,有 時’根本係存在防止使用者之ISP路由至給定目的地的故 障。因此’儘管通用網際網路通常以相當可靠且最佳之路 由及延時來提供自一點至另一點之連接’該相當可靠且最 佳之路線及延時很大程度上係藉由距離來判定(尤其是在 導致路由至使用者之本端區域之外部的長距離連接的情況 下)’但該可靠性及延時得不到任何保證且常常不可自使 139851.doc •97- 200952494 用者之場所至通用網際網路上之給定目的地而達成。 . 在一實施例中,當使用者用戶端415最初連接至主機代 管服務210以玩視訊遊戲或使用應用程式時,用戶端在啟 動時與可用的主機代管服務伺服器中心HS1_HS6中之每一 者通信(例如,使用上文所描述之技術)。若延時對於特定 連接而言足夠低,則使用彼連接。在一實施例中,用戶端 與所有主機代管服務伺服器中心或主機代管服務伺服器中 〜之一子集通彳3,選擇具有最低延時連接之主機代管服務 © 伺服器中心。用戶端可選擇具有最低延時連接之服務中 心,或伺服器中心可識別具有最低延時連接之伺服器中心 並將此資訊(例如,以網際網路位址之形式)提供給用戶 端。 若特定主機代管服務伺服器中心超載及/或使用者之遊 戲或應用程式可容忍至另一、較少載入之主機代管服務伺 服器中心的延時,則可將用戶端415重定向至另一主機代 ❹ 管服務伺服器中心。在此種情形下,將使使用者正執行之 遊戲或應用程式在使用者之超載伺服器中心處的词服器 402上暫停’且將遊戲或應用程式狀態資料傳送至另一主 機代管服務伺服器中心處之伺服器402。接著將重新開始 該遊戲或應用程式。在一實施例中,主機代管服務21〇將 等待直至遊戲或應用程式達到自然暫停點(例如,遊戲中 之級別之間,或者在使用者在應用程式中起始「保存」操 作之後)才進行傳送。在又一實施例中,主機代管服務21〇 將等待直至使用者活動停止歷時指定時間週期(例如,i分 139851.doc -98- 200952494 鐘)為止且接著將在彼時起始傳送。 所述在實施例中,主機代管服務210訂用圖14 之網際網路繞過服務44()以試圖將得到保證的延時提供給 其用戶端。如本文中所伸 汴便用之網際網路繞過服務係提供自 網際網路上之一點至另一點之具有得到保證之特性(例 如’延時、資料速率等)的私用網路路線的服務。舉例而 言,若主機β管服務210正使用&San Francisc〇提供的
AT&T之DSL服務接收來自使用者之大量訊務(而非路由至 ::AT&T之San Francisco為基地的中央辦公室),則主機代 管服務21G將在以San Franeise。為基地之中央辦公室與用 於主機代管服務2U)之伺服器中心中的一或多者之間租用 來自服務提供者(可能為AT&T本身或另一提供者)之高容量 私用資料連接。接著自所有主機代管服務伺服器中心 HS1-HS6經由通用網際網路至San 中使用at&t DSL之使用者料線導致過高料,則可改為使用私用資 料連接。儘管㈣資料連接通常比經由通錢際網路之路 線更昂貴,但只要其保持主機代管服務21〇之一小百分比 連接至使用者,總成本影響就低,且使用者將體驗到更一 貫之服務體驗。 在電力故障之情況下,伺服器中心常常具有兩個備用電 力層。第一層通常為來自電池(或來自替代的立即可用之 能量源,諸如保持運轉且附接至發電機之飛輪)之備用電 力,其在電力幹線出故障時立即提供電力且保持伺服器中 心運轉。若電力故障為暫時的,且電力幹線迅速返回(例 139851.doc -99- 200952494 如,在-分鐘内),則電池所需的係 轉。但若電力故障歷時較 1服¥中〜運 機(例如,柴油機供電)來取二間週期’則通常啟動發電 即可運轉。該等發電機…主,也且發電機只要具有燃料 词服器中心通常自電力幹線所得到的電力。多達 二實=’主機代管服務中之每-者彼此 :可將在進-中1便在一飼服器中心具有電力故障時, 其可將在心中的遊戲及應㈣式暫停,且 應用程式狀態資料自每一飼服器4〇2傳送至其他飼服= 二處之伺服器402 ’且接著將通知每—使用者之用戶端化 以指導其傳達至新的伺服器術。假定該等情形偶爾出 現’則將使用者轉移至不能夠提供最佳延時之主機代管服 務飼服器中心(亦即’使用者將僅必須容忍較高延時歷時 電力故障之持續時間)可為可接受的,其將允許用於轉移 使用者之寬得多的範圍的選項。舉例而言,給定跨越美國 之時區差,則東海岸上之使用者在11:3〇pM可能將要睡 眠,而西海岸上之使用者在8:30PM正開始在視訊遊戲使用 上達到峰值。若彼時西海岸上之主機代管服務伺服器中心 中存在電力故障,則其他主機代管服務伺服器中心處可能 不存在用於處理所有使用者之足夠的西海岸伺服器4〇2。 在此種情形下,可將一些使用者轉移至東海岸上具有可用 词服器402之主機代管服務伺服器中心,且對於使用者而 言的唯一後果將係較高延時。一旦將使用者自失去電力之 飼服器中心轉移,伺服器中心接著就可開始其伺服器及設 139851.doc -100- 200952494 備之有序切斷,以便在電池(或其他立即電力備用)耗盡之 前切斷所有設備。以此方式,可避免用於伺服器中心之發 電機的成本。 在一實施例中,在主機代管服務210之嚴重載入之時間 期間(或者由於峰值使用者載入,或者因為一或多個祠服 器中心出故障),基於使用者正使用之遊戲或應用程式之 延時要求將使用者轉移至其他伺服器中心。因此,將為使 用需要低延時之遊戲或應用程式的使用者給出對存在有限 供應之可用低延時伺服器連接的優選β 主機代管服務特徵 圖15說明在以下特徵描述中利用的用於主機代管服務 2 1 0之伺服器中心之組件的實施例。如同圖2a中所說明之 主機代管服務210 —樣,除非另外有條件,否則此祠服器 中心之組件由主機代管服務210控制系統401來控制及協 調。 將來自使用者用戶端415之入埠網際網路訊務15〇1指引 至入埠路由1502。通常,入埠網際網路訊務15〇1將經由至 網際網路之面速光纖連接而進入飼服器中心,但具有足夠 頻寬、可靠性及低延時之任何網路連接構件將係足夠的。 入埠路由1502係網路(該網路可實施為乙太網路、光纖頻 道網路,或經由任何其他輸送構件)交換器及支援該等交 換器之路由伺服器的系統’其取得到達的封包且將每一封 包路由至適當應用程式/遊戲伺服器152i_1525。在一實施 例中’遞送至特定應用程式/遊戲伺服器之封包表示自用 139851.doc • 101 · 200952494 戶端所接收之資料之_子集及/或可由資料中心内之其他 組件(例如’網路連接組件’諸如閘道器及路由器)來轉譯/ 改變在一些狀況下,(例如)若遊戲或應用程式同時並行 地在夕個飼服器上執行,則每次將封包路由至-個以上伺 服器1521-1525。RAID陣列1511_1512連接至入埠路由網路 15〇2 ’以使得應用程式/遊戲伺服器i521_l525可讀取raid 陣列 1511-1512 及寫入 RAID 陣列 1511·1512。另外,raid 陣列15 15(其可實施為多個raid陣列)亦連接至入蟑路由 1502,且來自rAID陣列1515之資料可自應用程式/遊戲伺 服器1521-1525來讀取。入埠路由15〇2可在多種先前技術 網路架構(包括樹結構之交換器,入埠網際網路訊務15〇1 在其根部)中實施;在互連所有各種器件之網狀結構中實 施;或作為互連之子網路序列(互通器件當中之集中訊務 與其他器件當中之集中訊務隔離)來實施。一類型之網路 組態為S AN ’其儘管通常用於儲存器件,但其亦可由於器 件之間的通用高速資料傳送。又,應用程式/遊戲伺服器 1521-1 525可各自具有至入埠路由15 02之多個網路連接。 舉例而言’伺服器1521-1525可具有至附接至RAID陣列 1511-1512之子網路的網路連接及至附接至其他器件之子 網路的另一網路連接。 應用程式/遊戲飼服器1521-1525可經相同地、有些不同 地或全部不同地來組態,如先前關於圖4a中所說明之實施 例中之伺服器402所描述的。在一實施例中,每一使用者 當使用主機代管服務時通常為至少一應用程式/遊戲伺服 139851.doc -102- 200952494 器1521-1525。出於說明之簡單起見,將假定給定使用者 正使用應用程式/遊戲伺服器1521,但多個飼服器可由一 使用者使用,且多個使用者可共用單一應用程式/遊戲伺 服器1521-1525。自用戶端415(如先前所描述)所發送的使 • 用者之控制輸入經接收為入埠網際網路訊務15〇1,且經由 入埠路由1502而路由至應用程式/遊戲伺服器1521。應用 程式/遊戲伺服器1521使用使用者之控制輸入作為至在伺 服器上執行之遊戲或應用程式的控制輸入,且計算視訊及 β 與其相關聯之音訊的下一個圖框。應用程式/遊戲伺服器 1521接著將未經壓縮之視訊/音訊1529輸出至共用視訊壓 縮1530。應用程式/遊戲伺服器可經由任何構件(包括一或 多個超高速乙太網路連接)而輸出未經壓縮之視訊,但在 一實施例中,視訊係經由DVI連接而輸出,且音訊及其他 壓縮及通信頻道狀態資訊係經由通用串列匯流排(USB)連 接而輸出。 H 共用視訊壓縮1530壓縮來自應用程式/遊戲伺服器1521- 1 525的未經壓縮之視訊及音訊。該壓縮可完全以硬體或以 執行軟體之硬體來實施。可存在用於每一應用程式/遊戲 伺服器1521-1525之專用壓縮器,或若壓縮器足夠快,則 可使用給定壓縮器來壓縮來自一個以上應用程式/遊戲伺 服器1521-1525之視訊/音訊。舉例而言,在6〇 fps下,視 訊圖框時間為16.67毫秒。若一壓縮器能夠在1毫秒内壓縮 1圖框,則彼壓縮器可用於藉由取得來自一個接一個之伺 服器的輸入而壓縮來自多達16個應用程式/遊戲伺服器 139851.doc 200952494 152卜1525之視訊/音訊,該壓縮器保存每一視訊/音訊壓縮 - 過程之狀態且當其在來自伺服器之視訊/音訊流當中循環 時切換背景。此導致壓縮硬體的實質成本節省》因為不同 伺服器將在不同時間完成圖框,所以在一實施例中,壓縮 器資源係處於具有用於儲存每一壓縮過程之狀態之共用儲 存構件(例如,RAM,快閃記憶體)的共用集區153〇中,且 萬飼服器1521-1525圖框完整且準備被壓縮時,控制構件 判定彼時哪個壓縮資源可用,為該壓縮資源提供伺服器之 ® 壓縮過程之狀態及待壓縮的未經壓縮之視訊/音訊之圖 框。 注意’用於每一伺服器之壓縮過程的狀態之一部封包化 括關於壓縮本身之資訊,諸如先前圖框之經解壓縮之圖框 緩衝資料(其可用作用於P影像塊之參考)、視訊輸出之解 析度’壓縮之品質;影像塊結構;每影像塊之位元之分 配,壓縮品質、音訊格式(例如,立體聲、環繞音效、 φ Dolby® AC-3)。但是壓縮過程狀態亦包括關於以下之通信 頻道狀態資訊:峰值資料速率94 i ’及先前圖框(如圖抑中 所說明)當前是否正被輸出(且因此應忽略當前圖框),及潛 在地是否存在應在壓縮中考慮的(諸如,過多封包丟失)影 響壓縮決策(例如,在丨影像塊之頻率方面,等)的頻道特 性。因為峰值資料速率941或其他頻道特性隨著時間而改 變’如由支援每一使用者監視自用戶端415所發送之資料 的應用程式/遊戲伺服器1521·1525所判定的,所以應用程 式/遊戲伺服器1521-1525將相關資訊發送至共用硬體壓縮 139851.doc 200952494 1530。 共用硬體壓縮1 5 3 0亦使用諸如先前所描述之彼等構件之
構件將經壓縮之視訊/音訊封包化,且在適當時,應用FEC 碼,複製特定資料,或採取其他步驟,以便充分地確保視 訊/音訊資料流由用戶端415接收且以可行之高品質及可靠 性解壓縮的能力。 一些應用程式(諸如,下文所描述之彼等應用程式)需要 給定應用程式/遊戲伺服器1521_1525之視訊/音訊輸出同時 參 在多個解析度下(或以其他多個格式)可用。若應用程式/遊 戲伺服器1521 -1525如此通知共用硬體壓縮丨53〇資源,則 彼應用程式/遊戲伺服器1521_1525的未經壓縮之視訊音訊 1529將被以不同格式、不同解析度及/或在不同封包/錯誤 校正結構中同時壓縮。在一些狀況下,一些壓縮資源可在 壓縮同一視訊/音訊之多個壓縮過程當中共用(例如,在許 多壓縮演算法中,存在藉以在應用壓縮之前將影像按比例 φ 調整至多個大小的步驟。若需要輸出不同大小之影像,則 此步驟可用於同時伺服若干個壓縮過程)。在其他狀況 下,對於每一格式將需要單獨的壓縮資源。在任何狀況 下,將用於給定應用程式/遊戲伺服器1521·1525( 一或多 個)所需的所有各種解析度及格式的經壓縮之視訊/音訊 1539同時輸出至出埠路由1540。在一實施例中,經壓縮之 視訊/音訊1539之輸出係處於UDP格式,因此其為單向封包 流。 出埠路由網路i54〇包含一系列路由伺服器及交換器該 139851.doc 200952494 系列路由伺服器及交換器將每一經壓縮之視訊/音訊流經 由出琿網際網路訊務1599介面(其通常將連接至至網際網 路之光纖介面)而指引至所欲使用者或其他目的地及/或返 回至延遲緩衝器1515,及/或返回至入埠路由15〇2,及/或 經由私用網路(未圖示)而輸出以供進行視訊分配。注意(如 下所述出埠路由1540可將給定視訊/音訊流同時輸出至 多個目的地。在一實施例中,此係使用網際網路協定(Ip) 多播來實施’其中廣播意欲同時串流至多個目的地之給定 UDP流’且該廣播由出淳路由1540中之路由伺服器及交換 器來重複。廣播之該多個目的地可係經由網際網路而至多 個使用者之用戶端415、經由入埠路由15〇2而至多個應用 秘式/遊戲祠服器1521-1525 及/或至一或多個延遲緩衝3| 1515。因此,將給定伺服器1521-1522之輸出壓縮成一或 多個格式’且將每一經壓縮之流指引至一或多個目的地。 另外,在另一實施例中,若多個應用程式/遊戲伺服器 1521-1525同時由一使用者使用(例如,在用於產生具有複 雜場景之3D輸出的並行處理組態中)且每一祠服器產生所 得影像之部分,則可由共用硬體壓縮丨53〇將多個伺服器 1 5 21 -1 5 2 5之視訊輸出組合成一組合圖框,且自彼點向前 如上所述處理該組合圖框,好像其來自單一應用程式/遊 戲伺服器1521-1525。 注意,在一實施例中’將由應用程式/遊戲伺服器1 52丄_ 1525產生之所有視訊的複本(至少以由使用者檢視之視訊 之解析度或更高解析度)記錄於延遲緩衝器1515中歷時至 139851.doc 200952494 少某一數目之分鐘(在一實施例中為15分鐘)。此允許每一 使用者「回倒」來自每一會話之視訊,以便核查先前工作 ; 或業績(在遊戲之狀況下)。因此,在一實施例中,將路由 至使用者用戶端415的每一經壓縮視訊/音訊輸出1539流亦 多播至延遲緩衝器1515 〇當將視訊/音訊儲存於延遲緩衝 器1515上時,延遲緩衝器1515上之目錄提供應用程式/遊 戲伺服器1521-1525(其為延遲之視訊/音訊之來源)之網路 位址與延遲緩衝器1515上可發現延遲之視訊/音訊之位置 參 之間的交又參考。 現場直播的、可即刻檢視的、可即刻播放的进戲 應用程式/遊戲祠服器1521-1525不僅可用於執行使用者 之給定應用程式或視訊遊戲’而且其可用於建立用於支援 經由主機代管服務210之導航及其他特徵之主機代管服務 210的使用者介面應用程式β 一種該使用者介面應用程式 之螢幕拍攝展示於圖16中(「遊戲取景器」螢幕)。此特定 ❹ 使用者介面螢幕允許使用者觀看由其他使用者現場玩的 (或延遲的)15個遊戲。「縮略圖」視訊窗中之每一者(諸 如’ 1600)為在運動中的現場直播之視訊窗,其展示來自 一使用者之遊戲的一視訊。縮略圖中所展示之視圖可為使 用者正看之同一視圖,或其可為延遲的視圖(例如,若使 用者正玩搏鬥遊戲’則使用者可能不希望其他使用者看見 其隱藏在哪裡且其可選擇將其遊戲播放之任何視圖延遲一 時間週期(例如’ 1 0分鐘))《視圖亦可為不同於任何使用者 之視圖的遊戲之相機視圖。使用者可基於多種標準而經由 139851.doc -107- 200952494 選單選擇(此說明中未圖示)來選擇待同時檢視之遊戲之選 擇。作為例示性選擇之小取樣’使用者可選擇遊戲之隨機 選擇(諸如圖16中所展示之彼等遊戲)、所有一類別之遊戲 (均由不同玩家來玩)、僅遊戲之頂級玩家、遊戲中之給定 級別的玩家’或較低級玩家(例如,若玩家正學習基礎)、 為「搭檔」(或為競爭者)之玩家、具有最多數目檢視者的 遊戲等。 注意’通常,每一使用者將決定來自其遊戲或應用程式 之視訊是否可由他人檢視,且若如此,則決定該視訊可由 哪些他人檢視及何時可由他人檢視,決定該視訊是否僅可 在具有延遲之情況下檢視。 產生圖16中所展示之使用者介面螢幕的應用程式/遊戲 伺服器1521-1525藉由向每一使用者(該應用程式/遊戲伺服 器152 1-1 525正請求來自該使用者之遊戲)之應用程式/遊戲 伺服器152 1-1525發送訊息而獲取該15個視訊/音訊饋送。 該訊息係經由入埠路由1502或另一網路來發送。該訊息將 包括被請求之視訊/音訊之大小及格式,且將識別檢視使 用者介面螢幕之使用者。給定使用者可選擇選擇「盜版」 模式且不准許任何其他使用者檢視其遊戲之視訊/音訊(自 其檢視點或者自另一檢視點),或如先前段中所描述,使 用者可選擇允許檢視來自其遊戲之視訊/音訊,但延遲所 檢視之視Λ/ a訊。使用者應用程式/遊戲伺服器⑸卜 1525(其接收並接受允許其視訊/音訊被檢視之請求)將因此 向請求伺服器確認’且其亦將通知共用硬體壓縮1530需要 J39851.doc 200952494 產生被請求格式或螢幕大小(假定格式及螢幕大小不同於 已經產生的格式及螢幕大小)的額外經壓縮視訊流,且其 亦將指示經壓縮視訊的目的地(亦即,請求伺服器)。若被 請求的視訊/音訊僅被延遲,則請求應用程式/遊戲伺服器 1521-1525將被如此通知,且其將藉由查找延遲緩衝器 1515上之目錄中的視訊/音訊之位置及為延遲的視訊/音訊 之來源的應用程式/遊戲伺服器1521·1525之網路位址而自 延遲緩衝器1515獲取延遲的視訊/音訊。一旦所有此等請 求被產生並處理,則將高達15個現場直播之縮略圖大小之 視訊流自出埠路由1540路由至入埠路由15〇2、至產生使用 者介面螢幕之應用程式/遊戲伺服器1521_1525,且將由該 伺服器來解壓縮及顯示。延遲的視訊/音訊流可能處於過 大之螢幕大小’且若如此,則應用程式/遊戲伺服器152i_ 1 525將解壓縮該等流並將視訊流按比例縮減至縮略圖大 小。在一實施例中’將對音訊/視訊之請求發送至與圖切 之主機代管服務控制系統類似之中央「管理」服務(圖15 中未展示)(且由中央「管理」服務來管理),中央「管理」 服務接著將該等請求重定向至適當應用程式/遊戲伺服器 1521-1525。此外’在一實施例中,可能不需要請求,因 為縮略圖被「推送」至允許其之彼等使用者的用戶端。 來自1 5個遊戲之所有同時混合的音訊可能產生刺耳的聲 音。使用者可選擇以此方式將所有聲音混合在一起(可能 就為得到由被檢視之所有動作產生的r喧嚣」之感覺), 或者使用者可選擇每次僅聽取來自一遊戲之音訊。單一遊 139851.doc •109· 200952494 戲之選擇係藉由將黃色選擇框1601移動至給定遊戲來完成 (黃色框移動可藉由使用鍵盤上之箭頭鍵、藉由移動滑 鼠、藉由移動操縱桿或藉由推動諸如行動電話之另一器件 上之方向按鈕來完成)。一旦選擇了單一遊戲,則僅來自 彼遊戲之音訊播放。又,展示遊戲資訊16〇2。在此遊戲之 狀況下’例如,出版商標誌(「EA」)及遊戲標誌「極品飛 車卡本峽谷」及橙色橫條在相對條件下指示在彼特定時刻 玩遊戲或檢視遊戲之人的數目(在此狀況下,許多,因此 遊戲為「熱門」)。另外提供「狀態」,指示存在145個玩 豕正積極地玩極品飛車遊戲之8〇個不同實例化(亦即,該 遊戲可藉由個別玩家遊戲或多人遊戲來玩),且存在680個 檢視者(此使用者係其中之一)。注意,此等統計資料(及其 他統計資料)由主機代管服務控制系統401來收集並儲存於 RAID陣列i511_1512上,以用於保持主機代管服務21〇操作 之曰諸且用於適當地向使用者計費並向提供内容之出版商 支付費用。一些統計資料係由於由服務控制系統401進行 之動作而記錄,且一些統計資料係由個別應用程式/遊戲 飼服器1521-1525報告給服務控制系統401。舉例而言,當 遊戲正被檢視時(及當遊戲被停止檢視時),執行此遊戲取 景器應用程式之應用程式/遊戲伺服器1521_1525向主機代 管服務控制系統40 1發送訊息,以使得主機代管服務控制 系統401可更新多少個遊戲處於檢視中的統計資料。一此 統計資料可為使用者介面應用程式(諸如,此遊戲取景器 應用程式)所用。 J39851.doc •110- 200952494 若使用者單擊其輸入器件上之啟動按鈕,則其將看見黃 色框中之縮略圖視訊放大同時縮略圖視訊保持現場直播為 全螢幕大小。此效應展示於圖17中之過程中。注意,視訊 窗1700之大小增大。為了實施此效應,應用程式/遊戲伺 . 服器1521-1525自執行選定之遊戲之應用程式/遊戲伺服器 1521-15 25請求具有路由至其之遊戲之全螢幕大小(以使用 者之顯示器件422之解析度)的視訊流之複本。執行遊戲之 應用程式/遊戲伺服器1521-1525通知共用硬體壓縮器153〇 ® 不再需要遊戲之縮略圖大小之複本(除非另一應用程式/遊 戲词服器1521-1525需要此種縮略圖),且接著其指引共用 硬體壓縮器1530將視訊之全螢幕大小之複本發送至放大視 訊之應用程式/遊戲伺服器1521·1 525。玩該遊戲之使用者 "Τ或可不具有解析度與將遊戲放大之使用者之彼顯示器件 的解析度相同的顯示器件422。另外’遊戲之其他檢視者 可或可不具有解析度與將遊戲放大之使用者相同的顯示器 ❹ 件422(且可具有不同的音訊回放構件,例如,立體聲或環 繞音效)。因此,共用硬體壓縮器153〇判定是否已經產生 滿足請求視訊/音訊流之使用者之要求的合適的經壓縮視 訊/音訊流,且若合適的經壓縮視訊/音訊流確實存在,則 共用硬體壓縮器1530通知出埠路由154〇將該流之複本路由 至放大該視訊之應用程式/遊戲伺服器1521_1525,且若合 適的經壓縮視訊/音訊流不存在,則壓縮視訊之適合於彼 使用者的另-複本並指導出琿路由將該流發送回至入璋路 由1502及放大該視訊之應用程式/遊戲伺服器bn。 麵】.doc -111- 200952494 現在接收選定視訊之全螢幕版本的此伺服器將解壓縮該全 螢幕版本並將其逐漸地按比例放大至全大小。 圖18說明在將遊戲完全放大至全螢幕且以使用者之顯示 器件422之全解析度展示遊戲之後螢幕看起來如何(如藉由 箭頭1800指向之影像所指示的執行遊戲取景器應用程 式之應用程式/遊戲伺服器1521_1525向提供縮略圖之其他 應用程式/遊戲伺服器1521-1525發送訊息以指示該等縮略 圖不再需要且向主機代管服務控制伺服器4〇】發送訊息以 ® 指示不再檢視其他遊戲。此時,產生的唯一顯示為螢幕頂 部的上覆1801 ’其將資訊及選單控制提供給使用者。注 意’隨著此遊戲進展’觀眾增長至2,5〇3個檢視者。在如 此多的檢視者之情況下’必然存在具有顯示器件422之許 多檢視者’該等顯示器件422具有相同或接近之解析度(每 一應用程式/遊戲伺服器1521_1525具有按比例調整視訊以 用於調整配合度之能力)。 ❿ 因為所展示之遊戲為多人遊戲,所以使用者可決定在某 時刻加入該遊戲。由於多種原因,主機代管服務21〇可或 可不允許使用者加入該遊戲。舉例而言,使用者可能必須 支付玩遊戲之費用而選擇不支付,使用者可能不具有足以 加入彼特定遊戲之足夠等級(例如,對於其他玩家而言, 其將不有競爭性),或者使用者之網際網路連接可能不具 有足以允許使用者玩的足夠低之延時(例如,不存在用於 檢視遊戲之延時約束,因此可在無延時關注之情況下檢視 被遠距離地(實際上,在另一大陸上)玩的遊戲,但對於待 139851.doc -112· 200952494 玩之遊戲而言,延時必須足夠低以使使用者(a)享受該遊 戲,且(b)處於與可能具有較低延時連接之其他玩家相等的 地位)。若不准許使用者玩,則為使用者提供遊戲取景器 使用者介面之應用程式/遊戲伺服器152 1-1525將請求主機 代管服務控制伺服器401起始(亦即,定位並啟動)經合適地 組態以用於播放特定遊戲之應用程式/遊戲伺服器1521_ 1525以自RAID陣列1511-15 12載入該遊戲,且接著主機代 管服務控制伺服器401將指導入埠路由15〇2將來自使用者 之控制信號傳送至現在主機代管遊戲之應用程式/遊戲伺 服器且現在主機代管遊戲之應用程式/遊戲伺服器將指導 共用硬體壓縮1530自壓縮來自主機代管遊戲取景器應用程 式之應用程式/遊戲伺服器之視訊/音訊切換至壓縮來自現 在主機代管遊戲之應用程式/遊戲伺服器之視訊/音訊。遊 戲取景器應用程式/遊戲服務與主機代管遊戲之新的應用 程式/遊戲伺服器之垂直同步並不同步,且因此在該兩個 同步之間可能存在時間差。因為共用視訊壓縮硬體153〇將 在應用程式/遊戲伺服器1521_1525完成視訊圖框之後即開 始壓縮視訊,所以來自新伺服器之第一圖框可比舊伺服器 之全圖框時間完成得早,來自新伺服器之第一圖框可能在 先前經壓縮之圖框完成其傳輸之前(例如,考慮圖外之傳 輸時間992 :若未經壓縮之圖框3 963完成地早一圖框時間 之一半,則其將衝擊傳輸時間992) ^在此種情形下,共用 視訊壓縮硬體1530將忽略來自新伺服器之第一圖框(例 如,如忽略(974)圖框4 964),且用戶端415將來自舊词服 139851.doc 113 200952494 器之最末圖框保持-額外圖桓時間,且共用視㈣縮硬體 。〇將開始;1、缩來自主機代管遊戲之新應用程式,遊戲祠 服器的下—圖框時間視訊。對於使用者而言,在視覺上, 自y應用程式/遊戲伺服器至另一應用程式/遊戲伺服器之 轉變將係無縫的。主機代管服務控制飼服器彻接著將通 知主機代管遊戲取景器之應用程式/遊戲飼服器mm 切換至閒置狀態’直至再次需要其為止。
使用者接著能夠玩該遊戲。此外,例外的係遊戲將在感 ^上係即㈣為遊戲已被以十億位元/秒速度自 尺咖車列1511-1512載入至應用程式/遊戲伺服器1521_1525 上),且將藉由理想的驅動器、暫存器組態(在Wind嶋之 狀況下)將遊戲連同經確切組態以用於該遊戲之作業系統 一起載入至確切適合於該遊戲之伺服器上,且無可詨 遊戲之操作競爭的其他應用程式在該伺服器上執行/… 又’隨著使用者在遊戲中進展,遊戲之片段中之每一者 將以十億位元/秒速度(亦即,次十億位元組載入)自 RAID陣歹"511·1512載入伺服器中,且由於RAID陣列 1川·1512之巨大儲存容量(因為其為許多使用者之共用資 源’所以其可能非常大’但仍具成本效益),使得可預先 计算幾何形狀設置或其他遊戲片段設置並將其儲存於 RAID陣列1511·1512上且極快速地進行載入。此外,因為 每-應用程式/遊㈣服器1521·1525之硬體組態及計算二 力係已知的,所以可預先計算像素及頂點著色。 b 因此,遊戲可幾乎即刻啟動’其將在理想環境中執行, 13985 丨.doc -114- 200952494 且隨後之片段將幾乎即刻載入。 但疋’除此等優點之外’使用者將能夠檢視他人玩遊戲 (經由先前所描述之遊戲取景器,及其他構件),且兩者均 決定遊戲是否有趣’且若如此’則自觀看他人而學習技 巧。此外,使用者將能夠即刻地演示該遊戲,而不必等待 的下載及/或安裝,且使用者將能夠即刻玩該遊戲(可能 在較小費用之試用基礎上,或在較長期基礎上)。此外, 使用者將能夠藉由足夠低延時之無線連接而在漏_ PC、河__上、在電視機上、在家裏、在行進時且甚 至在行動電話上玩該遊戲。此外,此均可在並非曾經實體 擁有遊戲複本的情況下完成。
如先前所敍述,錢者可決^不允許其遊戲播放可被他 人檢視,允許其遊戲可在延遲之後檢視,允許其遊戲可被 選定使用者檢視,或允許其遊戲可被所有使用者檢視。不 管怎樣,在—實施财,將視訊/音訊储存於延遲緩衝器 1515中歷時15分鐘,且使用者將能夠「回倒」並檢視其先 前的遊戲播放,且將遊戲暫停,將遊戲緩慢地回放,將遊 戲快進等,正如其在觀看具有數位視訊記錄器(dvr)2Tv 時所能夠進行的。儘管在此實例中,使用者係在玩遊戲, 但若使用者正使用應用程式,則相同「DVR」能力係可用 的。此在核查先前工作申及在如下詳述之其他應用中可係 有用的。另外,若遊戲經設計為具有基於利用遊戲狀態資 訊而回倒之能力,以便可改變相機視圖等,則亦將支援此 3D DVR」能力’但其將需要將遊戲設計為支援「扣 13985I.doc 115· 200952494 dvr」能力。使用延遲緩衝器1515之「DVR」能力將連同 任何遊戲或應用程式(當然,限於在使用遊戲或應用程式 時所產生的視訊)一起起作用,但在具有3D DVR能力之遊 戲的狀況下,使用者可控制先前所播放之片段的3D「穿 . 越且使延遲緩衝器1515記錄所得視訊並記錄遊戲片段 之遊戲狀態。因此,將特^「穿越」記錄為經屢縮之視 訊,但因為亦將記錄遊戲狀態,所以不同的穿越將可能在 遊戲之同一片段之稍後日期。 ❹ 如下所述’主機代管服務210上之使用者將各自具有一 使用者頁面,在該使用者頁面中,使用者可公布關於其本 身之S訊及其他資料。使用者將能夠公布之事情之一為來 自其已保存之遊戲播放之視訊片段。舉例而言,若使用者 已克服遊戲中之特別困難之挑戰’則使用者可剛好「回 倒」至其在遊戲中獲得其大成果之地點之前,且接著指導 主機代管服務210將某一持續時間(例如,3〇秒)之視訊片段 ❿ 保存在使用者之使用者頁面上以供其他使用者觀看。為實 施此’使用者正使用之應用程式/遊戲伺服器1521_1525僅 要做的事情係將儲存於延遲緩衝器丨5丨5中之視訊回放至 raid陣列1511_1512且接著將彼視訊片段編索引於使用者 之使用者頁面上。 若遊戲具有3D DVR之能力,如上所述,則亦可由使用 者來記錄3D DVR所需之遊戲狀態資訊且使其為使用者之 使用者頁面可用。 在遊戲經設計為除具有活躍玩家外亦具有「旁觀者」 139851.doc 116· 200952494 (亦即’能夠在不參與的情況下在3D世界行進並觀察到動 作的使用者)的情況下’則遊戲取景器應用程式將使使用 者能夠作為旁觀者以及玩家加入遊戲。自檢視之實施點 看,對於主機代管系統210而言,使用者為旁觀者而非活 躍玩豕不存在差異。將遊戲載入應用程式/遊戲伺服器 15 21 -15 2 5上且使用者將控制該遊戲(例如,控制檢視世界 之虛擬相機)。唯一差異將係使用者之遊戲體驗。 多個使用者合作 主機代管服務210之另一特徵係多個使用者在檢視現場 直播之視訊的同時合作的能力(即使使用週然不同之器件 來檢視亦如此)。當玩遊戲時及當使用應用程式時,此均 有用。 許多PC及行動電話裝備有視訊相機且具有進行即時視訊 壓縮之能力(尤其當影像小時)。又,小相機可用,可附接 至電視’且以軟體或使用用於壓縮視訊之許多硬體壓縮器 件中之一者來實施即時塵縮並不困難。又,許多PC及所有 行動電話具有麥克風’且耳機在具有麥克風情況下可用。 組合有本端視訊/音訊壓縮能力(特定言之,使用本文中 所描述之低延時視訊壓縮技術)之該等相機及/或麥克風將 使使用者能夠將視訊及/或音訊連同輸入器件控制資料一 起自使用者場所211傳輸至主機代管服務21〇。當使用該等 技術時,則可達成圖19中所說明之能力:使用者可使其視 訊及音訊1900出現於另一使用者之遊戲或應用程式内的螢 幕上。此實例為多人遊戲,其中隊友在賽車中合作。使用 139851.doc 117- 200952494 者之視訊/音訊僅可被其隊友選擇性地檢視/聽到。此外, 因為使用上文所描述之技術將有效地不存在延時,所以玩 家將能夠即時地彼此談話或進行運動而無可感知的延遲。 此視訊/音訊整合係藉由使來自使用者之相機/麥克風的 經壓縮視訊及/或音訊作為入埠網際網路訊務1501到達而 完成。接著,入埠路由1502將該視訊及/或音訊路由至被 准許檢視/聽到視訊及/或音訊之應用程式/遊戲词服器 1521-1525。接著’選擇使用視訊及/或音訊之各別應用程 ® 式/遊戲伺服器1521-1 525的使用者解壓縮視訊及/或音訊且 視需要而將其整合以出現於遊戲或應用程式内,諸如藉由 1900所說明的。 圖19之實例展示如何在遊戲中使用該合作,但該合作可 為用於應用程式之極其強大的工具。考慮一情形:其中一 大建築物正由在芝加哥的建築師為以紐約為基地之房地產 開發商為紐約市設計,但該決策涉及在行進中且碰巧處於 φ 邁阿密機場之財務投資者,且需要關於建築物之特定設計 要素(在其如何搭配其附近之建築物方面)進行決策,以滿 足投資者與房地產開發商兩者。假定建築公司在芝加哥具 有具有附接至PC之相機的高解析度監視器,房地產開發商 在紐約具有具有相機的膝上型電腦,且投資者在邁阿密具 八有相機的行動電話。建築公司可使用主機代管服務 210來主機代管能夠高度逼真3D再現的強大的建築設計應 用程式,且其可利用紐約市之建築物之大資料庫,以及正 〜十的建築物之資料庫。建築設計應用程式將在應用程式, 139851.doc 200952494 遊戲伺服器1521-1525中之一者上(或若其需要大量計算能 力,則在若干者上)執行。處於全異位置處之3個使用者中 之每一者將連接至主機代管服務21〇,且每一者將具有對 建築π计應用程式之視訊輸出的同時檢視,但其將被針對 每-使用者具有的給定器件及網路連接特性而由共用硬體 麼縮1530適當地定大小(例如,建築公司可經由2〇 商
用網際網路連接看見256㈣⑽6Q fps顯心紐約之房地 產開發商可經由其膝上型電腦上之6 Mbps 〇乩連接看見 128〇x72G 6G fps影像,且投f者可經由其㈣電話u 250 Kbps蜂巢式資料連接看見32〇χ18〇 6〇 fps影像)。每一 方將聽到其他方之語音(㈣由應隸式/賴舰器i52i_ 1 525中的許多廣泛可用之會議呼叫套裝軟體中之任一者來 處理會議呼叫),且經由使用者輸入器件上之按鈕之致 動使用者將此夠使用其本端相機使視訊出現。隨著會議 進行,建築師將能夠藉由極具照片般逼真感之3D再現展^ 當其使建築物旋轉且使其鄰接該區域中之另一建築物穿越 時建築物看起來像什麼,且所有方均將在各方之顯示器件 之解析度下可見到相同視訊。由任何方使用之本端器件中 之任一者均能夠以該真實感處理3D動畫不係問題,更不用 說下載或甚至儲存再現紐約市之周圍建築物所需的巨大資 料庫。自使用者中之每一者的觀點看,儘管距離很遠,且 儘管係全異本端器件,但其將簡單地在難以置信之真實感 程度下具有無縫體驗。此外,當一方希望其面部被看來較 佳地傳達其情緒狀態時,其可如此進行。另外,若房地產 139851.doc -119_ 200952494 開發商或投資者希望控制建築 彼广甘* μ机 災用其自身的輸入器 牛(贫、為鍵盤、、滑鼠、小㈣或觸摸螢幕),則其可如此, 且其可以無感知的延時夹^a # 术回應(假定其網路連接不具有不 ❹ ❹ 5理的延時)。舉例而言,在行動電話之狀況下,若行動 電話連接至機場之WiFi網路,則其將具有㈣低之延時。 但若其使用美國現今可用之蜂巢式資料網路,則其很可能 將遭受5丨人注意的滯後n對於會議之大多數目的 (其中投資者正觀看建築師控制建築物穿越或正談論視訊 電話會議),甚至蜂巢式延時亦應係可接受的。 最後’在合作性會議啤叫結束時,房地產開發商及投資 者將進行其評論且自主機代管服務停播,建築公司將能夠 「回倒」已記錄於延遲緩衝器1515上之會議的視訊且核查 在會議期間進行的應用於建築物之㈣評論、面部表 情及/或動作。若存在其教健之特以段,則可將視 訊/音訊之彼等片段自延遲緩衝器1515移動至raid陣列 1511-1512以用於檔案儲存及稍後回放。 又,自成本觀點看,若建築師僅需要使用紐約市之計算 能力及大資料庫歷時15分鐘之會議呼叫,則其僅需要支付 戎等資源被使用之時間的費用,而不必擁有高能力之工作 台且不必講買大資料庫之昂貴複本。 視訊豐富之社S服務 主機代管服務210致能用於在網際網路上建立視訊豐富 之社區服務的空前機會。圖2〇展示用於主機代管服務21〇 上之遊戲玩家的例示性使用者頁面。如同遊戲取景器應用 139851.doc -120- 200952494 程式一樣,使用者頁面為在應用程式/遊戲伺服器i52i_ 1525中之者上執行的應用程式。此頁面上之所有縮略圖 及視訊窗展示恆定地移動的視訊(若片段短,則其循環)。 使用視訊相機或藉由上载視訊,使用者(其用戶名為 「KILLHAZARD」)能夠公布其本身之視訊2〇〇〇(其他使用 者可檢視該視訊)。該視訊儲存於RAID陣列1511_1512上。 又’當其他使用者來到KILLHAZARD之使用者頁面時,若 KILLHAZARD此時正使用主機代管服務21 〇,則將展示其 正進行的無論什麼的現場直播之視訊2〇〇1(假定其准許檢 視其使用者頁面之使用者觀看其)。此將由主機代管使用 者頁面應用程式之應用程式/遊戲伺服器1521_1525自服務 控制系統401請求KILLHAZARD是否為活躍的(且若如此, 則請求其正使用的應用程式/遊戲伺服器152ΐ_ι 525)來完 成。接著,使用由遊戲取景器應用程式使用之相同方法, 將合適解析度及格式的經壓縮視訊流發送至執行使用者頁 面應用程式之應用程式/遊戲伺服器1521-1525且將其顯 示。若使用者選擇具有KILLHAZARD之現場直播之遊戲播 放的窗口且接著適當地單擊其輸入器件,則該窗口將放大 (再次使用與遊戲取景器應用程式相同之方法),且現場直 播之視訊將以觀看使用者之顯示器件422的解析度(適合於 觀看使用者之網際網路連接的特性)填充螢幕。 此優於先前技術方法之關鍵優點係:檢視使用者頁面之 使用者能夠看見使用者不擁有的現場直播地播放的遊戲, 且可不具有能夠玩該遊戲之本端電腦或遊戲控制台。其為 13985I.doc 121 200952494 使用者提供看使用者頁面中展示為「活動中」的使用者玩 遊戲之極好機會,且其為瞭解檢視使用者可能希望嘗試或 較擅長之遊戲的機會。 來自KILLHAZARD之搭檔2002之相機記錄的或上載的視 訊剪輯亦展示於使用者頁面上,且每一視訊剪輯之下方為 指示該搭檔是否線上玩遊戲之文字(例如,six—讣以正玩遊 戲「龍騎士(Eragon)」且MrSnuggleS99離線等)。藉由單擊 選單項(未圖示),搭檔視訊剪輯自展示已記錄的或上载的 視訊切換至當前正玩主機代管服務21〇上之遊戲之搭檔在 彼時刻在其遊戲中正在進行的内容的現場直播之視訊。因 此,其變成為搭檔分群的遊戲取景器,若選擇搭檔之遊戲 且使用者單擊該遊戲,則該遊戲將放大至全螢幕,且使用 者將能夠觀看全螢幕現場直播地播放的遊戲。 再次,檢視搭檔之遊戲之使用者不擁有遊戲之複本,亦 不擁有用於玩該遊戲之本端計算/遊戲控制台資源。遊戲 檢視係有效瞬時的。 如上文先前所描述,當使用者玩主機代管服務21〇上之 遊戲時,使用者能夠「回倒」遊戲且發現其希望保存之視 訊片段,且接著將該視訊片段保存至其使用者頁面。此等 被稱為「自賞剪輯(Brag CHp)」。視訊片段2〇〇3均為由 KILLHAZARD自其所玩的先前遊戲保存的自賞剪輯別们。 數子2004展示自賞剪輯已被檢視多少:欠,及自賞勢輯何時 被檢視,使用者具有對其評定等級之機會,且撥色瑜匙孔 形狀的圖示2005之數目指示等級係多高。當使用者檢視使 I39851.doc -122- 200952494 用者頁面時,自賞剪輯2003連同頁面上之其餘視訊一起恆 定地循環。若使用者選擇並單擊自賞剪輯2003中之一者, 則其放大以呈現自賞剪輯2003,以及允許播放、暫停、回 倒、快進、步進等該剪輯之DVR控制。 自賞剪輯2003回放係藉由應用程式/遊戲伺服器1521_ 1525載入使用者記錄自賞剪輯時儲存於RAID陣列15 i i _ 1512上的經壓縮視訊片段且將其解壓縮並將其回放來實 施0 自賞剪輯2003亦可為來自支援3D DVR能力之遊戲的 「3 D DVR」視訊片段(亦即,來自可被重放且允許使用者 改變相機檢視點之遊戲的遊戲狀態序列)。在此狀況下, 除使用者在記錄遊戲片段時進行的特定「穿越」的經壓縮 視訊記錄之外,亦儲存遊戲狀態資訊。當使用者頁面正被 檢視且所有縮略圖及視訊窗均恆定地循環時,3d DVR自 賞剪輯2003將使在使用者記錄遊戲片段之「穿越」時記錄 為經壓縮視訊的自賞剪輯2003恆定地循環。但是,當使用 者選擇3D DVR自賞剪輯2003並單擊3D DVR自賞剪輯2〇〇3 時,除允許播放經壓縮視訊自賞剪輯的DVR控制之外,使 用者將能夠單擊給出其用於遊戲片段之3D DVR*力的按 鈕。其將能夠獨立地控制遊戲片段期間的相機「穿越」, 且若其希望(且擁有使用者頁面的使用者如此允許),則其 將能夠以經壓縮視訊之形式記錄替代性自賞剪輯「穿 越」,替代性自賞剪輯「穿越 ^ ^牙趄」將接者可為使用者頁面之 其他檢視者所用(立即地,或者在使用者頁面之擁有者具 13985 丨.doc -123· 200952494 有梭查自賞剪輯之機會之後)。 此3D DVR自賞剪輯2003能力係藉由啟動將要在另一應 用程式/遊戲伺服器1521-1525上重放已記錄之遊戲狀態資 的遊戲來啟用。因為遊戲可被幾乎瞬時地啟動(如先前 所描述)’所以啟動其(其播放限於由自賞剪輯片段記錄之 遊戲狀態)且接著允許使用者在將經壓縮視訊記錄至延遲 緩衝器1515的同時用相機進行「穿越」並不困難。一旦使 用者完成進行「穿越」’則將遊戲撤銷啟動。 自使用者之觀點看’啟動具有3D DVR自賞剪輯2003之 「穿越」並不比控制線性自賞剪輯2〇〇3之DVR控制難。其 可不知道該遊戲或甚至不知道如何玩該遊戲。其僅為盯著 看另一操作者記錄的遊戲片段期間之3D世界的虛擬相機操 作者。 使用者將亦能夠將其自身的音訊加錄於自賞剪輯上(或 者自麥克風記錄或者上载以此方式,可使用自賞剪輯 來使用來自遊戲之人物及動作產生定製動晝。此動晝製作 技術通常被稱為「遊戲電影(maehinima)」。 隨著使用者在遊戲中進展,其將達成不同技能級別。所 播放之遊戲將成果報告給服務控制系統4〇1,且此等技能 級別亦將展示於使用者頁面上。 互動式動畫廣告 線上廣告已自文字轉變至靜態影像、視訊,且現在轉變 至互動式片段’通常係使用如Adobe Flash之動畫精簡型用 戶端來實施。使用動畫精簡型用戶端之原因在於:使用者 139851.doc -124- 200952494 對於因向其推銷產品或服務之特權而被延遲較益耐 :。又’精簡型用戶端在非常低效能之pc上執行,且因此 廣告商可具有高度信心:互動式廣告將適當地工作。遺憾 地,諸如Ad°beFlash之動晝_型用戶端在互動性之程度 及體驗(以減少下載時間)之持續時間上受限制。 圖21說明—互動式廣告’其t使㈣將在汽車在陳列室 中旋轉時選擇汽車之外部及内部色彩,同時即時射線追蹤
❹ 展示汽車看起來如何。接_使用者選擇化身來駕驶汽車, 且接著使用者可採用該汽車來用於在競賽軌道上或者穿過 諸如Monaco之外國場所駕駛。使用者可選擇較大引擎或較 佳輪胎,且接著可看見改變的組態如何影響汽車加速或保 持穩定之能力。 當然’廣告有效地的為尖端的3D視訊遊戲。但對於可在 PC或視訊遊戲控制台上播放之此種廣告,其將需要可能 100 MB下載,且在PC之狀況下,其可能需要安裝特殊驅 動器’且可能在PC缺乏足夠cpu或GPU計算能力時根本不 執行°因此’該等廣告在先前技術組態中不切實際。 在主機代管服務210中,該等廣告幾乎即刻地投放,且 較佳地執行,無論使用者之用戶端415能力如何。因此, 其比精簡型用戶端互動式廣告更迅速地投放,體耠上更加 豐富,且高度可靠。 即時動畫期間串流幾何形狀 RAID陣歹ij 1511-1512及入埠路由1502可提供如此快之資 料速率且具有如此低之延時,以致有可能設計依賴於 139851.doc 125· 200952494 RAID陣列15 11-1 5 12及入埠路由1502來在即時動畫(例如, 具有複雜資料庫之穿越)期間於遊戲播放之中間或應用程 式中可靠地直接遞送幾何形狀的視訊遊戲及應用程式。 在先前技術系統(諸如,圖1中所展示之視訊遊戲系統) 下,可用的大量儲存器件(尤其是在實用的家庭器件中)極 緩慢以致不能在遊戲播放期間串流幾何形狀(除了所需之 幾何形狀稍微可預測的情形之外)。舉例而言,在存在指 定道路之駕駛遊戲中’可合理地適當預測用於進入視野内 之建築物的幾何形狀且大量储存器件可提前搜尋即將到來 的幾何形狀所定位的位置。 但在具有不可預測之改變的複雜場景中(例如,在周圍 具有複雜人物之戰役場景中),若PC或視訊遊戲系統上之 RAM完全被填滿用於當前在視圖中之物件的幾何形狀,且 接著使用者突然將其人物轉向以檢視其人物之後為何,若 未將幾何形狀預先載入RAM中’則可能在可顯示幾何形狀 之前存在延遲。 在主機代管服務210中,RAID陣列1511-1512可以超過超 高速乙太網路速度之速度串流資料,且在SAN網路下,有 可能達成優於10個十億位元乙太網路或優於其他網路技術 的100億位元/秒之速度。100億位元/秒將在小於一秒内载 入十億位元組之資料。在60 fps圖框時間(16.67毫秒)内, 可載入約170百萬位元(21 MB)之資料。當然,甚至在 RAID組態中’旋轉媒體亦仍將招致大於一圖框時間之延 時’但以快閃記憶體為基礎之RAID儲存器最終將與旋轉 139851.doc •126- 200952494 媒體RAID陣列一般大且將不會招致該高延時《在一實施 例中,使用經由大量RAM寫入之快取來提供非常低延時之 存取。 因此,在足夠高之網路速度,以及足夠低延時的大量儲 ' 存器下,可與CPU及/或GPU可處理3D資料一般快地將幾 何形狀串流至應用程式/遊戲伺服器1521-1525中。因此, 在先前所給出的實例中,其中使用者突然將其人物轉向且 向後看,可在人物完成旋轉之前載入其身後的所有人物之 β 幾何形狀,且因此,對於使用者而言,將看來似乎其處於 與現場直播之動作一般真實的照片般逼真的世界中。 如先前所論述,照片般逼真的電腦動畫中之最後的邊界 中之一者為人面部’且由於人眼對於不完全性之敏感性’ 來自照片般逼真的面部之最輕微錯誤可導致來自檢視者之 負面反應。圖22展示使用Contour™真實性俘獲技術(以下 同在申請中之申請案的主題:2004年9月15曰申請之第 10/942,609 M,「Apparatus and method for capturing the motion of a performer」;2004 年 9 月 15 曰申請之第 10/942,413 「Apparatus and method for capturing the expression of a performer」;2005 年 2月 25 曰申請之第 11/066,954號 r Apparatus and method for improving marker identification within a motion capture system」;2005年 3 月 10 曰申請之第 11/077,628 號「Apparatus and method for performing motion capture using shutter synchronization」; 2005 年 10 月 20 曰申請之第 11/255,854 號「Apparatus and 139851.doc -127- 200952494 method for performing motion capture using a random pattern on capture surfaces」;2006 年 6月 7 曰申請之第 1 1/449,131 號「System and method for performing motion capture using phosphor application techniques j ; 2006年 6 月 7 日申請之第 11/449,043 號「System and method for performing motion capture by strobing a fluorescent lamp」;2006年6月 7 日申請之第 1/449,127號「System and method for three dimensional capture of stop-motion animated characters」,該等申請案中之每一者已讓於給本 CIP申請案之受讓人)俘獲的現場直播之表演如何導致非常 平滑之俘獲表面’既而達成高多邊形計數的追縱表面(亦 即,多邊形運動精確地追隨面部之運動最後,當將現 場直播之表演之視訊映射於追蹤表面上以產生紋理表面 時,產生照片般逼真的結果。 儘管當前GPU技術能夠再現追蹤表面及紋理中的許多多 邊形且即時地照明該表面,但若多邊形及紋理每一圖框時 間改變(其將產生最具照片般逼真感之結果),則其將迅速 地消耗現代PC或視訊遊戲控制台之所有可用ram。 使用上文所描述之串流幾何形狀技術,將幾何形狀不斷 地馈送至應用程式/遊戲伺服器1521_1525中以使得其可不 斷地動晝製作照片般逼真的面部從而允許產生具有幾乎不 能區別於現場直播之動作面部之面部的視訊遊戲變得實 線性内容舆互動式特徵之整合 139851.doc •128· 200952494 電景/電視節目及音訊材料(統稱「線性内容」)廣泛地 以許多形式可用於家庭及辦公室使用者。線性内容可在如 CD、DVD、HD-DVD及藍光媒體之實體媒體上獲取。其亦 可藉由來自衛星及電纜τν廣播2DVR來記錄。此外,其 了 X ’c由衛星及電規τν之即付即看(ppv)内容及以電镜τν 上之視訊點播(VOD)可用。 日益增加的線性内容可經由網際網路以下載的内容及串 流内谷可用。現今,確實不存在一能體驗與線性媒體相關 ❿ 聯之所有特徵的位置。舉例而言,DVD及其他視訊光學媒 體通常具有在其他位置處不可用之互動式特徵(如導演之 s平淪、「花絮」短片等)。線上音樂站點具有通常在CD上不 可用之封面藝術及歌曲資訊,但並非所有CD線上可用。 且與電視節目相關聯之網站常常具有額外特徵、網志 (blog)及有時來自演員或創作人員之評論。 另外’在許多電影或運動事件之情況下,常常存在常常 ❹ 連同線性媒體一起發行(在電影之狀況下)或(在運動之狀況 下)可緊密地聯繫至真實世界事件(例如,玩家之交易)的視 訊遊戲》 主機代管服務210非常適合於在將全異形式之相關内容 連結在一起時遞送線性内容。的確,遞送電影電影不如遞 送高度互動式視訊遊戲有挑戰,且主機代管服務21〇能夠 將線性内容遞送至家庭或辦公室中的多種器件,或遞送至 行動器件。圖23展示用於主機代管服務21〇之例示性使用 者介面頁面,其展示線性内容之選擇。 139851.doc -129- 200952494 但是,不同於大多數線性内容遞送系統,主機代管服務 210亦能夠遞送相關的互動式成份(例如,dvD上之選單及 特徵、HD-DVD上之互動式上覆,及網站上之Ad〇be FUsh 動畫(如下文所說明))。因此,用戶端器件415限制不再引 入關於哪些特徵可用之限制。 另外,主機代管系統210能夠動態且即時地將線性内容 與視訊遊戲内容連結在一起。舉例而言,若使用者正觀看 哈利波特電影中之Quidditch比赛,且決定其願意嘗試玩 Quidditch,則其可僅僅單擊按鈕且電影將暫停且其將被立 即輸送至哈利波特視訊遊戲之Quidditeh片段。在玩 Quidditch比赛之後,另一次單擊按鈕,且電影將即刻重新 開始。 在照片般逼真的圖形及製作技術之情況下,其中攝影俘 獲的視訊不能區別於現場直播之動作人物,當使用者進行 自現場直播之動作電影中之Quidditch遊戲至主機代管服務 上之視訊遊戲中之Quidditch遊戲的轉變時(如本文中所描 述)’ s亥兩個場景實際上不能區別。此為線性内容與互動 式(例如,視訊遊戲)内容兩者之導演提供全新的創作選 項,因為該兩個世界之間的線變得不能區別。 利用圖14中所展示之主機代管服務架構,可將3E)電影中 之虛擬相機之控制提供給檢視者。舉例而言,在發生於列 車内之場景中’將有可能允許檢視者在故事進展時控制虛 擬相機且環顧列車。此假定列車中之所有3d物件(「資 產」)以及能夠即時地再現該等場景以及原始電影的足夠 139851.doc •130- 200952494 計算能力位準可用β 且甚至對於非電腦產生之娛举 去、 m存在可提供的非常刺激 之互動式特徵。舉例而令 2 〇 〇 ^番茗/「 平妁阳。2005電影「傲慢與偏見」具有 裝飾華麗的舊英國大廈中之 四八恿τ之疔夕祕景。對於特定大厦場 景,使用者可將視訊暫停且接著控制相機以巡視大度,或 可能的周圍區域。為實施此,可載運具有魚眼透鏡之相機 穿過大廈,當其追蹤其位置時,非常類似於實施先前技術
Apple公司之QuickTime VRe各種圖框接著將被轉換因 此影像不失真,且接著其連同電影一起被儲存於raid陣 列15 11-15 12上,且在使用者選擇繼續虛擬巡視時被回 放。 在運動事件之情況下,可經由主機代管服務21〇來串流 現場直播之運動事件(諸如,籃球比赛)以供使用者觀看(如 同其對於常見TV所想要的那樣)^在使用者觀看特定播放 之後’遊戲之視訊遊戲(最終籃球玩家看起來與真實玩家 ❹ 一般照片般逼真)可趕上在同一位置中開始的玩家,且使 用者(可能各自控制一玩家)可重新玩以查看其是否可比該 等玩家做得更佳。 本文中所描述之主機代管服務210極其適合於支援此未 來世界,因為其能夠承受不切實際以致不能安裝於家庭中 或大多數辦公室背景中的計算能力及大容量儲存資源,而 且其計算資源總是最新的(在可用的最新的計算硬體之情 況下),但是在家庭背景中,將總是存在具有較舊代之PC 及視訊遊戲的家庭。此外,在主機代管服務210中,使用 13985I.doc -131 - 200952494 者被隱瞒所有此计异複雜度’因此’即使使用者可能正使 用非常尖端之系統,自使用者之觀點看,亦如改變電視上 之頻道一般簡單。另外,使用者將能夠存取所有計算能力 及計算能力將自任何用戶端415帶來的體驗。 多人遊戲 至遊戲為多人遊戲之程度’則其將能夠不僅經由入埠路 由1502網路傳達至應用程式/遊戲伺服器1521-1525而且藉 由網路橋接器傳達至具有不在主機代管服務21〇中執行之 伺服器或遊戲機器的網際網路(未圖示)。當藉由通用網際 網路上之電腦玩多人遊戲時,則應用程式/遊戲伺服器 1521-1525將具有極快存取網際網路之益處(與遊戲係在家 庭中之伺服器上執行的情況相比),但其將受在較緩慢連 接上玩遊戲之其他電腦的能力限制,且亦潛在地受網際網 路上之遊戲伺服器經設計以適應最少共同點(該等遊戲词 服器將為相對緩慢之消費者網際網路連接上的家庭電腦) 的事實限制。 但當完全在主機代管服務210伺服器中心内玩多人遊戲 時’則可達成極大差異。主機代管用於使用者之遊戲之每 一應用程式/遊戲伺服器1521_1525將與其他應用程式/遊戲 行服器1521-1525以及藉由極高速度、極低延時連接性及 巨大、非常快之儲存陣列主機代管對多人遊戲之中央控制 的任何伺服器互連。舉例而言,若超高速乙太網路用於入 淳路由1502網路,則應用程式/遊戲伺服器1521-1525將在 彼此當中傳達,且傳達至以十億位元/秒速度在潛在的僅i I3985J.doc -132- 200952494 毫秒或1毫秒以下之延時下主機代管對多人遊戲之中央控 制的任何伺服器。另外’ RAID陣列15 11-1512將能夠非常 快速地回應且接著以十億位元/秒速度傳送資料。作為一 實例’若使用者在外表及服裝方面定製人物,以使得人物 具有對於人物而言唯一的大量幾何形狀及行為,在限於在 家庭中在PC或遊戲控制台上執行之遊戲用戶端的先前技術 系統下,若彼人物將進入另一使用者之視野中,則使用者 將必須等待直至長的緩慢下載完成為止,以便將所有幾何 © 形狀及行為資料載入其電腦中。在主機代管服務210内, 彼相同下載可優於以十億位元/秒速度自rAID陣列15 i J _ 1 5 12伺服的超高速乙太網路。即使家庭使用者具有8 Mbps 網際網路連接(其根據現今之標準來看極快),超高速乙太 網路亦快100倍。因此,在快的網際網路連接上花費一分 鐘進行的工作在超高速乙太網路上將花費小於一秒。 頂級玩家分群及錦標赛 ❹ 主機代管服務210極其適合於錦標赛。因為無遊戲係在 本端用戶端中執行,所以不存在使用者作弊之機會。又, 由於輸出路由1540多播UDP流之能力,使得主機代管服務 210能夠同時向觀眾中的數千人廣播較大錦標赛。 事實上,當存在如此風行以致數千名使用者正接收相同 流的特定視訊流時(例如,展示較大錦標赛之視圖卜將視 訊流發送至内容遞送網路(CDN)(諸如,从⑽以或
Limelight)以供至大量分配至許多用戶端器件415可能更 效。 139851.doc -133- 200952494 當使用CDN來展示頂級玩家分群之遊戲取景器頁面時, 可獲得類似位準之效率。 對於較大錦標賽,可使用現場直播的名人解說員來在特 定比賽期間提供評論。儘管大量使用者將係在觀看較大錦 •標赛,且相對小數目將係在錦標赛中玩。可將來自名人解 說員之音訊路由至主機代管在錦標赛中玩之使用者且主機 代管錦標赛中之遊戲之任何旁觀者模式複本的應用程式/ 遊戲㈣器1521_1525,且可將音訊加錄於遊戲音訊之 罾上。可在遊戲上(亦可能剛好在㈣者視圖上)上覆名人解 說員之視訊。 網頁載入之加速 全球資訊網之主要輸送協定、超文字傳送協定(HTTP)係 經構想並界定於-其卡僅商業具有高速網際網路連接,且 線上之/肖費者使用撥號數據機或ISDN的時代中。此時, 用於快速連接之「黃金標準」為丁丨線,其對稱地提供15 _ Mbps資料速率(亦即,兩個方向中具有相等資料速率 現7,情形完全不同。大量發達世界中經由DSL或電纜 數據機連接之平均家庭連接速度具有比丁丨線高得多的下行 資料速率。事實上,在世界之一些地方中,光纖至路邊 (fiber-t〇-the-curb)正將高達50 ]^13{^至1〇〇 Mbps之資料速 率引入家庭。 遺憾地,HTTP未經架構(亦未實施)以有效地利用此等急 劇速度改良。網站為遠端伺服器上之檔案之集合。非常簡 單地說,HTTP請求第一檔案,等待下載該檔案,且接著 139851.doc •134· 200952494 一、 播案’等待下載該樓案等。事實上,HTTP允許 曰個Μ上「開放連接」(亦即,每次請求—個以上槽案), ^ ;議疋的標準(及防止網路伺服器被超載之願望)而使 #僅准許㈣少之開放連接。此外,由於網頁經構造之方 式’劉覽器常常未意識到可用於立即下載之多個同時頁面 (亦即,僅在剖析一頁面之後才變得顯而易見:需要下載 如影像之新槽案)。因此,網站上之槽案實質上係逐個地 貞人。此外,由於由HTTP使用之請求相應協定,存在 與所載入之每一檔案相關聯的大致(存取美國的典型網路 飼服器)10 〇毫秒之延時。 在相對低速連接之情況下,此不會引入大量問題,因為 用於槽案本身之下載時間決定網頁之等待時間。但是,隨 著連接速度增大(尤其是複雜網頁情況下),開始引起問 題。 在圖24中所展示之實例中,展示典型商業網站(此特定 參網站係來自較大運動鞋商標卜網站上具有54個檔案。檔 案包括HTML、CSS、JPEG、PHP、JavaScdpt 及仏^檔 案,且包括視訊内容。在現場直播網頁(亦即,使用者可 單擊其並開始使用其)之前,必須載入總共15 元組。 對於大量檔案存在許多原因。首先,其為複雜且尖端之網 頁,且其次,其為基於關於存取該頁面之使用者之資訊動 態地組合的網頁(例如,使用者來自哪個國家,何種語 言,使用者之前是否進行購買等),且視所有此等因素而 下載不同槽案。但是,其仍為非常典型的商業網頁。 139851.doc 135- 200952494 圖24展示隨著連接速度增大在現場直播網頁之前消逝的 時間量。在1·5 Mbps連接速度2401下,使用具有習知網路 瀏覽器之習知網路伺服器,在現場直播網頁之前花費Ο』 秒。在12 Mbps連接速度2402下,載入時間減少至秒, . 或約快一倍。但在96 Mbps連接速度24〇3下,載入時間僅 減少至約5.5秒。此之原因係因為在此種高下載速度下, 下載檔案本身之時間最小,但每檔案各自大致1〇〇毫秒之 延時仍保持,從而導致54個檔案*100毫秒=54秒之延時。 ❹ 因此,無論至家庭之連接多快,此網站在現場直播之前將 總是花費至少5.4秒。另一因素係伺服器側排入佇列;每 個HTTP請求係在佇列之後部添加,因此在忙碌伺服器 上,此將具有顯著影響,因為對於待自網路伺服器得到的 每個小項目’ HTTP請求需要等待其返回。 解決此等問題之一方式係廢棄或重新界定Ηττρ。或 者,可能使網站擁有者較佳地將其檔案合併成單一檔案 ❹(例如,以Adobe Flash格式)Μ旦是,作為一實際問題,此 公司以及許多他人在其網站架構中具有大量投資。另外, 儘管一些家庭具有12-100 Mbps連接,但大多數家庭仍具 有較緩慢之速度,且HTTP在緩慢速度下確實工作良好。 替代方法係將網路瀏覽器主機代管於應用程式/遊戲 伺服器1521-1 525上,且將用於網路伺服器的檔案主機代 管於RAID陣列1511_1512上(或潛在地主機代管於主機代管 網路瀏覽器之應用程式/遊戲伺服器1521_1525上的RAM中 或本端儲存器上)。由於經由入埠路由15〇2(或至本端儲存 139851.doc -136- 200952494
器)之非常快之互連’並非在使用HTTP下每樓案具有ι〇〇 毫秒之延時’而是在使用HTTP下將存在每檔案最小延 時。接著’並非使家庭中之使用者經由HTTP存取網頁, 而是使用者可經由用戶端415存取網頁。接著,甚至在15 Mbps連接下(因為此網頁不需要大量頻寬來用於其視訊), 網頁亦將在每一線2400小於1秒之時間内處於現場直播。 實質上,在應用程式/遊戲伺服器1521-1525上執行之網路 劉覽器顯示現場直播之頁面之前將不存在延時,且在用戶 端415顯示來自網路瀏覽器之視訊輸出之前將不存在可偵 測到的延時。當使用者使用滑鼠搜尋網頁及/或在網頁上 鍵入予時,將使用者之輸入資訊發送至在應用程式/遊戲 伺服器1521-1525上執行之網路瀏覽器,且網路瀏覽器將 相應地作出回應。 此方法之一不利之處係 .* 叮 T刑 T/U 5TU 貝 料,則使用頻寬’即使網頁變成靜態亦如此。此可藉由組 f壓縮器以僅在(且若)網頁改變時才傳輸資料且接著僅將 資料傳輸至發生改變之頁面部分來補救。#存在具有怪定 地改變的快閃標語等之一些網頁冑,該等網頁傾向於令人 且除非存在要移動某物(例如,視訊剪輯)之原因, 否則通常網頁為靜態的。對於該等網頁,可能為以下狀 。使用主機代官服務21〇將傳輸較少資料(與習知網路词 :器:目比),g為將僅傳輸實際顯示的影像,無精簡型用 戶端可執行碼’且無可能從不被檢視之大 動翻轉影像)。 滾 139S51.doc •137- 200952494 因此,使用主機代管服務210來主機代管舊版網頁,可 將網頁載入時間減少至打開網頁係類似改變電視上之頻道 的程度··有效地即刻地現場直播該網頁。 、 促進遊戲及應用程式之除錢 , 如先前所敍述’具有即時圖形之視tfi遊戲及應用程式為 非常複雜之應用程式且通常當其被發行至該領域中時,其 含有缺陷。儘管軟體開發商將自使用者得到關於缺陷之反 饋,且其可能具有用於在崩潰之後將冑器狀態傳回之一些 β 彳式’但確切地識別是什麼引起遊戲或即時應用程式崩潰 或不適當地執行非常困難。 當遊戲或應用程式在主機代管服務21〇中執行時,將遊 戲或應用程式之視訊/音訊輸出恆定地記錄於延遲緩衝器 1515上。另外,看門狗過程執行每一應用程式/遊戲伺服 器1521-1525 ’該看門狗過程將向主機代管服務控制系統 401定期地報告應用程式/遊戲伺服器1521_1525正平滑地執 行。若看門狗過程未能報告,則伺服器控制系統4〇1將試 圖與應用程式/遊戲伺服器1521_1525通信’且若成功則 將收集可用的無論什麼機器狀態。將無論什麼可用之資訊 連同由延遲緩衝器1515記錄之視訊/音訊一起發送至軟體 開發商。 因此’當遊戲或應用程式軟體開發商自主機代管服務 210得到崩潰之通知時,其得到導致崩潰之原因的圖框接 圖框之紀錄。此資訊在追蹤到缺陷並將其修復中可極具價 值0 139851.doc -138- 200952494 亦注意’當應用程式/遊戲伺服器1521_1525崩潰時,在 最近的可重新啟動之時刻重新啟動伺服器,且將訊息提供 給使用者,從而就技術困難道歉。 資琢共用及成本節省 圖4a及圖4b中所展示之系統為終端使用者與遊戲及應用 程式開發商兩者提供多種益處。舉例而言,通常,家庭及 辦公室用戶端系統(例如,pC或遊戲控制台)僅在一週中之 小百分比之小時中處於使用中。根據由Nielsen娛樂「活 β 躍遊戲者基準點研究」(httP://WWW_prnewswire.c〇m/cgi- bin/stories.pl?ACCT=l〇4&STORY=/www/story/l〇.〇5-2006/ 0004446115&EDATE=)的2006年1〇月5日通信稿,活躍遊戲 者一週平均花費14個小時來在視訊遊戲控制台上玩且約一 週17個小時在掌上型器件上玩^該報告亦陳述:對於所有 遊戲播放活動(包括控制台、掌上型器件及?(:遊戲播放), 活躍遊戲者平均-週13個小時^考慮較高數字之控制台視 e m遊戲播放時間,存在—週2作168個小時,彼暗示在活 躍遊戲者之家中,視訊遊戲控制台僅在一週之17/168 = 1〇% 的小時中處於使用中。或者,9〇%之時間,視訊遊戲控制 台係閒置的。給定視訊遊戲控制台之高成本,及製造商資 助該等器件之事實,此為昂責資源之非常無效率之使用。 ^業内之PC通常亦僅在一週之一分率小時中使用,尤其是 高端應用程式(諸如,Aut〇desk Maya)常常所需的非可攜式 桌上型PC。儘管一些商業在所有小時及假曰操作且一些 PC(例如,帶回家以詩在晚上進行工作的可攜式m係^ 13985l.doc -139- 200952494 所有小時及假日使用’但大多數商業活動傾向於在給定商 業時區中集中於自週-至週五的約9ΑΜ至5ρΜ,較少假 曰及斷開時間(諸如’午餐),且因為大多數pc使用在使用 者積極地利用pc時出現,所以盆、童^ 尸/r U其遵循:桌上型PC利用傾
向於遵循此等操作小時數。若假定一週中之五天的自9 AM 至5 PM怪定地利用PC,則彼將暗示PC在一週之 4〇/168=24%之小時中被利用。高效“上型⑽㈣商 Ο 業之非常昂貴的投資,且此反映非常低之利用I。在桌上 型電腦上教學之學校可在—週之甚至更小分率中使用電 腦’且儘管其視教學之小時數而改變,但大多數教學在自 週一至週五之曰間小時期間出現。因此,-般而言,PC及 視訊遊戲控制台僅在一週之小分率小時中被利用。 值得庄意A因為許多人在非假日之週—至週五之日間 小時期間在商業或在學校H㈣此等人通常在此等小 時期間不玩視訊遊戲,且因此#其確實玩視訊遊戲時,其 通常係在其他小時期間(諸如,晚上、週末及假日)。
、、n定圖4a中所展不的主機代管服務之組態,則上述兩段 中所描述之使用型樣導致資源之非常有效之利用。顯而易 ^存在對於可在給定時間由主機代管服務⑽來伺服之 者的數目的限制,尤其在使用者需要用於複雜應用程 匕尖端观訊遊戲)之即時回應性的情況下。但是,不 :^ I庭巾之視⑶遊戲控制台或由商業使用的PC(其通常 數時間閒置放置),伺服器402可由不同使用者在不 Μ㈣f舉例而言,具有高效能雙C服雙GPU 139851.doc 200952494 及大量RAM之高效能祠服器4〇2可由冑業及學校在非假日 之9 AM至5 PM利用,但由玩尖端視訊遊戲之遊戲者在晚 上、週末及假日利用。類似地,低效能應用程式可由商業 及學校在商業小時期間在具有Ceier〇11 cpu、無GPU(或非 常低端之GPU)及有限RAM之低效能伺服器4〇2上利用且低 效能遊戲可在非商業小時期間利用低效能伺服器4〇2。 另外,在本文中所描述之主機代管服務配置的情況下, 資源係在數千名(若非數百萬名)使用者當中有效地共用。 一般而言,線上服務僅具有其總使用者基礎的小百分比在 給定時間使用服務》若考慮先前所列出的Nie丨sen視訊遊戲 使用統計資料,則容易瞭解為什麼。若活躍遊戲者一週僅 17個小時玩控制台遊戲,且若假定遊戲之峰值使用時間係 在晚上(5-12 AM,7*5天=35小時/週)及週末(8 αμ·12 AM,16*2=32小時/週)的典型非工作、非商業小時期間, 則對於17個小時之遊戲播放’一週存在35 + 32=65個峰值小 ❿ 時。由於以下許多原因而使得難以估計系統上之確切峰值 使用者負載:一些使用者將在峰值外時間期間玩,可能存 在特定曰間時間存在使用者之叢集峰值,峰值時間可受所 玩遊戲之類型(例如,孩子之遊戲將可能係在晚上的較早 時間玩)等影響。但是,假定當遊戲者可能玩遊戲時,遊 戲者玩的平均小時數遠小於日間之小時數,則僅主機代管 服務210之一分率數目之使用者將係在給定時間使用主機 代管服務210。為此分析起見’將假定峰值負载為12 。 因此,僅12.5%之計算、壓、缩及頻寬資源係在給定時間°使 139851.doc -141 - 200952494 用,從而由於資源之再使用而導致僅12·5%之硬體成本來 支援給定使用者玩效能遊戲之一給定級別。 此外,假定一些遊戲及應用程式需要比其他者多的計算 能力,則可基於被使用者玩之遊戲或由使用者執行之應用 程式來動態地分配資源。因此,選擇低效能遊戲或應用程 式之使用者將被分配低效能(較低廉)伺服器402,且選擇高 效能遊戲或應用程式之使用者將被分配高效能(較昂貴司 服器402。實際上,給定遊戲或應用程式可能具有遊戲或 參 應用程式之較低效能及較高效能區,且可在遊戲或應用程 式之區之間將使用者自一伺服器402切換至另一词服器 402 ’以保持使用者在滿足遊戲或應用程式之需要的最低 成本伺服器402上執行。注意’遠比單一磁碟快之RAID陣 列405將可為甚至低效能伺服器402所用,此具有較快磁碟 傳送速率之益處。因此,跨越所有所玩遊戲或所使用之應 用程式的每伺服器402平均成本比玩最高效能遊戲或應用 〇 程式之大多數昂責伺服器402之成本小得多,然而,即使 低效能伺服器402亦將自RAID陣列405得到磁碟效能益 處。 另外,主機代管服務210中之伺服器402可能僅為不具有 磁碟或周邊介面(不同於網路介面)之pc主機板,且恰好, 可向下整合至剛好具有至SAN 4〇3之快速網路介面的單一 =片。又’ RAID陣列彻可能將在比存在磁碟之情況多得 的使用者當中共用’因此每—活躍使时之磁碟成本將 小於-磁碟機。所有此設備將可能駐留於環境上受控制 J39851.doc •142- 200952494 之饲服器室環境中的支架中。若伺服器402出故障,則其 可容易地在主機代管服務210處進行修理或替換。相比之 下’家庭或辦公室中之PC或遊戲控制台必須堅固,必須能 夠倖免於合理之磨損及撕裂以防被重擊或降落的獨立器具 需要一外殼,具有至少一磁碟機,必須倖免於不利的環境 條件(例如’被勉強塞入具有其他用具之過熱Av櫥櫃中), 需要服務保證’必須被封裝及裝運,且由可能收取零售利 潤之零售商來出售。另外,PC或遊戲控制台必須經組態以 滿足將在未來某一時刻使用的計算上最密集之預期遊戲或 應用程式的峰值效能’即使較低效能遊戲或應用程式(或 遊戲或應用程式之區)亦可能在大多數時間玩。此外,若 pc或控制台出故障,則使其得到修理係一昂貴且耗時之過 程(不利地影響製造商、使用者及軟體開發商)。 因此’假定圖4a中所展示之系統將相當於本端計算資源 之體驗的體驗提供給使用者,以供使用者在家庭、辦公室 或學校中體驗給定位準之計算能力,則經由圖4a中所展示 之架構提供彼計算能力要低廉得多。 消除對升級之需要 另外’使用者不必再擔憂將PC及/或控制台升級以玩新 遊戲或處理較高效能之新應用程式。主機代管服務210上 之任何遊戲或應用程式(不管彼等遊戲或應用程式需要何 類製之伺服器402)均可為使用者所用,且所有遊戲及應用 程式接近即刻地執行(亦即’快速地自陣列405或伺服 器402上之本端儲存器載入)且適當地具有最新更新及缺陷 139851.doc -143· 200952494 修復(亦即,軟體開發商將能夠選擇用於執行給定遊戲或 應用程式之伺服器4_想飼服器組態,且接著將飼服 ⑽2組態有最佳驅動器’且接著隨箸時間的推移,開發 商將㈣同時將更新、缺陷修復等提供給主機代管服務 210中之遊戲或應用程式之所有複本卜實際上,在使用者 開始使用主機代管服務210之後,使用者可能發現遊戲及 應用程式繼續提供較佳體驗(例如,經由更新及/或缺陷修 復)且可能為以下狀況:使用者一年後發現新遊戲或應用 ° 程式可用於利用計算技術(例如,較高效能之GPU)(其在一 年前甚至不存在)之服務210上,因此對於使用者而言,將 不可能購貝將在一年後玩遊戲或執行應用程式的一年前之 技術。因為玩遊戲或執行應用程式之計算資源對於使用者 而σ不了見(亦即’自使用者之觀點看,使用者僅係選擇 接近即刻地開始執行之遊戲或應用程式_更像使用者改變 電視上之頻道),所以使用者之硬體將在使用者甚至未意 ❹ 識到升級之情況下已被「升級」。 消除對於備份之需要 對於商業、學校及家庭中之使用者的另一較大問題係備 伤。:¾•磁碟出故障’或若存在無意抹除,則儲存於本端PC 或視訊遊戲控制台中之資訊(例如,在控制台之狀況下, 使用者之遊戲成果及等級)可能丟失。存在提供用於PC2 手動或自動備份的許多可用的應用程式,且可將遊戲控制 台狀態上載至線上伺服器以供備份,但通常將本端備份複 製至必須儲存於安全且有組織的某處之另一本端磁碟(或 139851.doc • 144· 200952494 其他非揮發性儲存器件),且由於經由典型低成本網際網 路連接可用之緩慢上行速度而使得對於線上服務之備份常 常有限在圖4&之主機代管服務210下,儲存於RAID陣列 4G5t之資料可使用為熟習此項技術者所熟知之先前技術 RAID組態技術來組態,以使得當磁碟出故障時將不丟 失資料’且將通知容納出㈣之磁碟之飼服器中心處的技 術員,且接著技術員將替換該磁碟,該磁碟接著將被自動 地更新以使得RAID陣列再一次容忍故障。另外,因為所 #磁碟機彼此接近且其間具有經由SAN彻之快速本端網 路,所以在伺服器中心中將所有磁碟系統配置為定期地備 份至次級儲存器(其可儲存於伺服器中心處或者經易地重 新定位)並不困難。自主機代管服務21〇之使用者之觀點 看,其資料始終完全安全,且其從不必考慮備份。 對演示之存取 使用者經常希望在購買遊戲或應用程式之前試用遊戲或 φ 應用程式。如先前所描述,存在藉以演示(「演示」之動 詞形式意謂試用演示版本,演示版本亦被稱為「演示」, 但作為一名詞)遊戲及應用程式之先前技術構件,但其中 之每者遭觉限制及/或不便利。使用主機代管服務2丨〇, 對於使用者而言,容易且便於試用演示。實際上,使用者 所進行的係經由使用者介面(諸如,下文所描述之使用者 介面)選擇演示且試用該演示。演示將幾乎即刻地載入適 合於該演示之飼服器402上,A其將完全類似任何其他遊 戲或應用程式而執行。無論演示需要非常高效能之飼服器 139851.doc -145- 200952494 402還是低效能之词服器術’且無論使用者使用之家庭或 辦公室用戶端415係何類型’自使用者之觀點看,演示均 m遊戲演示或應用程式演示之軟體出版商將能夠確 切地控制准許使用者試用何演示及試用多長時間,且當 ' 然、,演示可包括為使用者提供獲得對所演示之遊戲或應用 程式之全版本的存取機會的使用者介面要素。 因為演示可能係低於成本價或免費提供,所以一些使用 者可能試圖使用重複的演示(尤其是重複地玩可能有趣的 遊戲廣示)。主機代管服務21 〇可使用各種技術來限制用於 給定使用者之演示使用。最直接的方法係建立用於每一使 用者之使用者ID且限制允許給定使用者1〇播放演示之次 數。然而,使用者可設置多個使用者ID,尤其是其係自由 的情况下。用於解決此問題之一技術係限制允許給定用戶 端415播放演示之次數。若用戶端為獨立器件,則該器件 將具有一序號,且主機代管服務210可限制演示可由具有 參 彼序號之用戶端存取之次數。若用戶端415正以PC或其他 器件上之軟體執行,則可由主機代管服務210來指派序號 且將該序號儲存於PC上並使用該序號來限制演示使用,但 假定PC可由使用者來重新程式化,且序號被抹除或改變, 則另一選項係主機代管服務210保持PC網路配接器媒體存 取控制(MAC)位址(及/或其他機器特定識別符,諸如硬碟 機序號等)之紀錄並將演示使用限制於該MAC位址。假定 可改變網路配接器之MAC位址,然而,此並非極簡單的方 法。另一方法係限制演示可被播放至給定IP位址之次數。 139851.doc -146- 200952494 儘管可由電窥數據機及DSL提供者來週期性地重新指派ιρ 位址,但其在實踐中不會非常頻繁地發生且若可判定 (例如,藉由聯繫ISP)IP係處於用於住宅DSL或電纜數據機 存取之IP位址之區塊中,則通常可建立用於給定家庭的小 數目之演示使用。又,在家庭中在共用同—IP位址之NAT 路由器之後可能存在多個器件,但通常在住宅背景中,將 存在有限數目之該等器件。若IP位址係處於祠服商業之區 塊中,則可建立用於商業之較大數目之演示。但是,最 後,所有先前所述方法之組合係限制Pc上之演示之數目的 最佳方式。㈣可能不存在使得所判冑的且技術上熟練的 使用者可能在重複播放演示之數目中受到限制的極簡單之 方式’但建立大量障礙可建立足夠阻礙以使得大多數PC使 用者不值得費神去溢用演示系統,且相反,其在其意欲試 用新遊戲及應用程式時使用演示。 訝學校、商業及其他機構之益處 φ 顯著益處尤其出現於利用圖4a中所展示之系統之商業、
學校及其他機構。商業及學校具有與安裝、維護及升級pC 相關聯之實質成本,尤其當談及執行諸如帅之高效能應 用程式之PC時。如先前所陳述,Pc通常僅在一週之小時 之分率中被利用,且如在家庭中,具有給定位準之效能 月b力的PC在辦公室或學校環境中之成本遠高於在伺服器中 心環境中之成本。 在較大商業或學校(例如,大的大學)之狀況下,該等實 體之IT部門設置伺服器中心且維護經由LAN級連接而遠端 139851.doc -147· 200952494 ❹ ❹ 地存取之電腦可係實際的。存在用於經由LAN或經由辦公 室之間的私用高頻寬連接而遠端存取電腦的許多解決方 法。舉例而言,藉由Microsoft之Windows終端機伺服器, 或者藉由虛擬網路計算應用程式(如來自RealVNC有限公司 之VNC)或者藉由來自Sun Microsystems之精簡型用戶端構 件,使用者可獲得對PC或伺服器之遠端存取,在圖形回應 時間及使用者體驗中具有一系列品質。另外,該等自行管 理之伺服器中心通常專用於單一商業或學校,且因此不能 夠利用在全異應用程式(例如,娛樂及商業應用程式)在一 週之不同時間利用同一計算資源時所可能的使用之重疊。 因此,許多商業及學校缺乏獨立設置具有至每一使用者之 LAN速度之網路連接的伺服器中心之規模、資源或專門技 能。實際上,大百分比之學校及商業具有與家庭相同之網 際網路連接(例如,DSL、電纜數據機)。 然而’該等組_可能具有對於料高效能之計算的需 要(或者定期地或者週期性地)。舉例而言,小建築公司可 能僅具有小數目之建築師’當進行設計工作時,具有相對 2之計算需要,但其可能週期性地需要非常高效能之3D 例如,當建立用於用戶端之新建築設計的3D穿越 織僅需IΓ所展7""之系統極其適合於該等組織。該等組
Dsr=供至家庭之同一種類之網路連接(例如, DSL、電纜數據機)且通常 作為用戶端415,或去〜 其可利用低廉的肊 或者元全沒有Pr介-r 亦可,而利用僅實施控 刺L琥邏輯413及低延時視訊 解愚縮412之低廉的專用器 I39851.doc 200952494 件。此等特徵對於可能具有pc之偷竊或對pc内之專用組 件之損壞的問題的學校特別有吸引力。 此種配置解決了用於該等組織之許多問題(且許多此等 . 優點亦為進行通用計算之家庭使用者共用)β舉例而言, 操作成本(其最終必須以某種形式傳遞回至使用者以便具 有可行的商業)可能低得多,因為⑷計算資源係與在—週 中具有不同峰值使用時間的其他應用程式共用,(b)該等組 織可僅在需要時獲得(且招致成本)對高效能計算資源之存 取,(C)該等組織不必提供用於備份或以其他方式維護高效 能計算資源之資源。 盗版之消除 另外,遊戲、應用程式、互動式電影等可能不再如現今 這樣被盜版。因為遊戲係在伺服器中心處執行,所以使用 者不具備對於基本程式碼之存取,因此不存在盜版。即使 使用者將要複製原始碼,使用者亦不能夠在標準遊戲控制 Φ 台或家庭電腦上執行該碼。此打開了標準視訊遊戲不可用 之世界各地(諸如,中國)的市場。已使用之遊戲之重新銷 售亦係不可能的。 對於遊戲開發商而言,如同現今之狀況,存在較少市場 不連續性。與全新的一代技術迫使使用者及開發商升級且 遊戲開發商係取決於硬體平台之及時遞送的當前情形對 比’可隨著時間隨著遊戲要求改變而逐漸地更新主機代管 服務210。 串流互動式視訊 139851.doc -149· 200952494 以上描述提供由以通用網際網路為基礎的低延時串流互 動式視訊(其隱含地亦包括連同視訊一起之音訊,如本文 中所使用)之新穎基本概念致能的多種應用。經由網際網 路而提供串流視訊之先前技術系統僅具有可藉由高延時互 動實施的所致能之應用。舉例而言,用於線性視訊之基本 回放控制(例如,暫停、回倒、快進)在高延時下適當地工 作’且有可能線上性視訊饋送當中進行選擇。此外,如先
前所陳述’一些視訊遊戲之性質允許其以高延時來播放。 但疋’用於串流視訊之先前技術方法之高延時(或低壓縮 比率)嚴重限制串流視訊的潛在應用或使其部署變窄至專 門化的網路環境,且甚至在該等環境中,先前技術亦引入 網路上之實質負擔β本文中所描述之技術打開了在經由網 際網路之低延時串流互動式視訊下可能的多種應用的大 門,尤其是經由消費者級網際網路連接而致能之彼等應 用0 實際上,在與圖4(;之用戶端465 一般小之用戶端器件 下’足以藉由有效的任意量之計算能力、任意量之快速储 存及強大飼服器之間的極快網路連接而提供增強的使用者 體驗,其致能新的計算時代。料,因為頻寬要求並不隨 著系統之計算能力增長而增長(亦即,因為頻寬要求僅係 關於顯示解析度、品f及圖框速率),所以—旦寬頻帶網 際網料接性係、普遍存在的(例如,㈣分布廣的低延時 無線涵盖)、可靠的且1右丨、7分η 八有足乂滿足所有使用者之顯示器 件422之需要的足夠高之頻寬,%問題將係典型消費者及 139851.doc •150· 200952494 商業應用所必要的疋厚重用戶端(諸如,執行Win(jows、
Linux、OSX等之PC或行動電§舌)還是甚至精簡型用戶端(諸 如,Adobe Flash或 Java) ° 争流互動式視訊之出現導致關於計算架構之結構的假定 之重新考慮。此之一實例係圖1 5中所展示之主機代管服務 210伺服器中心實施例。用於延遲緩衝〇器及/或分群視訊 1550之視訊路徑係反饋迴路,其中應用程式/遊戲伺服器 1521·1525之經多播之串流互動式視訊輸出經由路徑1552 而即時地或者經由路徑1 5 5 1在可選擇之延遲之後經反饋回 至應用程式/遊戲飼服器1521_1525中。此致能藉由先前技 術伺服器或本端計算架構將係不可能或不可行的多種實際 應用(例如,諸如圖16、圖17及圖2〇中所說明之彼等應 用)仁疋,作為更一般之架構特徵,反饋迴路155〇所提 供的為串流互動式視訊位準下之遞歸,因為可在應用程式 需要視訊時將視訊無限地循環。此致能之前從未可用的多 _ 種應用可能性。 另一關鍵架構特徵在於:視訊流係單向^^流。此有效 地致食b串流互動式視訊之任意程度的多播㈠目比之下,諸 如TCP/IP抓之雙向流將隨著使用者之數目增加而在來自來 口通t之網路上產生愈加更多的訊務停滞)。多播係飼服 。中内之重要能力,gj為其允許系統對網際網路使用者 (且實際上’世界之人口)之增長的需要作出回應以在一對 多或甚至多對多基礎上 嶸上通佗。再次,本文中所論述的說明 Μ動式視訊遞歸與多播兩者之使用的實例(諸如,圖 139851.doc 151 200952494 16)僅為具有可能性之非常大之冰山的尖端。 在一實施例中,本文中所說明之各種功能模組及相關聯 之步驟可由含有用於執行該等步驟之固線式邏輯的特定硬 體組件(諸如,特殊應用積體電路(「ASIC」))或由經程式 化之電腦組件與定製硬體組件之任何組合來執行。 在實施例中’可將該等模組實施於諸如Texas儀器的 TMS320x架構(例如,TMS320C6000、TMS320C5000, • · · 等)之可程式化數位信號處理器(「DSp」)上。可使用各種 不同的DSP,同時仍遵守此等基本原理。 實施例可包括如上文所闡述之各種步驟。該等步驟可體 現於引起通用或專用處理器執行特定步驟之機器可執行指 令中。已將與此等基本原理無關之各種元件(諸如,電腦 s己憶體、硬碟機、輸入器件)自圖中省去以避免混淆相關 態樣。 所揭示之標的物之要素亦可作為用於儲存機器可執行指 令之機器可讀媒體來提供。機器可讀媒體可包括(但不限 於)快閃記憶體、光碟、CD_ROM、DVD ROM、RAM、 EPROM、EEPROM、磁卡或光卡、傳播媒體或適合於儲存 電子指令之其他類型之機器可讀媒體。舉例而言,本發明 可作為電腦程式來下載’該電腦程式可經由通信鏈路(例 如’數據機或網路連接)藉助於體現於載波或其他傳播媒 體中之資料信號而自遠端電腦(例如,伺服器)傳送至請求 電腦(例如,用戶端)。 亦應理解’所揭示之標的物之要素亦可作為電腦程式產 139851.doc •152· 200952494 品來提供,該電腦程式產品可包括在上面儲存有指令之機 =體,該等指令可用於程式化電腦(例如,處理: =他電子器件)以執行-序列操作。或者,該等操作可 藉由硬體與軟體之組合來執行。機器可讀媒體可包括(伸 不限於)軟性磁碟、光碟、CD_R〇M,及磁光碟、細、
❹
Ram、㈣⑽、EEPRGM、磁卡或光卡、傳播媒體或適合 於:存電子指令之其他類型之媒體/機器可讀媒體。舉例 而吕’所揭示之標的物之要素可作為電腦程式產品來下 载,其中程式可經由通信鏈路(例如,數據機或網路連接) 藉助於體現於載波或其他傳播媒體中之資料信號而自遠端 電腦或電子器件傳送至請求過程。 另外’儘管已結合特^實施例描述所揭示之標的物,但 眾多修改及變更將適#地處於本揭示案之料内。因此, 說明書及圖式應視為說明性的而非限制性的意義。 【圖式簡單說明】 圖1說明先前技術視訊遊戲系統之架構。 圖2a至圖2b說明根據一實施例之高階系統架構。 圖3說明用於用戶端與伺服器之間的通信的實際的、額 定的及所需的資料速率。 圖4a說明根據一實施例而使用的主機代管服務及用戶 端。 圖4b說明與用戶端與主機代管服務之間的通信相關聯的 例示性延時。 圖4c說明根據一實施例之用戶端器件。 139851.doc -153· 200952494 圖4d說明根據另一實施例之用戶端器件。 圖4e說明圖4c中之用戶端器件的實例方塊圖。 圖4f說明圖4d中之用戶端器件的實例方塊圖。 圖5說明可根據一實施例而使用的視訊壓縮之一實例形 式。 圖6a說明可在另一實施例中使用的視訊壓縮之一實例形 式。 圖6b說明與傳輸低複雜度、低動作視訊序列相關聯的資 β 料速率中之峰值。 圖6c說明與傳輸高複雜度、高動作視訊序列相關聯的資 料速率中之峰值。 圖7a至圖7b說明在一實施例中使用之實例視訊壓縮技 術。 圖8說明在一實施例中使用之額外實例視訊壓縮技術。 圖9a至圖9c說明在一實施例中使用以用於緩解資料速率 _ 峰值的實例技術。 圖10a至圖10b說明將影像影像塊有效地封裝於封包内的 一實施例。 圖11a至圖lid說明使用前向錯誤校正技術之實施例。 圖12說明使用多核心處理單元來進行壓縮之一實施例。 圖13a至圖13b說明根據各種實施例之主機代管服務之間 的地理定位及通信。 圖14說明與用戶端與主機代管服務之間的通信相關聯的 例示性延時。 139851.doc •154· 200952494 圖15說明實例主機代管服務伺服器中心架構。 圖16說明包括複數個現場直播之視訊窗的使用者介面之 一實施例的實例螢幕拍攝。 圖17說明在選擇特定視訊窗之後的圖16之使用者介面。 圖18說明在將特定視訊窗放大至全螢幕大小之後的圖17 之使用者介面。 圖19說明上覆於多人遊戲之螢幕上的實例合作使用者視 訊資料。 ❹ 參 圖20說明用於主機代管服務上的一遊戲玩家之實例使用 者頁面。 圖21說明實例3D互動式廣告。 圖22說明用於自現場直播之表演的表面俘獲產生具有紋 理表面之照片般逼真的影像的實例步驟序列。 圖23說明允許選擇線性媒體内容之實例使用者介面頁 面。 圖24為說明在現場直播網頁之前消逝的時間量與連接速 度之曲線圖。 【主要元件符號說明】 100 101 102 103 104 105
CPU/GPU 隨機存取記憶體(RAM) 顯示器件(SDTV/HDTV或電腦監視器) 硬碟機 光學媒體驅動器/光學媒體/光碟機 網路連接 139851.doc • 155- 200952494 ❹ 參 106 遊戲控制器 205 用戶端器件/用戶端/用戶端平台 206 網際網路 210 主機代管服務/主機代管系統 211 使用者場所 220 遊戲或應用程式軟體開發商 221 輸入器件 222 顯示器件/監視器或電視機 301 標稱最大資料速率 302 可用最大資料速率 303 所需的資料速率 401 主機代管服務控制系統/主機代管服務控 制伺服器 402 伺服器 403 儲存區域網路(SAN) 404 視訊壓縮邏輯/視訊壓縮器 405 獨立冗餘磁碟陣列(RAID) 406 控制信號 406a 控制信號 406b 控制信號 409 路由邏輯 410 網際網路 412 低延時視訊解壓縮邏輯 413 控制信號邏輯 139851.doc -156- 200952494 415 420 用戶端/用戶端器件/用戶端電腦 顯示器件 421 輸入器件 422 顯示器件/顯示器 440 441 網際網路繞過服務 存在點 442 WAN介面 443 ® 444 防火牆/路由器/NAT(網路位址轉譯)器件 WAN介面 451 452 用於發送控制信號之單向傳輸時間 經由使用者場所之來回行程路由/使用者 場所路由 453 454 455 箭頭/來回行程延遲/使用者Isp 通用網際網路延時 單向路由 456 ❹ 最大單向延時 457 箭頭/壓縮 458 視訊解壓縮 462 463 464 乙太網路插孔/網際網路連接 HDMI(高清晰度多媒體介面)、連接器 顯示能力 465 466 用戶端器件/用戶端 遮光眼鏡 468 顯示器件/SDTV(標準清晰度電視)或 139851.doc -157- 200952494 HDTV (高清晰度電視)/監視器 參 469 輸入器件 475 用戶端器件 476 快閃記憶體 477 視訊相機 478 顯示器件 479 藍芽輸入器件/有 480 匯流排 481 乙太網路介面 482 WiFi子系統 483 控制CPU/控制處 484 藍芽介面 485 USB子系統 486 視訊解壓縮器 487 視訊輸出子系統 488 音訊解壓縮子系 489 音訊輸出子系統 490 HDMI介面 491 DVI-I 492 S -視訊 493 複合視訊 494 數位介面 495 立體類比介面 497 乙太網路 139851.doc -158- 200952494 499 電力 501 502 503 未經壓縮之視訊圖框 未經壓縮之視訊圖框 未經壓縮之視訊圖框 ' 511 經壓縮之圖框 512 經壓縮之圖框 513 經壓縮之圖框 520 壓縮邏輯 ® 559-561 未經壓縮之視訊圖框 611 I圖框 612-613 P圖框 620 壓縮邏輯 621 額定最大資料速率 622 623 624 ❿ 633 可用最大資料速率/可用資料速率 I圖框所需之峰值資料速率/峰值資料速率 視§fl流資料速率/視訊流資料速率序列 I圖框峰值 634 635 視sil流資料速率序列/視訊流資料速率 P圖框峰值 636 P圖框峰值 670 B圖框 671 I圖框 701-760 未經壓縮之圖框 711-770 R圖框 l39S5l.doc -J59- 200952494
721-770 未經壓縮之圖框 731-780 R圖框 805 移動人物 811 R圖框 812 R圖框 922 可用最大資料速率 934 視訊流資料速率 941 峰值資料速率/峰值最大資料速率 942 2倍峰值資料速率 943 3倍峰值資料速率 944 4倍峰值資料速率 952 圖框2倍峰值 953 平坦化的2倍峰值 954 圖框4倍峰值 955 平坦化的4倍峰值 961 未經壓縮之圖框1 962 未經壓縮之圖框2 963 未經壓縮之圖框3 964 未經壓縮之圖框4 965 未經壓縮之圖框5 966 未經壓縮之圖框6 967 未經壓縮之圖框7 968 未經壓縮之圖框8 969 未經壓縮之圖框9 13985 丨.doc -160- 200952494
970 未經壓縮之圖框10 981 經壓縮之圖框1 982 經壓縮之圖框2 983 經壓縮之圖框3 985 經壓縮之圖框5 986 經壓縮之圖框6 987 經壓縮之圖框10 991 傳輸時間(xmit時間) 992 傳輸時間 993 傳輸時間(2倍峰值) 995 傳輸時間 996 傳輸時間(4倍峰值) 997 傳輸時間 1001-1005 封包 1010 影像塊包裝封裝邏輯 1100 I影像塊 1101 前向錯誤校正碼(FEC) 1103 I影像塊 1104 前向錯誤校正碼(FEC) 1105 前向錯誤校正碼(FEC) 1110 音訊封包 1111 F E C碼 1112 音訊封包 1113 FEC碼 139851.doc • 161 - 200952494 1120 使用者輸入命令 1121 FEC碼 1122 使用者輸入命令 1123 FEC碼 ' 1200 多核及/或多處理器 1201-1208 核心 1205 4x2配置/未經壓縮之圖框 1300 伺服器中心/主機代管服務 ® 1301 網路 1501 入埠網際網路訊務 1502 入埠路由/入埠路由網路 1511 RAID陣列 1512 RAID陣歹ij 1515 1521-1525 1529 ❹ 1530 1539 1540 1550 1551 RAID陣列/延遲緩衝器 應用程式/遊戲伺服器 未經壓縮之視訊/音訊 共用視訊壓縮/共用集區/共用硬體壓縮/ 共用硬體壓縮器/共用視訊壓縮硬體 經壓縮視訊/音訊輸出 出埠路由/出埠路由網路 延遲緩衝器及/或分群視訊/反饋迴路 路徑 1552 路徑 1599 出埠網際網路訊務 139851.doc ,162· 200952494 1600 「縮略圖」視訊窗 1601 黃色選擇框 1602 遊戲資訊 1700 視訊窗 ' 1800 箭頭 1801 上覆 1900 視訊及音訊 2000 使用者本身之視訊 © 2001 現場直播之視訊 2002 搭檔 2003 視訊片段/自賞剪輯/3D DVR自賞剪輯 2004 數字 2005 圖示 2400 線 2401 1.5 Mbps連接速度 2402 12 Mbps連接速度 2403 96 Mbps連接速度 HS1-HS6 主機代管服務伺服器中心 139851.doc 163-
Claims (1)
- 200952494 七、申請專利範圍: 1. 一種方法,其包含: 藉由一伺服器中心經由一離埠網際網路運輸介面多播 多個串流互動式視訊/音訊串流至多個目的地,一既定視 訊/音訊串流同時被路由至多個目的地; 於該伺服器中心之一延遲緩衝器接收該等視訊/音訊串 流之至少-者,該延遲緩衝器儲存該等視訊/音訊串 至少_奢之一可重複播放部分。 ❹ ❹ 139851.doc
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US99971307A | 2007-12-05 | 2007-12-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW200952494A true TW200952494A (en) | 2009-12-16 |
Family
ID=40718182
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097147266A TWI536804B (zh) | 2007-12-05 | 2008-12-04 | 基於通信頻道之已偵測之資料速率以壓縮視訊的系統及方法 |
TW98115434A TW200952494A (en) | 2007-12-05 | 2008-12-04 | Method for multicasting views of real-time streaming interactive video |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097147266A TWI536804B (zh) | 2007-12-05 | 2008-12-04 | 基於通信頻道之已偵測之資料速率以壓縮視訊的系統及方法 |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP2218038A4 (zh) |
JP (1) | JP2011508995A (zh) |
KR (1) | KR20100103547A (zh) |
CN (1) | CN101918955A (zh) |
AU (1) | AU2008333826A1 (zh) |
CA (1) | CA2707727A1 (zh) |
RU (1) | RU2491757C2 (zh) |
TW (2) | TWI536804B (zh) |
WO (1) | WO2009073824A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8888592B1 (en) | 2009-06-01 | 2014-11-18 | Sony Computer Entertainment America Llc | Voice overlay |
US8613673B2 (en) | 2008-12-15 | 2013-12-24 | Sony Computer Entertainment America Llc | Intelligent game loading |
US8147339B1 (en) | 2007-12-15 | 2012-04-03 | Gaikai Inc. | Systems and methods of serving game video |
US8968087B1 (en) | 2009-06-01 | 2015-03-03 | Sony Computer Entertainment America Llc | Video game overlay |
US8926435B2 (en) | 2008-12-15 | 2015-01-06 | Sony Computer Entertainment America Llc | Dual-mode program execution |
US8506402B2 (en) | 2009-06-01 | 2013-08-13 | Sony Computer Entertainment America Llc | Game execution environments |
TWI404405B (zh) * | 2009-12-25 | 2013-08-01 | Mstar Semiconductor Inc | 具有螢幕顯示功能之影像處理裝置及影像處理方法 |
US8771064B2 (en) | 2010-05-26 | 2014-07-08 | Aristocrat Technologies Australia Pty Limited | Gaming system and a method of gaming |
US8676591B1 (en) | 2010-08-02 | 2014-03-18 | Sony Computer Entertainment America Llc | Audio deceleration |
US10039978B2 (en) | 2010-09-13 | 2018-08-07 | Sony Interactive Entertainment America Llc | Add-on management systems |
KR102003007B1 (ko) | 2010-09-13 | 2019-07-23 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하는 방법 및 시스템 |
US9681236B2 (en) * | 2011-03-30 | 2017-06-13 | Sonova Ag | Wireless sound transmission system and method |
GB2514777B (en) * | 2013-06-03 | 2018-12-19 | Displaylink Uk Ltd | Management of memory for storing display data |
US9532043B2 (en) | 2013-08-02 | 2016-12-27 | Blackberry Limited | Wireless transmission of real-time media |
US9525714B2 (en) | 2013-08-02 | 2016-12-20 | Blackberry Limited | Wireless transmission of real-time media |
CN103532936A (zh) * | 2013-09-28 | 2014-01-22 | 福州瑞芯微电子有限公司 | 一种蓝牙音频自适应传输方法 |
CN103533387B (zh) * | 2013-10-21 | 2016-08-17 | 腾讯科技(深圳)有限公司 | 一种视频直播控制方法、设备及系统 |
US10657674B2 (en) | 2016-06-17 | 2020-05-19 | Immersive Robotics Pty Ltd. | Image compression method and apparatus |
US11150857B2 (en) | 2017-02-08 | 2021-10-19 | Immersive Robotics Pty Ltd | Antenna control for mobile device communication |
EP3714598A4 (en) | 2017-11-21 | 2021-03-31 | Immersive Robotics Pty Ltd | SELECTING A FREQUENCY COMPONENT FOR IMAGE COMPRESSION |
EP3714602A4 (en) | 2017-11-21 | 2021-07-28 | Immersive Robotics Pty Ltd | IMAGE COMPRESSION FOR DIGITAL REALITY |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2138603C (en) * | 1994-01-05 | 2004-07-06 | John William Chaney | Memory for processing a program guide as for a satellite tv service |
JPH10294927A (ja) * | 1997-04-18 | 1998-11-04 | Hitachi Ltd | 動画像データの通信方法および動画像データの記録再生方法ならびに記憶媒体 |
US6409602B1 (en) * | 1998-11-06 | 2002-06-25 | New Millenium Gaming Limited | Slim terminal gaming system |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
CN1167271C (zh) * | 2001-01-10 | 2004-09-15 | 华为技术有限公司 | 压缩编码图像传输中的误码处理方法 |
US20030012287A1 (en) * | 2001-03-05 | 2003-01-16 | Ioannis Katsavounidis | Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream |
US7295608B2 (en) * | 2001-09-26 | 2007-11-13 | Jodie Lynn Reynolds | System and method for communicating media signals |
US7020203B1 (en) * | 2001-12-21 | 2006-03-28 | Polycom, Inc. | Dynamic intra-coded macroblock refresh interval for video error concealment |
WO2005065085A2 (en) * | 2003-12-21 | 2005-07-21 | Kremen Stanley H | System and apparatus for recording, transmitting, and projecting digital three-dimensional images |
JP4447443B2 (ja) * | 2004-12-13 | 2010-04-07 | 株式会社日立国際電気 | 画像圧縮処理装置 |
WO2006100664A2 (en) * | 2005-03-21 | 2006-09-28 | Yosef Mizrahi | Method, system and computer-readable code for providing a computer gaming service |
US20060230428A1 (en) * | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
EP1768346A1 (en) * | 2005-09-23 | 2007-03-28 | Microsoft Corporation | Provision of game applications across a network according to the display characteristics of a user terminal |
-
2008
- 2008-12-04 TW TW097147266A patent/TWI536804B/zh active
- 2008-12-04 RU RU2010127311/08A patent/RU2491757C2/ru active
- 2008-12-04 TW TW98115434A patent/TW200952494A/zh unknown
- 2008-12-04 EP EP08858233.3A patent/EP2218038A4/en not_active Withdrawn
- 2008-12-04 JP JP2010537084A patent/JP2011508995A/ja active Pending
- 2008-12-04 KR KR1020107014749A patent/KR20100103547A/ko not_active Application Discontinuation
- 2008-12-04 AU AU2008333826A patent/AU2008333826A1/en not_active Abandoned
- 2008-12-04 WO PCT/US2008/085599 patent/WO2009073824A1/en active Application Filing
- 2008-12-04 CN CN200880119393.0A patent/CN101918955A/zh active Pending
- 2008-12-04 CA CA2707727A patent/CA2707727A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN101918955A (zh) | 2010-12-15 |
RU2010127311A (ru) | 2012-01-10 |
TW200943965A (en) | 2009-10-16 |
EP2218038A4 (en) | 2013-06-05 |
WO2009073824A1 (en) | 2009-06-11 |
EP2218038A1 (en) | 2010-08-18 |
TWI536804B (zh) | 2016-06-01 |
JP2011508995A (ja) | 2011-03-17 |
KR20100103547A (ko) | 2010-09-27 |
RU2491757C2 (ru) | 2013-08-27 |
CA2707727A1 (en) | 2009-06-11 |
AU2008333826A1 (en) | 2009-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI399982B (zh) | 用以壓縮串流互動視訊之系統 | |
TWI459215B (zh) | 用於將程式碼及資料儲存於應用程式主機代管中心內之系統及方法 | |
RU2504908C2 (ru) | Система для проведения совместных конференций с использованием интерактивного потокового видео | |
TWI528832B (zh) | 使用包括與成功接收視訊內容相關之資料之反饋的視訊壓縮方法及系統 | |
TWI592198B (zh) | 加速機構切換之系統和方法 | |
RU2496135C2 (ru) | Интерактивное потоковое видео, интегрированное с записываемыми сегментами | |
TWI554115B (zh) | 基於反饋資料來選擇視訊編碼格式的方法及系統 | |
RU2503998C2 (ru) | Хостинг и широковещательная передача виртуальных событий с использованием потоковой передачи интерактивного видео | |
TWI536805B (zh) | 使用一選定影像塊及影像塊旋轉圖案於視訊編碼之系統與方法 | |
TWI558109B (zh) | 基於來自用戶端器件之反饋資訊來壓縮視訊圖框或其部分之方法及系統 | |
RU2493667C2 (ru) | Способ объединения линейного содержимого и интерактивного содержимого, сжатых вместе в качестве потокового интерактивного видео | |
RU2496141C2 (ru) | Система для объединения записанного состояния приложения с выводом интерактивного потокового видео приложения | |
RU2500022C2 (ru) | Потоковое интерактивное видеоклиентское устройство | |
TWI530163B (zh) | 基於延時量測及其他反饋之壓縮視訊之系統及方法及機器可讀媒體 | |
TWI536804B (zh) | 基於通信頻道之已偵測之資料速率以壓縮視訊的系統及方法 | |
TWI536806B (zh) | 使用多個編碼格式之多串流視訊壓縮之系統及方法 | |
RU2510591C2 (ru) | Система для объединения множества видов интерактивного потокового видео в режиме реального времени | |
RU2509419C2 (ru) | Способ групповой передачи видов интерактивного потокового видео в реальном времени | |
TWI475843B (zh) | 用於多串流視訊壓縮之系統及方法 | |
TWI501589B (zh) | 利用前向錯誤更正之視訊壓縮系統及方法 | |
RU2493583C2 (ru) | Система для рекурсивного восстановления потокового интерактивного видео | |
TWI545938B (zh) | 臨時解碼器裝置及方法 | |
RU2491756C2 (ru) | Система и способ защиты определенных типов мультимедийных данных, передаваемых по каналу связи | |
RU2493588C2 (ru) | Система и способ сжатия видео на основе обнаруженного внутрикадрового движения | |
RU2493585C2 (ru) | Система и способ видеокомпрессии для уменьшения влияния потери пакетов в канале связи |