TWI532005B - An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium - Google Patents
An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium Download PDFInfo
- Publication number
- TWI532005B TWI532005B TW102124501A TW102124501A TWI532005B TW I532005 B TWI532005 B TW I532005B TW 102124501 A TW102124501 A TW 102124501A TW 102124501 A TW102124501 A TW 102124501A TW I532005 B TWI532005 B TW I532005B
- Authority
- TW
- Taiwan
- Prior art keywords
- animation
- block
- encoded
- screen
- delivery server
- Prior art date
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
本發明係關於一種動畫配送伺服器、動畫再生裝置、控制方法、程式、及記錄媒體,尤其關於一種編碼動畫資料之串流(streaming)配送技術。
可連接網路之個人電腦(PC)等用戶端機器正不斷普及。因此種機器之普及,網際網路中之網路人口不斷增加。近年來,對於網路使用者利用網際網路之各種服務不斷開展,亦提供有遊戲等娛樂服務。
作為對於網路使用者之服務之一,存在MMORPG(Massively Multiplayer Online Role-Playing Game,大型多人線上角色扮演遊戲)等多人同時參加型網路遊戲。於多人同時參加型網路遊戲中,可藉由將使用者所使用之用戶端機器連接於提供遊戲之伺服器機器,而進行與使用連接於該伺服器機器之用戶端機器之使用者之對戰遊戲或協力遊戲。
於普通性多人參加型網路遊戲中,用戶端機器於與伺服器機器之間進行遊戲之繪製所必需之資料之收發。用戶端機器使用接收之繪製所必需之資料執行繪製處理,且將生成之遊戲畫面提示給連接於用戶端機器之顯示裝置,藉此,對使用者提供遊戲畫面。又,藉由使用者操作輸入介面而輸入之資訊係發送至伺服器機器,從而用於伺服器機器中之運算處理、或傳輸至連接於伺服器機器之其他用戶端機器。
然而,於利用此種用戶端機器進行繪製處理之網路遊戲中,存在使用者必需使用具有充分之繪製性能之PC或專用之遊戲機之遊戲。因此,導致網路遊戲(1內容)之使用者數量依存於內容所要求之用戶端機器之性能。高性能之機器必然高價,且能夠擁有該機器之使用者亦有限。即,例如提供美麗之圖形之遊戲等要求較高繪製性能之遊戲將難以增加使用者數量。
對此,近年來,亦提供有不依存於用戶端機器之繪製性能等處理能力,而使用者可進行遊戲之遊戲。於如專利文獻1般之遊戲中,伺服器機器獲取用戶端機器中實施之操作之資訊,對用戶端機器提供利用該資訊執行繪製處理所得之遊戲畫面。
先前技術文獻
專利文獻
專利文獻1:國際公開第2009/138878號說明書
於如上述專利文獻1般之遊戲中,伺服器機器對用戶端機器所提供之遊戲畫面為了削減發送之資訊量,而以經編碼之動畫資料之形態提供。雖然亦依存於所採用之編碼方式,但於例如MPEG(Moving Picture Experts Group,動畫專家群)標準般之普通動畫編碼方式中,對於將1框影像分割而成之各區塊,進行不伴有動態補償之框內編碼(框內編碼)、或伴有框間預測之動態補償之框間編碼(框間編碼)。於各個編碼方式中存在壓縮效率良好之被攝體,一般而言,生成對各區塊進行框內編碼及框間編碼之各者之區塊(iblock、pblock),使壓縮效率較高之區塊包含於編碼資料。
框內編碼係將壓縮對象之區塊之影像未經加工地應用DCT(Discrete Cosine Transform,離散餘弦轉換)轉換及運行長度編碼等進行壓縮。另一方面,框間編碼係生成壓縮對象之區塊之影像與自前一框之影像擷取之與該區塊對應之參照影像之差分影像,且應用DCT轉換及運行長度編碼等進行壓縮。因此,於框間編碼中,包含對前一框之影像,確定與壓縮對象之區塊之影像之相關性最高之區域的處理。由於此種相關性最高之區域之檢測之處理係對於前一框之影像,一面使評價區域移動,一面算出與壓縮對象之區塊之影像之相似度及距離,進行分析,故而存在分析處理需要時間之情況。
尤其,於繪製內容相應於使用者之輸入而交互地變化之遊戲等中,要求即時性、即對於輸入之高速回應,從而限制動畫編碼處理所需之時間。於此種情形時,要求高速地進行對於各區塊之編碼處理、以及進行框內編碼及框間編碼中之何者之判斷處理。然而,至今尚未揭示有關於高速且有效地將繪製之畫面進行動畫編碼之具體方法。
本發明係鑒於上述問題研製而成者,其目的在於提供一種高速且有效地將藉由繪製處理而獲得之畫面進行動畫編碼之動畫配送伺服器、動畫再生裝置、控制方法、程式、及記錄媒體。
為達成上述目的,本發明之動畫配送伺服器具備以下構成。
其特徵在於具有:獲取手段,其依序獲取決定進行繪製之畫面之視點資訊;繪製手段,其係使用由獲取手段獲取之視點資訊,藉由至少2階段之繪製處理而繪製提供畫面者,且於前段之繪製處理中,生成後段之繪製處理中進行參照之包含深度圖之特定之頻道之中間值貼圖,於後段之繪製處理中參照該中間值貼圖,繪製提供畫面;分割手段,其係於第1畫面之
後段之繪製處理之執行中,獲取對於第1畫面而生成之中間值貼圖中之深度圖,且分割成複數個區塊;確定手段,其係對於複數個區塊之各者,確定較第1畫面之前繪製之第2畫面之深度圖中之與該區塊對應的區域;編碼手段,其係於第1畫面之後段之繪製處理之結束後,對於複數個區塊中之與由確定手段確定之對應之區域之相似度為閾值以上的區塊,於第1畫面之該區塊之影像與第2畫面之對應之區域之影像之間進行框間編碼,且對於與由確定手段確定之對應之區域之相似度未達閾值的區塊,對第1畫面之該區塊之影像進行框內編碼,藉此,生成編碼動畫資料;及發送手段,其對外部裝置進行資料之發送;且發送手段於利用編碼手段之第1畫面之各區塊之編碼動畫資料之生成結束前,對於複數個區塊中之與對應之區域之相似度為閾值以上的區塊,將確定該區塊及對於該區塊之對應之區域之確定資訊發送至外部裝置,於利用編碼手段之第1畫面之各區塊之編碼動畫資料之生成結束後,將該編碼動畫資料發送至外部裝置。
為達成上述目的,本發明之動畫再生裝置具備以下構成。其係自動畫配送伺服器依序獲取1框之畫面經編碼之編碼動畫資料,並將其解碼進行再生者;其特徵在於具有:第1接收手段,其接收對於第1畫面經編碼之第1編碼動畫資料,確定經框間編碼之區塊及用於該區塊解碼之參照資料之確定資訊;解碼預處理手段,其根據由第1接收手段接收之確定資訊,自將第1編碼動畫資料之前所獲取之第2編碼動畫資料解碼所得之第2畫面生成用於第1編碼動畫資料之解碼之關於經框間編碼之各區塊的參照資料;第2接收手段,其於確定資訊之接收後,自動畫配送伺服器接收第1編碼動畫資料;及解碼手段,其使用藉由解碼預處理手段而生成之關於經框間編碼之各區塊之參照資料,將由第2接收手段接收之第1編碼動畫資料解碼進行再生。
藉由此種構成,根據本發明,可高速且有效地將藉由繪製處理而獲得之畫面進行動畫編碼。
根據參照隨附圖式之以下之說明可明確本發明之其他特徵及優點。再者,於隨附圖式中,對相同或同樣之構成標註相同參照編號。
100‧‧‧PC
101‧‧‧CPU
102‧‧‧ROM
103‧‧‧RAM
104‧‧‧解碼部
105‧‧‧通訊部
106‧‧‧顯示部
107‧‧‧操作輸入部
200‧‧‧動畫配送伺服器
201‧‧‧伺服器CPU
202‧‧‧伺服器ROM
203‧‧‧伺服器RAM
204‧‧‧伺服器GPU
205‧‧‧伺服器VRAM
206‧‧‧伺服器編碼部
207‧‧‧伺服器記錄媒體
208‧‧‧伺服器通訊部
300‧‧‧網路
1100‧‧‧中央伺服器
1101‧‧‧中央CPU
1102‧‧‧中央ROM
1103‧‧‧中央RAM
1104‧‧‧中央通訊部
隨附圖式係包含於說明書,且構成該說明書之一部分,表示本發明之實施形態,且與其記述一併用於說明本發明之原理。
圖1係表示本發明之實施形態1之動畫配送系統之系統構成的圖。
圖2係表示本發明之實施形態之PC100之功能構成的方塊圖。
圖3係表示本發明之實施形態之動畫配送伺服器200之功能構成的方塊圖。
圖4係例示本發明之實施形態之動畫配送伺服器200之動畫配送處理的流程圖。
圖5係例示本發明之實施形態之繪製目標之資料結構的圖。
圖6係例示本發明之實施形態之動畫配送伺服器200之編碼處理的流程圖。
圖7係例示本發明之實施形態之PC100之動畫再生處理的流程圖。
圖8係例示本發明之實施形態之PC100之解碼預處理的流程圖。
圖9係例示本發明之實施形態之動畫配送系統之整體處理的流程圖。
圖10係用以說明本發明之實施形態之被認為相關性最高之區域之推斷方法的圖。
圖11係表示本發明之實施形態2之動畫配送系統之系統構成的圖。
圖12係表示本發明之實施形態2之中央伺服器之功能構成的方塊圖。
圖13係例示本發明之實施形態2之PC100之開始時處理的流程圖。
圖14係例示本發明之實施形態2之中央伺服器1100之提供伺服器決定處理的流程圖。
[實施形態1]
以下,參照圖式,對本發明之例示性實施形態進行詳細說明。再者,以下說明之一實施形態係對本發明應用於作為動畫配送系統之一例之動畫再生裝置即PC100、及配送動畫之動畫配送伺服器200之例進行說明。
《動畫配送系統之構成》
圖1係表示本發明之實施形態之動畫配送系統之系統構成的圖。
如圖示般,PC100與動畫配送伺服器200係經由網際網路等網路300而連接。於本實施形態中,PC100作為動畫配送內容之一例係以編碼動畫資料接收動畫配送伺服器200中執行之遊戲內容之遊戲畫面。於本實施形態中,動畫配送伺服器200係接收於PC100中實施之操作(使用者輸入),並逐框地繪製與該操作對應之遊戲畫面。繼而,動畫配送伺服器200將編碼繪製之遊戲畫面所得之編碼動畫資料配送至PC100。又,若PC100自動畫配送伺服器200接收編碼動畫資料,則將該編碼動畫資料解碼進行再生,藉此,可對使用者提供遊戲畫面。
再者,於本實施形態中,作為動畫配送內容之一例,對提供藉由於網路300上之動畫配送伺服器200中執行之遊戲程式而繪製之遊戲畫面的內容進行說明,但本發明之實施並不限於此。動畫配送伺服器200若為藉由繪製處理而繪製提供至配送對象之動畫配送內容之1框,且配送藉由對於各框進行之編碼處理而獲得之編碼動畫資料之構成即可。又,1框之畫面之繪製不一定必需於動畫配送伺服器200中執行,例如亦
可藉由外部之繪製伺服器而執行。
又,本實施形態係使用PC100作為連接於動畫配送伺服器200之用戶端機器進行說明,但本發明之實施並不限於此。例如與動畫配送伺服器200連接之用戶端機器只要為家庭用遊戲機、掌上型遊戲機、行動電話、PDA(Personal Digital Assistant,個人數位助理)、輸入板等可將自動畫配送伺服器200接收之編碼動畫資料解碼進行再生的機器即可。
<PC100之構成>
圖2係表示本發明之實施形態之PC100之功能構成的方塊圖。
CPU101係控制PC100所具有之各區塊之動作。具體而言,CPU101藉由將例如記憶於ROM102之動畫再生處理之動作程式讀出,且於RAM103展開執行,而控制各區塊之動作。
ROM102係例如可重寫之非揮發性記憶體。ROM102係不僅記憶動畫再生處理等之動作程式,而且記憶PC100所具有之各區塊之動作所需之常數等資訊。
RAM103係揮發性記憶體。RAM103不僅用作動作程式之展開區域,而且亦用作暫時記憶在PC100所具有之各區塊之動作中所輸出之中間資料等的儲存區域。
解碼部104係對於下述通訊部105所接收之編碼動畫資料進行解碼處理,生成1框之遊戲畫面。又,解碼部104係於進行對於編碼動畫資料之解碼處理之前,進行準備用於該解碼處理之參照資料之解碼預處理。對於解碼部104中執行之解碼預處理及解碼處理,將於下述動畫再生處理中進行詳細敍述。
通訊部105係PC100所具有之通訊介面。通訊部105係進行於與經由網路300而連接之動畫配送伺服器200等其他機器之間之資料收發。於資料發送時,通訊部105將資料轉換成與網路300或發送對象之
機器之間所規定之資料傳輸形式,進行向發送對象之機器之資料發送。又,於資料接收時,通訊部105將經由網路300而接收之資料轉換成於PC100中可讀取之任意之資料形式,記憶於例如RAM103。
再者,本實施形態係對PC100與動畫配送伺服器200經由網路300連接之情況進行說明,但應容易地想像亦可為例如PC100與動畫配送伺服器200直接由電纜連接之形態。
顯示部106係連接於例如LCD監視器等PC100之顯示裝置。顯示部106係進行將輸入之遊戲畫面顯示於顯示區域之顯示控制。再者,顯示部106可為如膝上型PC般內置於PC100之顯示裝置,亦可為使用電纜而外部連接於PC100之顯示裝置。
操作輸入部107係例如滑鼠、鍵盤、遊戲板等PC100所具有之使用者介面。操作輸入部107若檢測到藉由使用者而實施使用者介面之操作,則對CPU101輸出與該操作對應之控制訊號。
<動畫配送伺服器200之構成>
圖3係表示本發明之實施形態之動畫配送伺服器200之功能構成的方塊圖。
伺服器CPU201係控制動畫配送伺服器200所具有之各區塊之動作。具體而言,伺服器CPU201係藉由將例如記憶於伺服器ROM202之動畫配送處理之動作程式讀出,且於伺服器RAM203中展開執行,而控制各區塊之動作。
伺服器ROM202係例如可重寫之非揮發性記憶體。伺服器ROM202不僅記憶動畫配送處理等之動作程式,而且亦記憶動畫配送伺服器200所具有之各區塊之動作中所需之常數等資訊。
伺服器RAM203係揮發性記憶體。伺服器RAM203不僅用作動作程式之展開區域,而且亦用作暫時記憶動畫配送伺服器200所具有
之各區塊之動作中輸出之中間資料等的儲存區域。
伺服器GPU(graphics processing unit,圖形處理單元)204係進行顯示於PC100之顯示部106之遊戲畫面之生成。於伺服器GPU204中連接有伺服器VRAM(video random access memory,視訊隨機存取記憶體)205。伺服器GPU204係若自伺服器CPU201接收到繪製命令及用於遊戲畫面之繪製之相機之位置及方向之資訊(視點資訊),則例如自下述伺服器記錄媒體207中將該繪製命令之繪製目標讀出,並儲存於GPU記憶體。於伺服器GPU204係於對連接之伺服器VRAM205進行繪製之情形時,當進行繪製目標之向快取記憶體之展開之後,將該展開後之繪製目標寫入至伺服器VRAM205。
再者,本實施形態之伺服器GPU204係於與遊戲畫面之生成相關之繪製處理中,使用所謂之延遲渲染(Deferred Rendering)之方法。
習知之繪製方法係依序選擇遊戲畫面中所含之繪製目標之各者,且對該繪製目標進行
1.頂點著色器(vertex shader)之移動.旋轉處理
2.幾何著色器(geometry shader)之頂點處理
3.像素著色器(pixel shader)之包含像素單位之陰影處理之效果處理
而繪製。即,上述習知之繪製方法係對於各繪製目標具有陰影處理→繪製之流程之所謂之Forward Rendering。Forward Rendering係對各目標進行依次處理,故而,因像素而存在如下實例,即,於繪製1個目標後,因位於更靠近相機之位置(較該目標更位於近前)之另一目標之繪製,而覆寫繪製內容。於此情形時,對於由之後繪製之目標遮蔽之先前繪製之目標之一部分之區域,導致應用之陰影處理變得浪費。又,例如存在於繪製之場景之光源等係對於存在於場景之目標而言共用,但Forward Rendering難以
將繪製1個目標時之共用之計算內容再利用於另一目標之繪製。因此,於進行特別複雜之陰影處理之遊戲畫面之繪製中,Forward Rendering並非有效。
與此相對,Deferred Rendering係與Forward Rendering不同地先進行用於陰影處理之幾何之計算,隨後集中地進行對於所有繪製目標之陰影處理。即,進行具有幾何繪製→陰影處理→繪製之流程之2階段之繪製處理。Deferred Rendering係於前段之繪製中,不進行光照而與用於陰影處理之參數一併進行幾何之繪製處理,生成表示陰影處理中使用之中間值之複數個中間值貼圖(散射貼圖、深度圖、法線貼圖、反射貼圖、擴散貼圖等)。繼而,於後段之繪製處理中,一面利用生成之複數個中間值貼圖,一面繪製應用光源進行了陰影處理之畫面。
伺服器編碼部206係進行對於藉由伺服器GPU204而生成於伺服器VRAM205之遊戲畫面之編碼處理。伺服器編碼部206係將編碼對象之遊戲畫面分割成區塊,並將各區塊進行框內編碼(框內編碼)或框間編碼(框間編碼)。編碼處理之詳細情況於下文敍述,於本實施形態中,伺服器編碼部206於YCbCr之每一色頻中對各區塊進行離散餘弦轉換(DCT)後,藉由運行長度編碼進行壓縮。再者,本實施形態係對作為進行對於遊戲畫面之編碼處理之區塊,單獨存在伺服器編碼部206進行說明,但編碼處理亦可由伺服器GPU204執行。
伺服器記錄媒體207係例如HDD(hard disk drive,硬磁碟驅動機)等可裝卸地連接於動畫配送伺服器200之記錄裝置。本實施形態係於伺服器記錄媒體207記錄有用於畫面之繪製處理之各繪製目標之資料及配置於畫面中呈現之三維場景之光源資訊等。
伺服器通訊部208係動畫配送伺服器200所具有之通訊介面。於本實施形態中,伺服器通訊部208進行於與經由網路300而連接之
PC100等其他機器之間之資料收發。再者,伺服器通訊部208係與通訊部105同樣地,進行符合通訊標準之資料形式之轉換。
《動畫配送處理》
就具有此種構成之本實施形態之動畫配送系統之動畫配送伺服器200中所執行之動畫配送處理,使用圖4之流程圖,說明具體之處理。與該流程圖對應之處理可藉由伺服器CPU201將例如記憶於伺服器ROM202之對應之處理程式讀出,並於伺服器RAM203中展開地執行而實現。再者,本動畫配送處理係作為例如於伺服器CPU201檢測到自PC100接收到動畫配送伺服器200所提供之遊戲內容之提供要求時開始,且於遊戲之每一框中反覆地執行者進行說明。
再者,於本實施形態中,動畫配送伺服器200係作為將使用Deferred Rendering之方法繪製三維場景之遊戲畫面以編碼動畫資料之形態提供至PC100者進行說明。然而,如上所述,動畫配送伺服器200所配送之內容並不限於此,只要為提供至少進行2階段之繪製處理而繪製三維場景之畫面之任意內容即可。
於S401中,伺服器CPU201更新下一個繪製之遊戲畫面之視點資訊。具體而言,伺服器CPU201參照例如伺服器通訊部208所接收之於PC100中由使用者實施之遊戲之操作輸入之資訊,更新下一個繪製之遊戲畫面之視點資訊。可產生視點資訊之更新之使用者之操作係例如相當於視點位置及方向之變更操作、或使用者之操作對象之角色之移動等。再者,用於遊戲畫面之繪製之視點資訊之更新並非僅由PC100中實施之使用者操作更新,亦可例如根據遊戲之進行狀況而變更。
於S402中,伺服器CPU201對於與S401中更新之視點資訊對應之遊戲畫面,使伺服器GPU204執行前段之繪製處理,生成後段之繪製處理中使用之各種中間值貼圖。具體而言,伺服器CPU201確定所繪
製之遊戲畫面中包含之繪製目標,按照繪製順序,將各繪製目標之資料傳輸至伺服器GPU204。伺服器GPU204將所傳送之繪製目標之資料儲存於GPU記憶體。繪製目標之資料係例如圖5所示之構成,且本實施形態係與目標識別ID建立關聯地包含模型資料(或頂點資料及連線資料)、紋理資料、及位置.旋轉資訊。再者,紋理資料不僅包含應用(貼附)於三維模型之表現該三維模型之模式等之普通影像紋理(貼花紋理),亦包含用於該三維模型之陰影處理及質感之表現之各種貼圖。
伺服器GPU204依照關於接收繪製命令之繪製目標之位置.旋轉資訊之參數,使儲存於GPU記憶體之模型資料移動及旋轉後,不應用光源效果(陰影處理、遮光)而進行向伺服器VRAM205之繪製。此時,於伺服器VRAM205生成與最終對PC100提供之遊戲畫面對應之複數種類之中間值貼圖。該複數種類之中間值貼圖係於下述後段之繪製處理中之陰影處理中所參照之貼圖,於本實施形態中至少包含
.散射貼圖(Albedo map)
.深度圖(Depth map)
.法線貼圖(Normal map)
.反射貼圖(Specular map)
.擴散貼圖(Diffuse map)。
再者,除深度圖以外之中間值貼圖係藉由根據進行繪製之遊戲畫面之視點資訊,轉換包含於進行繪製之遊戲畫面中之所有繪製目標之資料之各者中所含之對應之紋理資料及模型資料之各多邊形的資訊等而生成。即,Forward Rendering係對於各繪製目標,考慮該繪製目標之紋理資料逐個地執行陰影處理,與此相對,Deferred Rendering之前段之繪製處理可藉由生成將進行繪製之遊戲畫面之整體作為1個繪製目標而捕獲之中間值貼圖,而於後段之繪製處理中將遊戲畫面之整體作為對象進行陰影處理,從而可
減少運算之重複。
再者,對於深度圖,於中間值貼圖之生成中,在各繪製目標之繪製時,以像素單位考慮繪製目標之前後關係引起之遮蔽(occlusion),利用習知之方法生成。
若以此方式,前段之繪製處理結束,則伺服器CPU201並行地執行S403至S408之處理及S409至S412之處理。
於S403中,伺服器CPU201將前段之繪製處理中生成之中間值貼圖與識別正繪製之框(當前框)之框ID及S401中更新之視點資訊(繪製視點資訊)建立關聯地儲存於伺服器RAM203。本實施形態之動畫配送伺服器200係對於提供至PC100之編碼動畫資料之各框,將用於所繪製之遊戲畫面之生成之深度圖儲存於伺服器RAM203,且保持至至少下一框之編碼處理結束為止。
於S404中,伺服器CPU201選擇複數種類之中間值貼圖中之深度圖用於編碼判斷,並將其分割成特定之像素數(例如16pixel×16pixel)之區塊。如上所述,中間值貼圖之各者係與最終提供至PC100之遊戲畫面對應。因此,於本實施形態中,為了判斷於所提供之遊戲畫面之各區塊之動畫編碼中是否進行框間預測,而使用複數種類之中間值貼圖中之深度圖。
於S405中,伺服器CPU201對於深度圖之各區塊,自當前框之前1個之框(前一框)之遊戲畫面之前段之繪製處理中生成之深度圖,確定認為相關性最高之區域。
首先,伺服器CPU201確定繪製於對象區塊之四角之座標之繪製目標(區塊確定目標)之三維座標。具體而言,伺服器CPU201自深度緩衝器獲取對象區塊之四角之座標之各者中之深度值。其次,伺服器CPU201自繪製視點資訊與對象區塊之四角之座標,確定朝向區塊確定目
標之方向。繼而,伺服器CPU201自繪製視點資訊、所確定之朝向區塊確定目標之方向及深度值,確定區塊確定目標之三維座標。
其次,伺服器CPU201使用用於前一框之遊戲畫面之繪製之視點資訊(過去視點資訊),將區塊確定目標之三維座標轉換成前一框之遊戲畫面中之螢幕座標。藉此,可確定前一框之遊戲畫面中之被認為相關性最高之區域之四角的座標。即,於本實施形態中,如圖10所示,可將表現有與對象區塊相同之繪製目標之區域、即作為相關性較高之繪製內容之可能性較高之區域逆轉換成三維場景而確定。
於S406中,伺服器CPU201對於S305中推斷之被認為相關性最高之區域,算出相關度。具體而言,伺服器CPU201自伺服器RAM203讀出前一框之前段之繪製處理中生成之深度圖(過去深度圖)。繼而,伺服器CPU201自該過去深度圖擷取推斷認為相關性最高之區域之影像,對該影像乘以例如自過去視點資訊與繪製視點資訊生成之轉換矩陣,藉此,生成與對象區塊相同像素數之參照影像。繼而,伺服器CPU201例如藉由算出影像間之歐氏距離,而算出該參照影像與對象區塊之影像之相關度。
再者,本實施形態之動畫配送伺服器200係於下述編碼處理中進行框間編碼之情形時,使用自當前框之前1個之框獲取之參照資料,將當前框之影像與參照資料之差分影像進行編碼。因此,以編碼判斷亦對於當前框之前1個之框實施者進行說明,但於框間編碼中所參照之過去之框並不限於當前框之前1個之框,可使用當前框之前之框。
於S407中,伺服器CPU201決定對於用於編碼判斷之深度圖之各區塊進行框內編碼抑或進行框間編碼(編碼判斷)。具體而言,伺服器CPU201判斷對於被認為與各區塊相關性最高之過去深度圖之區域所算出之相似度(例如歐氏距離之倒數)是否為預先設定之閾值以上。繼
而,伺服器CPU201對於與被認為相關性最高之區域之相似度為閾值以上之區塊決定進行框間編碼,且對於相似度未達閾值之區塊決定進行框內編碼。
於S408中,伺服器CPU201對於用於編碼判斷之深度圖之各區塊中之決定進行框間編碼之區塊,算出自過去深度圖之被認為相關性最高之區域之運動向量。繼而,伺服器CPU201與確定決定進行該框間編碼之區塊之確定資訊建立關聯地,將關於該區塊之運動向量之資訊傳輸至伺服器通訊部208,並作為預處理資訊對PC100發送。
再者,本步驟中算出之運動向量因來自前一框之視點之移動方向,而不一定成為二維之運動向量。即,於例如視點移動至接近或遠離特定之繪製目標之方向之情形時,除二維之向量以外,亦可包含擴大/縮小之倍率之資訊。又,於例如視點於滾動方向旋轉之情形時,除二維之向量以外,亦可包含旋轉用矩陣。又,於例如視點於間距方向或橫擺方向旋轉之情形時,亦可不使用二維之向量而使用三維之向量作為運動向量。再者,確定用作參照資料之前一框畫面之區域之資訊並不限於此,只要為例如直接指定區域之頂點座標之資訊等可確定區域之資訊,亦可為任何形式。
另一方面,伺服器CPU201於與S403至5408之處理並行地執行之處理中,於S409中,使伺服器GPU204執行對於與S401中更新之視點資訊對應之遊戲畫面之後段之繪製處理,生成最終提供至PC100之遊戲畫面(提供遊戲畫面)。具體而言,伺服器CPU201確定適用於對於進行繪製之遊戲畫面之三維場景之光源,並將該光源之屬性及強度等資訊傳輸至伺服器GPU204。伺服器GPU204使用前段之繪製處理中生成之各種中間值貼圖,一面集中各種光源進行陰影處理(光源效果之應用),一面再次繪製遊戲畫面中所含之繪製目標,使提供遊戲畫面生成於伺服器
VRAM205之框緩衝器。
於S410中,伺服器CPU201判斷S407之處理即對於當前框之編碼判斷處理是否結束。伺服器CPU201於判斷編碼判斷處理結束之情形時,將處理轉移至S411,於判斷未結束之情形時,使處理重複進行本步驟之處理。
於S411中,伺服器CPU201將提供遊戲畫面與S404中之區塊分割同樣地進行區塊分割,並執行編碼處理,生成編碼動畫資料。
<編碼處理>
此處,參照圖6,對於本實施形態之動畫配送伺服器200中執行之編碼處理進行詳細說明。
於S601中,伺服器CPU201係選擇提供遊戲畫面之區塊中之未編碼之區塊。
於S602中,伺服器CPU201參照對於需要編碼判斷之深度圖進行之編碼判斷處理之結果,判斷是否對於選擇區塊進行框間編碼。伺服器CPU201於判斷對於選擇區塊進行框間編碼之情形時,將處理轉移至S603,於判斷不進行框間編碼之情形時,將處理轉移至S605。
於S603中,伺服器CPU201自當前框之前1個之框中所繪製之遊戲畫面(前一框畫面)內之與選擇區塊對應之區域之影像,生成用於框間編碼之參照影像(參照資料)。具體而言,伺服器CPU201首先例如自伺服器RAM203讀出前一框中提供至PC100之遊戲畫面(過去遊戲畫面)。繼而,伺服器CPU201自過去遊戲畫面擷取對於選擇區塊確定之與相關性最高區域對應之區域之影像作為參照影像。
於S604中,伺服器CPU201生成選擇區塊之影像與參照影像之差分作為差分影像,並設定為編碼對象影像。具體而言,伺服器CPU201藉由自選擇區塊之影像之各像素值減去參照影像之對應之像素之
像素值,而生成差分影像(pblock)。
另一方面,於在S602中判斷不進行框間編碼之情形時,伺服器CPU201於S605中,將選擇區塊之影像設定為編碼對象影像。
於S606中,伺服器CPU201將編碼對象影像傳輸至伺服器編碼部206,執行DCT處理而轉換成頻域之資料。又,伺服器CPU201藉由使伺服器編碼部206將藉由轉換而獲得之頻域之資料進行運行長度編碼,而生成選擇區塊之編碼資料。
於S607中,伺服器CPU201判斷是否對於所繪製之遊戲畫面之所有區塊執行了S602至S606之處理。伺服器CPU201於判斷存在尚未執行處理之區塊之情形時,使處理返回至S601,於判斷不存在尚未執行處理之區塊之情形時,結束本編碼處理。
伺服器CPU201於自所繪製之遊戲畫面生成編碼動畫資料後,於S412中將該編碼動畫資料傳輸至伺服器通訊部208,並對PC100進行發送,從而結束當前框之動畫配送處理。
如此,於本實施形態之動畫配送伺服器200中,可利用藉由多階段之繪製處理而進行對PC100提供之遊戲畫面之生成,而於進行最終之遊戲畫面之繪製之後段之繪製處理中,使用前段之繪製處理中生成之深度圖,藉由座標轉換而推斷被認為與編碼區塊相關性最高之區域。因此,於進行最終之遊戲畫面之繪製後,可不決定編碼方法而轉移至編碼處理,故而,可縮短遊戲畫面對PC100之提供所需之時間。又,無需於總循環式中算出相關度而確定被認為相關性最高之區域,從而可減少後段之繪製處理中對於所有編碼區塊之相關運算之運算量。
《動畫再生處理》
其次,對於本實施形態之於PC100中執行之動畫再生處理,使用圖7之流程圖,說明其具體之處理。與該流程圖對應之處理可藉由CPU101將
例如記憶於ROM102之對應之處理程式讀出,且於RAM103中展開執行而實現。再者,本動畫再生處理係以例如於在PC100中執行接收動畫配送伺服器200所提供之遊戲內容之應用程式時開始,且於遊戲之每一框中反覆地執行者進行說明。
於S701中,CPU101判斷通訊部105是否自動畫配送伺服器200接收到預處理資訊。CPU101於判斷自動畫配送伺服器200接收到預處理資訊之情形時,將處理轉移至S702,於判斷未接收到預處理資訊之情形時,重複進行本步驟之處理。
於S702中,CPU101參照預處理資訊,執行準備當前框之遊戲畫面之解碼所需之參照資料之解碼預處理。
<解碼預處理>
此處,使用圖8之流程圖,對本實施形態之PC100中執行之解碼預處理進行詳細說明。
於S801中,CPU101選擇當前框中所接收之遊戲畫面之區塊中之未實施使用之編碼方式之判定的區塊。
於S802中,CPU101參照預處理資訊,判斷是否對於選擇區塊實施框間編碼。具體而言,CPU101判斷確定選擇區塊之資訊是否包含於預處理資訊中。CPU101於判斷對於選擇區塊實施框間編碼之情形時,將處理轉移至S803,於判斷未實施框間編碼之情形時,將處理轉移至S804。
於S803中,CPU101自當前框之前1個之框中所解碼之遊戲畫面(前一框畫面)擷取用於對於選擇區塊之解碼之參照影像(參照資料)。具體而言,CPU101參照預處理資訊中所包含之對於選擇區塊建立關聯之運動向量,確定前一框畫面中選擇區塊之解碼中所參照之區域,並擷取該區域之影像作為參照影像。
於S804中,CPU101判斷是否對於當前框中所接收之遊戲畫面之所有區塊執行了S802至S803之處理。伺服器CPU201於判斷存在尚未執行處理之區塊之情形時,使處理返回至S801,於判斷不存在尚未執行處理之區塊之情形時,結束本解碼預處理。
如此,於本實施形態之PC100中,可藉由參照於編碼動畫資料之前所接收之預處理資訊,而於在編碼動畫資料之接收後所進行之解碼處理之前,準備解碼處理中使用之參照資料。
於S703中,CPU101判斷通訊部105是否自動畫配送伺服器200接收到編碼動畫資料。CPU101於判斷自動畫配送伺服器200接收到編碼動畫資料之情形時,將處理轉移至S704,於判斷未接收到編碼動畫資料之情形時,重複進行本步驟之處理。
於S704中,CPU101將接收之編碼動畫資料傳輸至解碼部104,執行解碼處理而生成遊戲畫面。具體而言,解碼部104藉由對於編碼動畫資料之各區塊進行運行長度編碼資料行之解碼、逆DCT處理,而生成當前框之遊戲畫面之區塊資料。又,對於進行了框間編碼之區塊,藉由與上述解碼預處理中生成之參照資料相加,而使解碼部104生成當前框之遊戲畫面。
於S705中,CPU101將S704中生成之當前框之遊戲畫面傳輸至顯示部106,並使其顯示於對應之顯示區域,從而結束當前框之動畫再生處理。
如此,本實施形態之動畫配送系統中之動畫配送伺服器200可於編碼動畫資料之生成結束而進行配送之前,將編碼方法之資訊傳遞至作為動畫再生裝置之PC100。即,可於編碼動畫資料之接收前,準備參照影像作為預處理,故而,可縮短自接收編碼動畫資料後所進行之解碼處理。亦即,與參照所接收之編碼動畫資料中所含之運動向量,自前一框
之影像生成用於經框間編碼之區塊之解碼之參照影像的習知之方法相比,本實施形態之動畫配送方法可縮短至經解碼之動畫影像之再生為止所需之時間。
即,作為動畫配送系統整體,成為如圖9所示般之處理流程,從而可藉由應用本發明,而實現動畫配送伺服器200中之動畫編碼處理之有效化、及PC100中之動畫解碼處理之有效化之兩者。
再者,上述動畫配送處理係以對於當前框之畫面之所有區塊進行編碼判斷之後,將預處理資訊發送至PC100者進行了說明,但可容易地想像預處理資訊之發送時序並不限於此。即,亦可於獲得是否對於各區塊進行框間編碼之判斷結果之情形時,不等待獲得對於所有區塊之判斷結果,伺服器CPU201便可每次均將該區塊之預處理資訊發送至PC100。又,於此情形時,若PC100之CPU101接收預處理資訊,則生成該預處理資訊中所確定之區塊之參照影像,藉此,可期待動畫再生處理中之進一步有效化。
如以上所說明,本實施形態之動畫配送伺服器可將藉由繪製處理而獲得之畫面高速且有效地進行動畫編碼。具體而言,動畫配送伺服器使用決定進行繪製之畫面之視點資訊,藉由至少2階段之繪製處理而繪製提供畫面。該繪製處理係於後段之繪製處理中,參照前段之繪製處理中生成之深度圖,實施提供畫面之繪製。動畫配送伺服器係於第1畫面之後段之繪製處理之執行中選擇深度圖用於編碼判斷,且對於設定之每一區塊,參照對於較第1畫面之前繪製之第2畫面所生成之深度圖,判斷是否進行框間編碼。動畫配送伺服器於第1畫面之後段之繪製處理之結束後,根據該判斷之結果進行編碼,並將編碼動畫資料發送至外部裝置。又,該判斷之結果係於第1畫面之編碼動畫資料之生成結束之前發送至外部裝置。
[實施形態2]
且說,實際上於如上所述般進行經由通訊之遊戲內容之提供之情形時,於提供所需之基礎建設配備中需要特定之成本。其原因在於:假定伴隨提供內容之動畫配送伺服器200之故障或連接終端數增加而出現提供品質下降等風險,就耐故障性及耐回應性之觀點而言,將設置複數個動畫配送伺服器200。又,一般而言,對於用戶端機器延遲最少即回應較佳之伺服器以傳輸路徑之觀點而言,考慮地理上最近之伺服器。因此,尤其於進行全球性之內容提供之情形時,可考慮將提供伺服器配備於複數個國家,進而若考慮到時區之存在,則將複數個伺服器配備於1個國家作為資料中心。亦即,由於基礎建設配備可設想巨大之成本,故而,就現實性而言,設計為資料中心之提供以複數個內容共用資料中心之資源,而並非對於每一內容進行。
另一方面,不僅此種服務之利用,網路利用集中之時間帶於各國亦存在相同之傾向。具體而言,日本之網路利用之通信量峰值存在於19點至23點之間。即,認為即便如上所述,考慮時區地配置資料中心,亦於通信量增大之時間帶中,存在於該時區之用戶端機器集中於地理上最近之資料中心。
本實施形態係說明根據對於提供之內容所要求之即時性及內容是否進行如實施形態1般之至少2階段之繪製處理,較佳地進行資料中心間之負載平衡之方法。
《動畫配送系統之構成》
圖11係表示本實施形態之動畫配送系統之系統構成的圖。再者,於本實施形態之動畫配送系統中,PC100及動畫配送伺服器200之各者之構成係設為與上述實施形態1相同,並省略說明。
本實施形態之動畫配送系統包含中央伺服器1100。中央伺
服器1100係經由網路300而至少與PC100可通訊地連接。中央伺服器1100於PC100之各者提供內容時決定應連接之動畫配送伺服器200,並將該伺服器之資訊提供至對應之PC100。又,本實施形態係說明中央伺服器1100作為應連接之資料中心,將確定1個動畫配送伺服器200之資訊提供至PC100,但本發明之實施並不限於此。例如,於資料中心包含複數個動畫配送伺服器200而構成之情形時,中央伺服器1100可為提供確定其中1個動畫配送伺服器200之資訊之構成,亦可為提供僅確定資料中心(綜合管理存在於同一位置之動畫配送伺服器200之單位)之資訊之構成。於後者之情形時,例如於資料中心中,具備分配對於內容提供要求進行提供之中心內之適當之動畫配送伺服器200,且使其連接於對應之PC100之管理裝置即可。
<中央伺服器1100之構成>
圖12係表示本實施形態之中央伺服器1100之功能構成的方塊圖。
中央CPU1101係控制中央伺服器1100所具有之各區塊之動作。具體而言,中央CPU1101藉由將記憶於中央ROM1102中之各區塊之動作程式讀出,且於中央RAM1103中展開執行,而控制各區塊之動作。
中央ROM1102例如為可重寫之非揮發性記憶體。中央ROM1102不僅儲存中央伺服器1100所具有之各區塊之動作程式,而且儲存各區塊之動作所需之參數等。又,於本實施形態中,中央ROM1102對於可由網路300上之動畫配送伺服器200提供之複數個遊戲內容之各者,至少記憶
.對於內容所要求之對於使用者之操作輸入之回應性能之資訊
.於內容之繪製中是否使用Deferred Rendering之資訊
作為管理資訊。中央RAM1103係揮發性記憶體。中央RAM1103不僅
用作各區塊之動作程式之展開區域,亦用作暫時儲存於各區塊之動作中輸出之中間資料等之儲存區域。
中央通訊部1104係中央伺服器1100所具有之通訊介面。中央通訊部1104於與經由網路300而連接之PC100等其他機器之間進行資料之收發。與通訊部105及伺服器通訊部208同樣地,中央通訊部1104進行資料之收發時所必需之資料轉換等。
《開始時處理》
以下,參照圖13之流程圖,對開始遊戲內容之提供要求時,本實施形態之PC100中所執行之開始時處理進行詳細說明。再者,本開始時處理係以例如於PC100中執行可接收複數個遊戲內容之服務提供之入口應用程式(portal application)時開始者進行說明。
於S1301中,CPU101對中央伺服器1100要求用以連接於正提供遊戲內容之動畫配送伺服器200之資訊即連接對象資訊。連接對象資訊可為例如正進行服務提供之動畫配送伺服器200之IP位址列表,亦可為中央伺服器1100預先保持於中央ROM1102之資訊。
於S1302中,CPU101根據連接對象資訊之提供要求參照所接收之連接對象資訊,對存在於網路300上之複數個動畫配送伺服器200之各者執行連接測試。於連接測試中,CPU101計測於與對象之動畫配送伺服器200之通訊中產生之通訊延遲量,且與該伺服器之識別資訊建立關聯地將通訊延遲量之資訊作為列表記憶於RAM103。CPU101係若對於連接對象資訊中所含之動畫配送伺服器200,通訊延遲量之計測結束,則將處理轉移至S1303。
於S1303中,CPU101判斷是否實施了開始提供要求之遊戲內容之選擇。具體而言,CPU101係利用是否自操作輸入部107接收到藉由使用者選擇所期望提供之遊戲內容而輸出之控制訊號進行判斷。CPU101
於判斷實施了開始提供要求之遊戲內容之選擇之情形時,將處理轉移至S1304,於判斷未實施開始提供要求之遊戲內容之選擇之情形時,重複進行本步驟之處理。
於S1304中,CPU101將指定提供要求之遊戲內容之資訊、及S1302中生成之每一動畫配送伺服器200之通訊延遲量之列表發送至中央伺服器1100。
於S1305中,CPU101判斷是否自中央伺服器1100接收到指定進行遊戲內容之提供之動畫配送伺服器200之伺服器指定資訊。伺服器指定資訊係藉由於中央伺服器1100中執行下述提供伺服器決定處理而生成。CPU101於判斷接收到指定資訊之情形時,將處理轉移至S1306,於判斷未接收到指定資訊之情形時,重複進行本步驟之處理。
於S1306中,CPU101可藉由對由伺服器指定資訊指定之動畫配送伺服器200發送所選擇之遊戲內容之提供要求,而使動畫配送伺服器200開始動畫配送處理。
《提供伺服器決定處理》
其次,參照圖14之流程圖,詳細說明本實施形態之中央伺服器1100中執行之決定提供PC100中指定之遊戲內容之動畫配送伺服器200的提供伺服器決定處理。再者,本提供伺服器決定處理係以中央伺服器1100啟動時開始者進行說明。
於S1401中,中央CPU1101判斷是否自網路300上之PC100接收到指定提供要求之遊戲內容之資訊(內容指定資訊)、及該PC100與各動畫配送伺服器200之通訊延遲量之列表。中央CPU1101於判斷接收到內容指定資訊及通訊延遲量列表之情形時,將其等與識別發送該資訊之PC100(對象PC)之資訊一併儲存於中央RAM1103,並將處理轉移至S1402。識別發送資訊之PC100之資訊例如可為該PC之IP位址。
又,中央CPU1101於判斷未接收到內容指定資訊及通訊延遲量列表之情形時,重複進行本步驟之處理。
於S1402中,中央CPU1101判斷藉由內容指定資訊而指定之內容(指定內容)是否指定為對於使用者之操作輸入要求回應較高之即時性較高之內容。具體而言,中央CPU1101參照記憶於中央ROM1102之管理資訊,判斷指定內容是否指定為即時性較高之內容。中央CPU1101於判斷指定內容指定為即時性較高之內容之情形時,將處理轉移至S1403,於判斷未指定之情形時,將處理轉移至S1406。
於S1403中,中央CPU1101參照管理資訊,判斷指定內容是否為使用Deferred Rendering繪製提供畫面之內容。中央CPU1101於判斷指定內容為使用Deferred Rendering繪製提供畫面之內容之情形時,將處理轉移至S1405,於判斷為不使用Deferred Rendering而繪製提供畫面之內容之情形時,將處理轉移至S1404。
於S1404中,中央CPU1101參照所接收之通訊延遲量列表,選擇與對象PC之資料通訊中通訊延遲量低於特定之閾值(第1閾值)之1個動畫配送伺服器200。繼而,中央CPU1101將確定所選擇之動畫配送伺服器200之資訊作為指定資訊發送至對象PC,且使處理返回至S1401。
另一方面,於S1403中判斷指定內容為使用Deferred Rendering繪製提供畫面之內容之情形時,中央CPU1101於S1405中,參照所接收之通訊延遲量列表,選擇通訊延遲量低於特定之閾值(第2閾值)且高於第1閾值之1個動畫配送伺服器200。其原因在於:於影響畫面之生成中使用有Deferred Rendering之情形時,如實施形態1中所說明,可藉由利用前段之繪製處理中生成之深度緩衝器,而縮短編碼及解碼所需之處理時間。即,即便為要求即時性之內容,亦於進行至少2階段之繪製處
理,生成提供畫面之情形時預測處理縮短,故而,可相較進行1階段之繪製處理之內容,容許通訊延遲量。中央CPU1101將確定以此方式選擇之動畫配送伺服器200之資訊作為指定資訊發送至對象PC,從而使處理返回至S1401。
又,於S1402中判斷指定內容並未指定為即時性較高之內容之情形時,中央CPU1101於S1406中,參照所接收之通訊延遲量列表,選擇通訊延遲量低於特定之閾值(第3閾值)且大於第2閾值之1個動畫配送伺服器200。繼而,中央CPU1101將確定所選擇之動畫配送伺服器200之資訊作為指定資訊發送至對象PC,從而使處理返回至S1401。
再者,第1閾值及第2閾值係以滿足對內容要求之即時性之方式決定,又,第3閾值係根據可容許之通訊延遲量而決定。3個閾值可為由每一內容所規定者,亦可為不取決於內容而共用地規定者。又,3個閾值亦可為根據對象PC所存在之地理位置而規定者。
如此般,本實施形態之動畫配送系統可根據與伺服器之通訊延遲量、及對內容要求之即時性,決定提供PC100中所選擇之內容之動畫配送伺服器200。又,進而,可藉由根據內容是否為利用至少2階段之繪製處理生成提供畫面之內容,選擇較佳之動畫配送伺服器200,而效率良好地進行負載平衡。
再者,本實施形態係以根據與伺服器之通訊延遲量及對內容要求之即時性,決定提供內容之伺服器者進行說明,但本發明之實施並不限於此。例如,亦可為根據發送內容之提供要求之用戶端機器及伺服器之地理性位置進行縮小範圍等進而組合複合條件,進行動畫配送伺服器200之決定的構成。
本發明並不受上述實施形態限制,可於不脫離本發明之精神及範圍之情況下進行各種變更及變形。因此,為了公開本發明之範圍,
而隨附以下技術方案。
Claims (13)
- 一種動畫配送伺服器,其特徵在於具有:獲取手段,其依序獲取決定進行繪製之畫面之視點資訊;繪製手段,其係使用由上述獲取手段獲取之上述視點資訊,藉由至少2階段之繪製處理而繪製提供畫面者,且於前段之繪製處理中進行幾何之繪製,生成後段之繪製處理中進行參照之包含深度圖之中間值貼圖,於上述後段之繪製處理中參照該中間值貼圖,進行陰影處理並繪製上述提供畫面;分割手段,其係於第1畫面之上述後段之繪製處理之執行中,獲取對於上述第1畫面而生成之上述中間值貼圖中之深度圖,且分割成複數個區塊;確定手段,其係對於上述複數個區塊之各者,確定較上述第1畫面之前繪製之第2畫面之深度圖中之與該區塊對應的區域;編碼手段,其係於上述第1畫面之上述後段之繪製處理之結束後,對於上述複數個區塊中之與由上述確定手段確定之上述對應之區域之相似度為閾值以上的區塊,於上述第1畫面之該區塊之影像與上述第2畫面之上述對應之區域之影像之間進行框間編碼,且對於與由上述確定手段確定之上述對應之區域之相似度未達閾值的區塊,對上述第1畫面之該區塊之影像進行框內編碼,藉此,生成編碼動畫資料;及發送手段,其對外部裝置進行資料之發送;上述發送手段係於上述編碼手段進行之上述第1畫面之各區塊之編碼動畫資料之生成結束前,對於上述複數個區塊中之與上述對應之區域之相似度為閾值以上的區塊,將確定該區塊及關於該區塊之上述對應之區域之確定資訊發送至上述外部裝置,且 於上述編碼手段進行之上述第1畫面之各區塊之編碼動畫資料之生成結束後,將該編碼動畫資料發送至上述外部裝置。
- 如申請專利範圍第1項之動畫配送伺服器,其中上述確定手段包含:第1算出手段,其係對於上述複數個區塊之各者,根據用於上述第1畫面之繪製之第1視點資訊與對於上述第1畫面而生成之深度圖,算出繪製於該區塊之頂點之繪製目標之三維座標;及轉換手段,其係對於上述複數個區塊之各者,使用用於上述第2畫面之繪製之第2視點資訊,將藉由上述第1算出手段而算出之三維座標轉換成上述第2畫面中之螢幕座標,確定上述對應之區域。
- 如申請專利範圍第1或2項之動畫配送伺服器,其中上述確定資訊係三維向量。
- 一種動畫再生裝置,其係自動畫配送伺服器依序獲取1框之畫面經編碼之編碼動畫資料,並將其解碼進行再生者;其特徵在於具有:第1接收手段,其接收對於第1畫面經編碼之第1編碼動畫資料,確定經框間編碼之區塊及用於該區塊解碼之參照資料之確定資訊;解碼預處理手段,其根據由上述第1接收手段接收之上述確定資訊,自將上述第1編碼動畫資料之前所獲取之第2編碼動畫資料解碼所得之第2畫面,生成用於上述第1編碼動畫資料之解碼之關於經上述框間編碼之各區塊的上述參照資料;第2接收手段,其於上述確定資訊之接收後,自上述動畫配送伺服器接收上述第1編碼動畫資料;及解碼手段,其使用藉由上述解碼預處理手段而生成之關於經上述框間編碼之各區塊之上述參照資料,將由上述第2接收手段接收之上述第1編 碼動畫資料解碼進行再生。
- 如申請專利範圍第4項之動畫再生裝置,其中上述第1接收手段進行之上述確定資訊之接收係於上述第2接收手段進行之上述第1編碼動畫資料之接收之前進行。
- 一種動畫配送伺服器之控制方法,其特徵在於具有:獲取步驟,其係動畫配送伺服器之獲取手段依序獲取決定進行繪製之畫面之視點資訊;繪製步驟,其係上述動畫配送伺服器之繪製手段使用上述獲取步驟中獲取之上述視點資訊,藉由至少2階段之繪製處理而繪製提供畫面者,且於前段之繪製處理中進行幾何之繪製,生成後段之繪製處理中進行參照之包含深度圖之中間值貼圖,於上述後段之繪製處理中參照該中間值貼圖,進行陰影處理並繪製上述提供畫面;分割步驟,其係上述動畫配送伺服器之分割手段於第1畫面之上述後段之繪製處理之執行中,獲取對於上述第1畫面而生成之上述中間值貼圖中之深度圖,且分割成複數個區塊;確定步驟,其係上述動畫配送伺服器之確定手段對於上述複數個區塊之各者,確定較上述第1畫面之前繪製之第2畫面之深度圖中之與該區塊對應的區域;編碼步驟,其係上述動畫配送伺服器之編碼手段於上述第1畫面之上述後段之繪製處理之結束後,對於上述複數個區塊中之與由上述確定手段確定之上述對應之區域之相似度為閾值以上的區塊,於上述第1畫面之該區塊之影像與上述第2畫面之上述對應之區域之影像之間進行框間編碼,且對於與由上述確定步驟確定之上述對應之區域之相似度未達閾值的區塊,對上述第1畫面之該區塊之影像進行框內編碼,藉此,生成編碼動畫資料;及 發送步驟,其係上述動畫配送伺服器之發送手段對外部裝置進行資料之發送;上述發送手段係於上述發送步驟中,於上述編碼步驟中上述第1畫面之各區塊之編碼動畫資料之生成結束前,對於上述複數個區塊中之與上述對應之區域之相似度為閾值以上的區塊,將確定該區塊及關於該區塊之上述對應之區域之確定資訊發送至上述外部裝置,且於上述編碼步驟中上述第1畫面之各區塊之編碼動畫資料之生成結束後,將該編碼動畫資料發送至上述外部裝置。
- 一種動畫再生裝置之控制方法,其係自動畫配送伺服器依序獲取1框之畫面經編碼之編碼動畫資料,並將其解碼進行再生者;其特徵在於具有:第1接收步驟,其係上述動畫再生裝置之第1接收手段接收對於第1畫面經編碼之第1編碼動畫資料,確定經框間編碼之區塊及用於該區塊解碼之參照資料之確定資訊;解碼預處理步驟,其係上述動畫再生裝置之解碼預處理手段根據上述第1接收步驟中接收之上述確定資訊,自將上述第1編碼動畫資料之前所獲取之第2編碼動畫資料解碼所得之第2畫面,生成用於上述第1編碼動畫資料之解碼之關於經上述框間編碼之各區塊的上述參照資料;第2接收步驟,其係上述動畫再生裝置之第2接收手段自上述動畫配送伺服器接收上述第1編碼動畫資料;及解碼步驟,其係上述動畫再生裝置之解碼手段使用上述解碼預處理步驟中生成之關於經上述框間編碼之各區塊之上述參照資料,將上述第2接收步驟中接收之上述第1編碼動畫資料解碼進行再生。
- 一種程式,其係用以使電腦作為申請專利範圍第1至3項中任一項 之動畫配送伺服器之各手段發揮功能。
- 一種程式,其係用以使電腦作為申請專利範圍第4或5項之動畫再生裝置之各手段發揮功能。
- 一種電腦可讀取之記錄媒體,其記錄有申請專利範圍第8或9項之程式。
- 一種動畫配送系統,其係具有發送所繪製之1框之提供畫面經編碼之編碼動畫資料之動畫配送伺服器、及依序獲取該編碼動畫資料並將其解碼進行再生之動畫再生裝置者;其特徵在於:上述動畫配送伺服器具有:獲取手段,其依序獲取決定進行繪製之畫面之視點資訊;繪製手段,其係使用由上述獲取手段獲取之上述視點資訊,藉由至少2階段之繪製處理而繪製上述提供畫面者,且於前段之繪製處理中進行幾何之繪製,生成後段之繪製處理中進行參照之包含深度圖之中間值貼圖,於上述後段之繪製處理中參照該中間值貼圖,進行陰影處理並繪製上述提供畫面;分割手段,其係於第1畫面之上述後段之繪製處理之執行中,獲取對於上述第1畫面而生成之上述中間值貼圖中之深度圖,且分割成複數個區塊;確定手段,其係對於上述複數個區塊之各者,確定較上述第1畫面之前繪製之第2畫面之深度圖中之與該區塊對應的區域;編碼手段,其係於上述第1畫面之上述後段之繪製處理之結束後,對於上述複數個區塊中之與由上述確定手段確定之上述對應之區域之相似度為閾值以上的區塊,於上述第1畫面之該區塊之影像與上述第2畫面之上述對應之區域之影像之間進行框間編碼,且對於與由上述確定手段確定之 上述對應之區域之相似度未達閾值的區塊,對上述第1畫面之該區塊之影像進行框內編碼,藉此,生成第1編碼動畫資料;及發送手段,其對上述動畫再生裝置進行資料之發送;上述動畫再生裝置具有:第1接收手段,其接收對於上述第1編碼動畫資料,確定經框間編碼之區塊及用於該區塊解碼之參照資料之確定資訊;解碼預處理手段,其根據由上述第1接收手段接收之上述確定資訊,自將較上述第1編碼動畫資料之前自上述動畫配送伺服器獲取之第2編碼動畫資料解碼所得之上述第2畫面,生成用於上述第1編碼動畫資料之解碼之關於經上述框間編碼之各區塊的上述參照資料;第2接收手段,其於上述確定資訊之接收後,自上述動畫配送伺服器接收上述第1編碼動畫資料;及解碼手段,其使用藉由上述解碼預處理手段而生成之關於經上述框間編碼之各區塊之上述參照資料,將由上述第2接收手段接收之上述第1編碼動畫資料解碼進行再生;上述發送手段係於上述編碼手段進行之上述第1畫面之各區塊之編碼結束前,對於上述複數個區塊中之與上述對應之區域之相似度為閾值以上的區塊,將確定該區塊及關於該區塊之上述對應之區域之確定資訊發送至上述動畫再生裝置,且於上述編碼手段進行之上述第1畫面之各區塊之編碼結束後,將上述第1編碼動畫資料發送至上述動畫配送伺服器。
- 如申請專利範圍第11項之動畫配送系統,其中上述動畫配送伺服器可生成複數個不同種類之內容之上述提供畫面,上述動畫配送系統包含複數個上述動畫配送伺服器、及決定對上述動 畫再生裝置發送上述提供畫面之1個上述動畫配送伺服器之選擇裝置,上述選擇裝置具有:資訊接收手段,其自上述動畫再生裝置,接收關於上述複數個動畫配送伺服器之各者之通訊延遲量之資訊、及指定要求提供之內容之指定內容之資訊;決定手段,其根據上述通訊延遲量之資訊及上述指定內容之資訊,決定上述1個動畫配送伺服器;及通知手段,其將確定藉由上述決定手段而決定之上述1個動畫配送伺服器之資訊發送至上述動畫再生裝置;上述決定手段係於上述指定內容為規定所要求之回應性較高之內容之情形時,將通訊延遲量小於第1閾值之上述動畫配送伺服器決定為上述1個動畫配送伺服器,於上述指定內容並非規定所要求之回應性較高之內容之情形時,將通訊延遲量大於上述第1閾值之上述動畫配送伺服器決定為上述1個動畫配送伺服器,且上述第1及第2接收手段自藉由上述通知手段而通知之上述1個動畫配送伺服器接收上述確定資訊或上述第1編碼動畫資料。
- 如申請專利範圍第12項之動畫配送系統,其中上述決定手段於上述指定內容為規定所要求之回應性較高之內容之情形時,於藉由上述至少2階段之繪製處理而繪製上述提供畫面之內容之情形時,將通訊延遲量小於上述第1閾值且大於第2閾值之上述動畫配送伺服器決定為上述1個動畫配送伺服器,且於並非藉由上述至少2階段之繪製處理而繪製上述提供畫面之內容之 情形時,將通訊延遲量小於上述第2閾值之上述動畫配送伺服器決定為上述1個動畫配送伺服器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102124501A TWI532005B (zh) | 2013-07-09 | 2013-07-09 | An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102124501A TWI532005B (zh) | 2013-07-09 | 2013-07-09 | An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201503048A TW201503048A (zh) | 2015-01-16 |
TWI532005B true TWI532005B (zh) | 2016-05-01 |
Family
ID=52718460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102124501A TWI532005B (zh) | 2013-07-09 | 2013-07-09 | An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI532005B (zh) |
-
2013
- 2013-07-09 TW TW102124501A patent/TWI532005B/zh active
Also Published As
Publication number | Publication date |
---|---|
TW201503048A (zh) | 2015-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101536501B1 (ko) | 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템 | |
JP5155462B2 (ja) | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 | |
JP5833599B2 (ja) | プログラム、記録媒体及び符号化方式決定方法 | |
CA2853212C (en) | System, server, and control method for rendering an object on a screen | |
TWI532005B (zh) | An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium | |
TWI523673B (zh) | 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體 |