TWI550554B - 用於隨機移動模糊柵格化之深度緩衝器壓縮技術 - Google Patents

用於隨機移動模糊柵格化之深度緩衝器壓縮技術 Download PDF

Info

Publication number
TWI550554B
TWI550554B TW101115171A TW101115171A TWI550554B TW I550554 B TWI550554 B TW I550554B TW 101115171 A TW101115171 A TW 101115171A TW 101115171 A TW101115171 A TW 101115171A TW I550554 B TWI550554 B TW I550554B
Authority
TW
Taiwan
Prior art keywords
depth
patch
processor
depth value
sample
Prior art date
Application number
TW101115171A
Other languages
English (en)
Other versions
TW201344627A (zh
Inventor
馬格努斯 安德森
穆勒 托瑪斯G 亞肯尼
喬恩N 海瑟格倫
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Priority to TW101115171A priority Critical patent/TWI550554B/zh
Publication of TW201344627A publication Critical patent/TW201344627A/zh
Application granted granted Critical
Publication of TWI550554B publication Critical patent/TWI550554B/zh

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於隨機移動模糊柵格化之深度緩衝器壓縮技術
本發明大體而言係關於深度緩衝器壓縮技術。
發明背景
先前的深度緩衝器壓縮機構壓縮利用柵格化靜態三角形技術所得到的深度。這提供大量的帶寬使用節省,並且因此對圖形處理器是非常重要的。但是,對於移動模糊以及景深兩者之隨機柵格化是漸成為一現實的問題,即使對於即時圖形亦然,並且由於所提供的斷片之位置以及深度的不規則性使得先前的深度緩衝器壓縮演算法失效。
依據本發明之一實施例,係特地提出一種方法,其包括下列之步驟:產生對於一區塊像素(像素塊)之一補片;估計一預測者之一位置;並且編碼在該預測者位置以及取樣深度之間的差量。
圖式簡單說明
一些實施例參考下面圖形被說明:第1圖是依據一實施例之深度緩衝器壓縮演算法的三步驟之說明;第2圖是依據一實施例之群集技術的概略圖;第3圖是依據一實施例之模式1的概略圖,其中一像素塊以及該像素塊中之四個點被展示在左方並且A、B、C以及D深度值被展示在右方之子像素塊中間; 第4圖是依據一實施例由三個預測函數圖表組成並且展示它們如何具有相似資料減少步驟,左方圖形展示具有指示深度之灰階樣本的一組不規則樣本,中間圖形展示樣本之邊界框,以至於該框於xy維度對半被分割並且於各產生的子區域中,一代表性深度以及位置從二個深度值(子像素塊中之最小以及最大)之平均被產生,並且於右方圖形中,一資料預測補片被展示;第5圖是依據本發明一實施例之用於群集的流程圖;第6圖是依據一實施例之用於一預測函數的流程圖;第7圖是對於本發明一實施例之硬體描述;以及第8圖是本發明一實施例之前面正視圖。
詳細說明
吾人之演算法可被使用以壓縮來自無模糊(亦即,無移動模糊,以及景深),同時也可用於具有從隨機柵格化器產生的模糊(例如,移動模糊)所形成之景象的深度值。
於一實施例中,吾人之演算法可以不使用來自柵格化器之資訊,就複雜性而論,其是一個很大的優點並且因此輸入在根本上可以剛好是一組(x_i,y_i,d_i),其中(x_i,y_i)是在樣本中之屏幕空間的位置,並且d_i是樣本深度。吾等壓縮一組此樣本,因而其可以壓縮形式被儲存在晶片外記憶體中。吾人之演算法計算對於非模糊景象之雙線性補片,以及對於模糊景象之三線性補片,其中時間,t,被使用作為第三維度。這些補片通常被稱為預測函數。吾等也 可使用四維(x,y,z,t)方式之平面。概要地,其概念是推測補片位置,並且編碼相對於這補片之差量。該補片本質上需要相對少的儲存器,並且該等差量使用比實際深度值更少很多之位元被編碼。這通常使得其可壓縮樣本區塊下降至其之原始記憶體所消耗的25%、50%、或75%(例如)。此節省將僅是就記憶體帶寬使用而論。但是,注意到在計算能力以及可用記憶體帶寬之間的間隙繼續增加,對於可預見的未來,其結構將很可能是有帶寬限定的。
一非常簡單的大體架構說明深度緩衝器壓縮機構。讓我們開始一些假設。一個w×h像素之區塊,有時被稱為一像素塊,獨立地被處理,並且我們假設各像素具有n個取樣。第i個取樣以S i =(,,,)被表示,其中首先之二個構成要素是在像素塊內部之取樣的x-以及y-座標,並且第三個構成要素,[0,1],是取樣之時間。也可能對於像場描述之深度的鏡片位置,例如,(,),增加更多構成要素。目前深度壓縮機構未明確地處理移動模糊以及景深,並且因此既不具有時間構成要素亦無鏡片參數。注意,對於一特定取樣,所有的(,,)被固定,並且由於柵格化產生者僅是深度,=z/w。因而,僅深度值,,可被壓縮。但是,如果可能的話,取決於演算法以利用固定的構成要素而供較佳壓縮。
深度緩衝器壓縮機構,被展示於第1圖中,通常共用三個共通步驟,並且這些步驟是:1.群集, 2.預測函數產生,以及3.差量編碼。
應注意到,然而,一演算法可能不具有一個或二個上述步驟。下面將進一步說明各個步驟。
例如,當有一像素塊中的一組取樣屬於一背景層,以及該像素塊中之其餘取樣屬於前景層時,則群集是需要的。於這些情況中,非常不易使用相同預測函數而壓縮像素塊中之所有深度。群集步驟因此試圖分開像素塊取樣使成為二層或許多層,其中各層中之取樣通常將共享有一些特性(例如,接近至攝影機)。切割取樣使成為二或更多層之目的是,比較於單一層壓縮所有取樣,在觀念上各層將成為更簡單於壓縮。對於僅具有前景取樣之一像素塊,儘管或僅當一個三角形覆蓋一整個像素塊時,群集可能不是所需的。一般而言,一位元遮罩或許多位元遮罩是需要而用以指示一取樣是屬於那個層。
下一個步驟,各層產生其自己之預測函數。此處之目的是使用深度取樣以及可能是它們固定的(x,y,t)座標以產生一預測函數,d(x,y,t),其之任務是試圖使用低廉(就儲存、生產以及評估而論)函數以預測各取樣之深度。例如,假設對於一像素塊,具有小的每個像素移位之一矩形已被產生。由於預測函數,可使用該矩形平面,因為其對於深度將可能是很好的推測。這推測將不是100%正確的,並且因此接著之步驟將更正這結果。
差量編碼必須確認精確深度,,可在像素塊解壓縮 期間被重建,因為圖形應用程式界面(API)之一般是需要無損之深度緩衝器。在預測函數,d(x,y,t),以及取樣深度間之差量如下所示被計算:
給予一良好預測函數,在取樣深度以及預測函數間之差量,δi,,將是小的。因此,差量將使用很少之位元被編碼。如果有少數層的話,則良好的壓縮比率可被達成,因而預測函數使用很少之位元被儲存,並且因而差量同樣也可使用很少之位元被編碼。壓縮機構之另一成功要素是演算法在形成期間實際上應該在許多像素塊上成為致動的。
首先,吾等對於像素塊分割在Zmin以及Zmax間之深度區間使成為n個區段,如第5圖區塊22之展示。對於各區段,吾等儲存一位元,其記錄區段中是否至少有一取樣。該等位元被啟始化為零。各取樣接著依據取樣之深度值被分類至一區段,並且對應的位元如區塊24所指示被設定為一。於這步驟中,被清除之取樣可被忽略。當所有的取樣已被處理時,各個0表示至少(Zmax-Zmin)/n深度之間隙。藉由找到如區塊26展示之連貫的零之最大範圍,二個深度層分離之良好近似被得到。
從第2圖之左方至右方,深度值以叉號被標記在深度軸上,並且這些深度值接著利用Zmin以及Zmax拘限。於此情況中,接著在區段化之後,8個小的區段在Zmin以及Zmax之間被產生,並且具有至少一深度取樣之區段被標記為1,並且此外它們被標記為0。最後,零的最大間隔被發現,並且這 使深度分離成為兩個層。利用這步驟被產生的取樣聚集之各者接著作為利用預測函數產生步驟而個別地被處理之一個層。此外,群集處理內含地產生一個或多個指示各取樣屬於那個層之位元遮罩。位元遮罩將是壓縮像素塊圖像之部份。如果需要的話,取樣可藉由找到第二以及第三(等等)之連貫零的最長範圍而簡單地被聚集成為更多層。也可能進一步地概述這概念。取代每個區段具有一位元,吾等對於每個區段儲存一計數器,其記錄多少深度取樣落在那區段之內。群集接著藉由找到圖形中最深以及最長之“凹谷”而被完成,其中y是作為區段(x)函數之計數器。這可產生較佳的結果。
在這點上,吾等具有從先前步驟產生的一位元遮罩,指示對於目前層的像素塊的w×h×n取樣之何者應該被壓縮。注意到,吾等可以僅具有一個層,於其情況中,所有取樣被包含。
大多數深度緩衝器壓縮機構依據於屏幕空間中之深度d=z/w是線性的事實,亦即:d(x,y)=z(x,y)/w(x,y)=a+bx+cy。 (2)
但是,一旦時間尺度被包含則移動模糊被產生,就不再是這樣的情况了。吾等藉由增加時間,t,至預測項而處理因移動模糊所產生之壓縮隨機緩衝問題,但是同時也提升預測器維度。大體而言,吾等可使用一預測函數,d(x,y,t),其是許多項目之總和:d(x,y,t)=Σmnoamnoxmynto。 (3)
吾等提出依據這方程式之一預測函數陣列,其具有不同的有效係數之群集。當進行壓縮時吾人可嘗試所有可能的組合。但是,吾等可自這些中選擇一些似乎適用於吾等遭遇之資料型式。所選擇之模式被編列在下面:
對於吾人之三種模式,預測函數具有4-8個未知係數(a,b,等等)。取決於目標平臺中不同運算成本,吾等可從二種提出的方法之一者得到預測函數,亦即使用最小平方方法,或使用資料減少方法。
對於最小之序列,因為各像素塊包含許多取樣,當決定預測函數係數時,其可能建立一過度受限之線性系統。時常,此一系統藉由計算假性反逆法被解出,該假性反逆法包含許多乘法與加法運算以及可使用克萊姆法則(Cramer's rule)完成倒反一較小的矩陣。如果乘法與加法運算在目標平臺上是低成本的,則一最小平方方法可能是有吸引力的,以便找到預測函數常數。
對於資料減少,下面的方法是根據於減低一個層中之取樣使成為更多可管理之表示點數目。首先,吾等於x以及y中找到對於所有取樣的邊界框(第6圖,方塊32)。該邊界框接著被分割成為2×2之一致的網柵胞格(第6圖,方塊34)。對於各胞格,吾等找到具有最小以及最大深度值的二個取 樣(第6圖,方塊36)。這二個取樣之中心點(於xyz中)接著被計算(第6圖,方塊38)。這給我們四個表示點,rij,具有i,j {0,1},其中i以及j是網柵胞格座標。
第5以及6圖之順序可利用軟體、硬體及/或韌體被實作。於軟體以及韌體實施例中,該等順序可依照被儲存在一個或多個非暫態電腦可讀取媒體(例如,磁式、半導體或光學記憶體)中之電腦執行指令被實作。
類似地,對於考慮t之模式,吾等也可計算t中之界限,並且替代地分割該邊界框成為2×2×2之網柵胞格。這導致以8個取代4個之表示點rijk,具有i,j,k {0,1}。接著,吾等說明吾等如何處理來自這些減低之代表性資料點的各特定模式。
模式0說明一個四維平面,以至於d(x,y,t)=a+bx+cy+dt。這表示是可用於靜態,以及可用於移動幾何,因為其包含dt項目。當計算平面方程式時,吾等首先移動原點至該等表示點之一者。這方式吾等不能計算最佳之a-係數。反而,吾等稍後以微分編碼步驟計算之。接著吾等僅需要解決bx+cy+dt項,以及三個其餘之表示點。任何適用於解決3×3線性系統之方法,例如,克萊姆法則,可被使用以計算這些。
模式1是用於靜態幾何,亦即,用於產生訊框而無移動模糊的部份。吾等使用雙線性補片,其在上面利用d(x,y)=a+bx+cy+dxy被說明,吾等稱其為模式1(第6圖,方塊40)。對於這模式之動機,比較至僅使用平面方程式,是二倍。首先,雙線性補片是更具有彈性的,因為其是二階表面, 並且因此具有適於表面較平穩改變之較高機會。第二,其是相當直接地取得雙線性補片。
給予四個深度值,A、B、C以及D,放在規則之2×2柵格中,其是直接取得雙線性補片如:d(x,y)=(1-x)(1-y)A+x(1-y)B+(1-x)yC+xyD。但是,對於一特定層,吾等計算四個表示點,如上所述有關於減少,並且接著的問題是這些點之各者可能被安置在像素塊內部之(幾乎)任意的位置中,並且吾等需要從這些取得雙線性補片。吾等如第3圖展示地解決這問題,其中吾等簡單地從三個點計算一平面,並且估計所需xy位置的平面深度。
對於模式1,吾等得到四個點,(xi,yi,zi),i {0,1,2,3},並且吾等需要計算子像素塊中間之深度,A、B、C以及D,如右方之展示。例如,對於頂部-左方子像素塊,平面方程式從(x0,y0,z0)、(x1,y1,z1)以及(x2,y2,z2)被計算出。平面方程式接著於頂部-左方子像素塊中心被估計出,其產生A。使用A、B、C以及D,其是直接以d(x,y)=a+bx+cy+dxy形式重新寫入。注意到,其也是可能建立線性方程式系統並且使用,例如,克萊姆法則直接地解出b、c以及d。
模式2線性地內插置放在t=0中以及t=1中之二個雙線性補片(P0以及P1),以獲得隨著時間移動之一表面。因此,吾等得到方程式z(x,y,t)=P0+t(P1-P0)。為計算這表示,吾等首先進行資料減少以產生2×2×2表示點rijk。四個表示點rijk,i,j {0,1},相同如用於模式1之方式被使用以計算二補片Pk,k {0,1}。各補片Pk接著近似地代表在時間 之像素塊資料。吾等接著具有供這模 式所需的所有8個係數。於最後步驟中,該等二補片經由外插被放置在時間t0=0以及t1=1。
所有吾人之預測函數具有相似資料減少步驟。第4圖展示對於xy-補片模式之設定處理程序。在左方,吾等開始一組不規則取樣。取樣灰階指示它們的深度。於中間,取樣邊界框被發現。該框在xy維度被對半分割。於各產生的子區域中,一表示深度以及位置從具有最小深度10以及最大深度12之二個取樣的平均被產生。在右方,吾等接著具有一資料預測補片。為更容易解壓縮,近似深度需要在已知於解壓縮器的四個暗示位置被估計。
由於群集以及清晰取樣,於資料減少步驟中之一些網柵胞格可結束而不需任何取樣,並且因此吾等不能產生它們的表示點rij(k)。為補救這點,吾等使用鄰近的網柵胞格估計新的表示點。為簡化故,吾等僅充填xy鄰近者之缺失的資料,並且不是在t中。因此,吾等僅需考慮2×2部份之情況,並且以時間相依模式執行其兩次。
如果僅有一網柵胞格是缺失的取樣,吾等從其他的三個點產生一平面,並且在空的網柵胞格中心估計它。
如果僅有兩個表示點,例如,r00以及r01,以及二個空的網柵胞格,吾等如下面展示地產生一新的點,r10
其中r10之首先的二個構成要素藉由於x以及y中旋轉差向量,e,90度並且增加它至r00之x以及y上而被產生。其他構成要素從r00簡單地被複製。這從來自r00至r01之向量擠壓出一平面。當這第三表示點已被產生時,吾等繼續進行而有如一個表示點是缺失的。最後,如果僅有一個表示點存在,則表示點於各空網柵胞格中間被產生。它們的深度值被設定為現存點的深度值。
於最後步驟中,吾等計算修正項以編碼一特定取樣如何可從預測函數重新產生。吾等需要對於每個取樣儲存二個數值。第一者是層指標,其聯結取樣與某一層。通常,吾等在一個層以及四個層之間使用,因此吾等需要高至二個位元以儲存這指標。如果一像素塊可使用一個單一層被壓縮,則吾等不需要儲存這些指標。
將儲存的第二取樣數值是修正項,δi。這些藉由在層中之所有取樣上循環並且計算在預測值,d(x,y,t),以及取樣實際深度間之差量而被發現。在這階段期間,吾等追蹤所需的位元數以儲存修正項,並且也計算供用於吾人之預測函數中之a-常數。a-常數被設定因而吾等僅得到無符號之修正項(亦即,所有的取樣置放在預測函數上面)。
對於每個修正項之k修正位元,吾等保留數值2k-1作為一清除值,並且因此可僅使用高至(並且包含)2k-2之修正項。但是,於一實施例中,吾等得到可以非常低廉方式傳信一特定取樣是否仍然被清除之利益。否則,這通常使用層指標中之一特定數值被完成。
第7圖展示系統700之實施例。於實施例中,系統700可以是媒體系統,雖然系統700是不受本文之限定。例如,系統700可被包含於個人電腦(PC)、膝上型輕便電腦、超輕便型電腦、平板電腦、觸控板、輕便電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合式行動電話/PDA、電視、智慧設備(例如,智慧型手機、智慧平板電腦或智慧電視)、移動式網際網路設備(MID)、通訊聯繫設備、資料通訊設備等等。
於實施例中,系統700包括耦合至顯示器720之平臺702。平臺702可從內容設備(例如,內容服務設備730或內容傳送設備740或其他相似內容來源)接收內容。包括一個或多個導航特點之導航控制器750可被使用以與,例如,平臺702及/或顯示器720互動。這些構件各者將在下面更詳細地被說明。
於實施例中,平臺702可包括下列構件之任何組合,如晶片組705、處理器710、記憶體712、儲存器714、圖形子系統715、軟體應用716、全球定位系統(GPS)721、攝影機723及/或無線電718。晶片組705可提供處理器710、記憶體712、儲存器714、圖形子系統715、軟體應用716及/或無線電718間之相互通訊。例如,晶片組705可包含能夠提供與儲存器714相互通訊之儲存轉接器(未被展示)。
此外,平臺702可包含一操作系統770。至處理器772之界面可界接操作系統以及處理器710。
韌體790可被提供以實作功能,例如,啟動序列。從平 臺702之外引動韌體更新的一更新模組可被提供。例如,更新模組可包含指令碼以決定試圖更新是否授權並且辨識韌體790的最近更新以便利於何時需要更新之決定。
於一些實施例中,平臺702可利用一外部電源供應被供電。於一些情況中,平臺702也可包含一內部電池780,於不適用於外部電源供應之實施例中或於允許任何電池供應電源或外部供應電源之實施例中,該內部電池780作用如同電源。
第5及6圖展示之順序可藉由被包含在提及的一些範例之儲存器714內或在處理器710或圖形子系統715內之記憶體內的軟體以及韌體實施例而被實作。於一實施例中,圖形子系統715可包含圖形處理單元並且處理器710可以是中央處理單元。
處理器710可作為複雜指令集電腦(CISC)或簡化指令集電腦(RISC)處理器、x86指令集相容處理器、多核心或任何其他微處理機或中央處理單元(CPU)被實作。於實施例中,處理器710可包括雙核心處理器、雙核心移動式處理器以及其它者。
記憶體712可被實作為依電性記憶體設備,例如,但是不受限定於,隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)。
儲存器714可被實作為非依電性儲存設備,例如,但是不受限定於,磁片驅動、光碟驅動、卡帶驅動、內部儲存設備、被附帶儲存設備、快閃記憶體、電池備用同步動態 隨機存取記憶體(同步DRAM)及/或網路可存取儲存設備。於實施例中,儲存器714可包括一技術,以例如,當包含複數個硬碟驅動時,則對於貴重數位媒體增加提高保護之儲存性能。
圖形子系統715可進行用以顯示之影像處理,例如,靜止或視訊的顯示。圖形子系統715可以是,例如,圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位界面可被使用以通訊地耦合圖形子系統715以及顯示器720。例如,界面可以是任何的高清晰度多媒體界面、顯示埠(DisplayPort)、無線HDMI及/或無線HD符合技術。圖形子系統715可被整合入處理器710或晶片組705中。圖形子系統715可以是通訊地耦合至晶片組705之獨立卡。
此處說明之圖形及/或視訊處理技術可以各種硬體結構被實作。例如,圖形及/或視訊功能可被整合在晶片組內。另外地,離散圖形及/或視訊處理器可被使用。如另一實施例中,圖形及/或視訊功能可利用包含多核心處理器之一般用途處理器被實作。於進一步的實施例中,該等功能可被實作於消費者電子設備中。
無線電718可包含一個或多個可使用各種適當的無線通訊技術發送以及接收信號之無線電。此些技術可包含跨越一個或多個無線網路之通訊。無線網路範例包含(但是不受限定於)無線局域性區域網路(WLAN)、無線個人區域網路(WPAN)、無線大都會區域網路(WMAN)、行動電話網路以及衛星網路。於跨越此些網路之通訊中,無線電718可依 據任何版本之一個或多個可應用標準而操作。
於實施例中,顯示器720可包括任何電視型式監視器或顯示器。顯示器720可包括,例如,電腦顯示屏幕、觸控屏幕顯示器、視訊監視器、電視類似設備及/或電視。顯示器720可以是數位及/或類比的。於實施例中,顯示器720可以是全像攝影顯示器。同時,顯示器720也可以是可接收視訊投射之透明表面。此些投射可傳送各種形成之資訊、影像、及/或物件。例如,此些投射可以是用於移動式擴增實境(MAR)應用之視覺覆蓋物。在一個或多個軟體應用716控制下,平臺702可顯示使用者界面722在顯示器720上。
於實施例中,內容服務設備730可藉由任何國內的、國際性的及/或獨立的服務被主持並且因此,例如,可經由網際網路而接取平臺702。內容服務設備730可耦合至平臺702及/或顯示器720。平臺702及/或內容服務設備730可耦合至網路760以經由網路760通訊(例如,傳送及/或接收)媒體資訊。內容傳送設備740也可耦合至平臺702及/或顯示器720。
於實施例中,內容服務設備730可包括電纜線電視盒、個人電腦、網路、電話、網際網路引動設備或可傳送數位資訊及/或內容之構件,以及可經由網路760或直接地在內容提供者以及平臺702及/顯示器720之間單向或雙向通訊內容之任何其他相似設備。應了解,內容可經由網路760單向及/或雙向通訊於系統700中之任一構件以及內容提供者。內容範例可包含任何媒體資訊,例如,包含視訊、音樂、醫學及遊戲資訊等等。
內容服務設備730接收,例如,包含媒體資訊、數位資訊之有線電視節目內容,及/或其他內容。內容提供者範例可包含任何有線或衛星電視或無線電或網際網路內容提供者。提供之範例不欲限制本發明實施例。
於實施例中,平臺702可從具有一個或多個導航特點之導航控制器750接收控制信號。控制器750之導航特點可被使用以例如,與使用者界面722互動。於實施例中,導航控制器750可以是指示設備,其可以是允許使用者輸入空間(例如,連續的以及多維的)資料進入電腦之電腦硬體構件(明確地說,人類界面設備)。許多系統,例如,圖形使用者界面(GUI),以及電視與監視器允許使用者使用實體姿勢以控制並且提供資料至電腦或電視。
控制器750導航特點之移動可藉由顯示在顯示器上之指標、游標、聚焦環或其他視覺指示器之移動,而被回應在顯示器(例如,顯示器720)上。例如,在軟體應用716控制下,被安置於導航控制器750上之導航特點可被映製,例如,至顯示在使用者界面722上之虛擬導航特點。於實施例中,控制器750可以不是分離的構件,但是可被整合入平臺702及/或顯示器720中。但是實施例不受限定於此處被展示或被說明之元件或本文。
於實施例中,驅動器(未被展示)可包括一技術,例如,當引動時,類似於電視,在開始開機之後藉由觸控按鈕使得使用者可立即導通及斷開平臺702。程式邏輯可當平臺被“斷開”時,允許平臺702湧送內容至媒體轉換器或其他內容 服務設備730或內容傳送設備740。此外,晶片組705可包括硬體及/或軟體支援,例如,用於5.1環繞音效音訊及/或高傳真度7.1環繞音效音訊。驅動器可包含用於整合圖形平臺之圖形驅動器。於實施例中,圖形驅動器可包括週邊構件互連(PCI)先進圖形顯示卡。
於各種實施例中,任何被展示於系統700中之一個或多個構件可被整合。例如,平臺702以及內容服務設備730可被整合,或平臺702以及內容傳送設備740可被整合,或例如,平臺702、內容服務設備730以及內容傳送設備740可被整合。於各種實施例中,平臺702以及顯示器720可以是整合單元。例如,顯示器720以及內容服務設備730可被整合,或顯示器720以及內容傳送設備740可被整合。這些範例不欲限制本發明。
於各種實施例中,系統700可作為無線系統、有線系統或二者之組合被實作。當作為無線系統被實作時,系統700可包含適用於在無線共用媒體上通訊之構件以及界面,例如,一個或多個天線、發送器、接收器、收發器、放大器、濾波器、控制邏輯以及其它者。無線共用媒體範例可包含無線頻譜之部份,例如,射頻以及其它者。當作為有線系統被實作時,系統700可包含適用於在有線通訊媒體上通訊之構件以及界面,例如,輸入/輸出(I/O)轉換器、連接I/O轉換器與對應的有線通訊媒體之實體連接器、網路界面卡(NIC)、碟控制器、視訊控制器、音訊控制器以及其它者。有線通訊媒體範例可包含金屬線、電纜線、金屬導線、印 刷電路板(PCB)、背板、切換光纖、半導體材料、雙絞線、同軸電纜線、光纖等等。
平臺702可建立一個或多個通訊資訊之邏輯或實體的通道。資訊可包含媒體資訊以及控制資訊。媒體資訊可以是關聯於表示用於使用者之內容的任何資料。內容範例可包含,例如,來自聲音會話、視訊會議、直播視訊、電子郵件(“email”)訊息、聲音郵件訊息、文數字符號、圖形、影像、視訊、文字等等之資料。來自聲音會話之資料可以是,例如,語音資訊、靜音週期、背景雜訊、舒適雜訊、音調等等。控制資訊可以關聯於表示用於自動化系統的命令、指令或控制字詞之任何資料。例如,控制資訊可被使用以經由系統引導媒體資訊,或指示節點以預定方式而處理媒體資訊。但實施例是不受限定於第8圖中展示或說明之元件或本文。
如上所述,系統700可以變化的實體樣式或型式因數被實施。第7圖展示系統700可於其中被實施之小型式因數設備800之實施例。於實施例中,例如,設備800可被實作為具有無線能力之移動電腦設備。移動式電腦設備可以關聯於,例如,具有處理系統以及移動電源或供應器(例如,一個或多個電池)之任何設備。
如上所述,移動式電腦設備範例可包含個人電腦(PC)、膝上型輕便電腦、超薄型輕便電腦、平板電腦、觸控鍵盤、輕便電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合行動電話/PDA、電視、智慧設 備(例如,智慧型手機、智慧平板電腦或智慧電視)、移動網際網路設備(MID)、通訊聯繫設備、資料通訊設備等等。
移動電腦設備範例也可包含被配置以供人員所配帶之電腦,例如,腕部電腦、指式電腦、指環式電腦、眼鏡式電腦、帶鉗式電腦、臂箍式電腦、鞋式電腦、衣著式電腦以及其他可穿戴式電腦。於實施例中,例如,移動電腦設備可被實作為可執行電腦應用、以及聲音通訊及/或資料通訊之智慧型手機。雖然一些實施例可藉由範例以被實作為智慧型手機之移動式電腦設備被說明,應了解,其他實施例也可使用其他無線移動電腦設備被實作。實施例是不受本文之限定。
如第8圖之展示,設備800可包括外罩802、顯示器804、輸入/輸出(I/O)設備806以及天線808。設備800也可包括導航特點812。顯示器804可包括用以顯示適用於移動式電腦設備資訊之任何適當的顯示單元。I/O設備806可包括供資訊進入移動式電腦設備之任何適當的I/O設備。供用於I/O設備806之範例可包含文數字式符號鍵盤、數字袖珍鍵盤、觸控鍵盤、輸入鍵、按鈕、開關、弧形搖桿開關、麥克風、擴音機、聲音辨識設備以及軟體等等。資訊也可藉由麥克風被輸進設備800中。此資訊可利用聲音辨識設備被數位化。實施例是不受本文限定。
各種實施例可使用硬體元件、軟體元件或二者之組合被實作。硬體元件範例可包含處理器、微處理機、電路、電路元件(例如,電晶體、電阻器、電容器、電感器等等)、 積體電路、特定應用積體電路(ASIC)、可程控邏輯設備(PLD)、數位信號處理器(DSP)、場可程控閘陣列(FPGA)、邏輯閘、暫存器、半導體設備、晶片、微晶片、晶片組等等。軟體範例可包含軟體構件、程式、軟體應用、電腦程式、應用程式、系統程式、機器程式、運算系統軟體、中介軟體、韌體、軟體模組、程式段、子程式段、函數、方法、程序、軟體界面、應用程式界面(API)、指令集、計算程式碼、電腦程式碼、程式碼段、電腦程式碼段、字組、數值、符號或其任何組合。決定一實施例是否使用硬體元件及/或軟體元件被實作,可依據任何數量之下列因數而變化,例如,所需的計算率、功率位準、熱容限度、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率以及其他設計或性能限制。
至少一實施例之一個或多個觀點可藉由被儲存在機器可讀取媒體上代表處理器內之各種邏輯的表示指令被實作,該等指令當利用機器被讀取時將導致該機器形成邏輯以執行此處說明之技術。此些表示,習知為“IP核心”可被儲存在有實體的機器可讀取媒體上,並且被供應至各種顧客或製造商以裝載進入實際上構成邏輯或處理器之製造機器內。
各種實施例可使用硬體元件、軟體元件或二者之組合被實作。硬體元件範例可包含處理器、微處理機、電路、電路元件(例如,電晶體、電阻器、電容器、電感器等等)、積體電路、應用特定積體電路(ASIC)、可程控邏輯設備 (PLD)、數位信號處理器(DSP)、場可程控閘陣列(FPGA)、邏輯閘、暫存器、半導體設備、晶片、微晶片、晶片組等等。軟體範例可包含軟體構件、程式、軟體應用、電腦程式、應用程式、系統程式、機器程式、運算系統軟體,中介軟體、韌體、軟體模組、程式段、子程式段、函數、方法、程序、軟體界面、應用程式界面(API)、指令集、計算程式碼、電腦程式碼、程式碼段、電腦程式碼段、字組、數值、符號或其任何組合。決定一實施例是否使用硬體元件及/或軟體元件被實作,可依據任何數量之下列因數而變化,例如,所需的計算率、功率位準、熱容限度、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率以及其他設計或性能限制。
至少一實施例之一個或多個觀點可藉由被儲存在機器可讀取媒體上代表處理器內之各種邏輯的表示指令被實作,該等指令當利用機器被讀取時將導致該機器形成邏輯以執行此處說明之技術。此些表示,習知為“IP核心”可被儲存在有實體的機器可讀取媒體上,並且被供應至各種顧客或製造商以裝載進入實際上構成邏輯或處理器之製造機器內。
此處說明之圖形處理技術被可以各種硬體結構被實作。例如,圖形功能性可被整合在一晶片組內。另外地,一離散圖形處理器可被使用。如另一實施例,圖形功能可利用包含多核心處理器之一般用途處理器被實作。
10‧‧‧最小深度
12‧‧‧最大深度
20‧‧‧群集流程圖
22-26‧‧‧群集流程圖步驟步驟
30‧‧‧預測函數流程圖
32-40‧‧‧預測函數流程圖步驟
700‧‧‧系統
702‧‧‧平臺
705‧‧‧晶片組
710‧‧‧處理器
712‧‧‧記憶體
714‧‧‧儲存器
10‧‧‧最小深度
12‧‧‧最大深度
20‧‧‧群集流程圖
22-26‧‧‧群集流程圖步驟步驟
30‧‧‧預測函數流程圖
32-40‧‧‧預測函數流程圖步驟
700‧‧‧系統
702‧‧‧平臺
705‧‧‧晶片組
710‧‧‧處理器
712‧‧‧記憶體
714‧‧‧儲存器
715‧‧‧圖形子系統
716‧‧‧軟體應用
718‧‧‧無線電
720‧‧‧顯示器
721‧‧‧全球定位系統(GPS)
722‧‧‧使用者界面
723‧‧‧攝影機
730‧‧‧內容服務設備
740‧‧‧內容傳送設備
750‧‧‧導航控制器
760‧‧‧網路
770‧‧‧操作系統
772‧‧‧至處理器界面
780‧‧‧電池
790‧‧‧韌體
792‧‧‧韌體更新模組
800‧‧‧設備
802‧‧‧外罩
804‧‧‧顯示器
806‧‧‧輸入/輸出(I/O)設備
808‧‧‧天線
810‧‧‧顯示單元
812‧‧‧導航特點
第1圖是依據一實施例之深度緩衝器壓縮演算法的三步驟之說明;第2圖是依據一實施例之群集技術的概略圖;第3圖是依據一實施例之模式1的概略圖,其中一像素塊以及該像素塊中之四個點被展示在左方並且A、B、C以及D深度值被展示在右方之子像素塊中間;第4圖是依據一實施例由三個預測函數圖表組成並且展示它們如何具有相似資料減少步驟,左方圖形展示具有指示深度之灰階樣本的一組不規則樣本,中間圖形展示樣本之邊界框,以至於該框於xy維度對半被分割並且於各產生的子區域中,一代表性深度以及位置從二個深度值(子像素塊中之最小以及最大)之平均被產生,並且於右方圖形中,一資料預測補片被展示;第5圖是依據本發明一實施例之用於群集的流程圖;第6圖是依據一實施例之用於一預測函數的流程圖;第7圖是對於本發明一實施例之硬體描述;以及第8圖是本發明一實施例之前面正視圖。
DEPTH‧‧‧深度

Claims (21)

  1. 一種方法,其包括下列之步驟:創造用於一區塊像素之一補片,其中每一像素具有複數取樣;藉由將一深度區間分割成區段、以至少一深度值來標記該等區段、並且定位出區段間之深度值之最大間隔,來將取樣群集進入多個層;利用精確深度取樣值及在屏幕空間中之取樣位置以產生用於一層之一預測函數,以預測在各取樣處之一深度值;計算在一層中之取樣的該預測深度值以及精確深度值之間的一差量;以及編碼該差量。
  2. 如申請專利範圍第1項之方法,其包含判定該景象是模糊或非模糊。
  3. 如申請專利範圍第2項之方法,其包含發展用於非模糊景象的一雙線性補片。
  4. 如申請專利範圍第3項之方法,其包含使用在屏幕空間中之取樣位置及深度值以發展該補片。
  5. 如申請專利範圍第2項之方法,其包含發展用於模糊景象之一三線性補片。
  6. 如申請專利範圍第5項之方法,其包含使用在屏幕空間中之取樣位置、深度值及取樣時間以發展該補片。
  7. 如申請專利範圍第1項之方法,其包含壓縮該等深度值 並且將被壓縮的表示儲存在一記憶體中。
  8. 如申請專利範圍第1項之方法,其包含藉由找到用於一目前層中的所有取樣之一邊界框、分割該框成為一均勻的胞格網柵、並且對於各胞格找到具有最小與最大深度值的二個取樣而發展一補片。
  9. 如申請專利範圍第8項之方法,其包含計算在設定的最小與最大深度值之間的中點。
  10. 如申請專利範圍第9項之方法,其包含從四個中點值導出一雙線性補片。
  11. 一種至少一非暫態之機器可讀取媒體,其包括複數個指令並且,回應於在一電腦設備上執行該等複數個指令,導致該電腦設備實行依據申請專利範圍第1-10項之任一項的方法。
  12. 一種裝置,其包括:一處理器,其發展用於一景象之一補片,其中每一像素具有複數取樣,藉由將一深度區間分割成區段、以至少一深度值來標記該等區段、並且定位出區段間之深度值之最大間隔,來將取樣群集進入多個層,利用精確深度取樣值及在屏幕空間中之取樣位置以產生用於一層之一預測函數以預測在各取樣處之一深度值,計算在一層中之取樣的該預測深度值以及精確深度值之間的一差量;以及一記憶體,其耦合至該處理器。
  13. 如申請專利範圍第12項之裝置,其中該處理器判定該景 象是模糊或非模糊。
  14. 如申請專利範圍第13項之裝置,其中該處理器用以發展用於非模糊景象的一雙線性補片。
  15. 如申請專利範圍第14項之裝置,其中該處理器使用屏幕空間中之取樣位置以及深度值以發展該補片。
  16. 如申請專利範圍第12項之裝置,其中該處理器用以發展用於模糊景象之一三線性補片。
  17. 如申請專利範圍第16項之裝置,其中該處理器使用屏幕空間中之取樣位置、深度值以及時間以發展該補片。
  18. 如申請專利範圍第12項之裝置,其中該處理器僅使用取樣與屏幕空間之一位置以及取樣深度以壓縮深度值。
  19. 如申請專利範圍第12項之裝置,其中該處理器不使用來自一柵格化組件(rasterizer)之資訊而壓縮深度值。
  20. 如申請專利範圍第12項之裝置,其中該處理器壓縮深度值並且將該等值儲存於該記憶體中,其中該記憶體不與該處理器積體化。
  21. 如申請專利範圍第12項之裝置,其中該處理器藉由將一深度區間分割成區段、以至少一深度值來標記該等區段、並且定位出在區段之間的最大間隔以及深度值而進行群集。
TW101115171A 2012-04-27 2012-04-27 用於隨機移動模糊柵格化之深度緩衝器壓縮技術 TWI550554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101115171A TWI550554B (zh) 2012-04-27 2012-04-27 用於隨機移動模糊柵格化之深度緩衝器壓縮技術

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101115171A TWI550554B (zh) 2012-04-27 2012-04-27 用於隨機移動模糊柵格化之深度緩衝器壓縮技術

Publications (2)

Publication Number Publication Date
TW201344627A TW201344627A (zh) 2013-11-01
TWI550554B true TWI550554B (zh) 2016-09-21

Family

ID=49990261

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115171A TWI550554B (zh) 2012-04-27 2012-04-27 用於隨機移動模糊柵格化之深度緩衝器壓縮技術

Country Status (1)

Country Link
TW (1) TWI550554B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
US20120082368A1 (en) * 2010-09-30 2012-04-05 Ryusuke Hirai Depth correction apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
US20120082368A1 (en) * 2010-09-30 2012-04-05 Ryusuke Hirai Depth correction apparatus and method

Also Published As

Publication number Publication date
TW201344627A (zh) 2013-11-01

Similar Documents

Publication Publication Date Title
TWI582720B (zh) 用於經動態生成的圖形資源之壓縮技術
CN107851307B (zh) 对用于图像处理的拜耳类型图像数据去马赛克的方法和系统
US9264692B2 (en) Depth buffer compression for stochastic motion blur rasterization
US9363473B2 (en) Video encoder instances to encode video content via a scene change determination
TWI537880B (zh) 使用選擇性顏色轉換之顏色壓縮技術
TWI514314B (zh) 丟棄過濾器分接點之紋理位址模式
TWI517672B (zh) 包括以深度為基之視差向量校正的3d視訊編碼
TWI517089B (zh) 色彩緩衝器快取技術
TWI568256B (zh) 使用運動估計之物件偵測
TWI517086B (zh) 用於去耦取樣為主描繪管線之低功率質心決定及紋理覆蓋區最佳化
CN110782387B (zh) 图像处理方法、装置、图像处理器及电子设备
US20160182915A1 (en) Motion estimation for arbitrary shapes
TWI571111B (zh) 包括在多個獨立寫碼串流之間共享移動估測的視訊寫碼技術
CN112055875A (zh) 电子显示器部分图像帧更新系统和方法
TWI615805B (zh) 色彩緩衝器壓縮技術
KR101653158B1 (ko) 분산형 그래픽 처리
KR20150038428A (ko) 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축
TWI551118B (zh) 用於殘值預測的移動估測之方法
RU2637480C2 (ru) Упрощенное кодирование глубины с модифицированным внутрикадровым кодированием для кодирования трехмерных видеоданных
TWI550554B (zh) 用於隨機移動模糊柵格化之深度緩衝器壓縮技術
TWI594625B (zh) 效能及頻寬有效率之分數移動估計技術

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees