TWI401618B

TWI401618B - 執行紋理操作之方法及計算裝置

Info

Publication number: TWI401618B
Application number: TW097119987A
Authority: TW
Inventors: M Kugler Anders; L Minkin Alexander; P Newhall William Jr; J Migdal Christopher; R Fernando Pemith; Peter Young Lyp-Yen; Cem Cebenoyan Mehmet; Y Uralsky Yury
Original assignee: Nvidia Corp
Priority date: 2007-05-30
Filing date: 2008-05-30
Publication date: 2013-07-11
Also published as: CN101339647B; US20080297528A1; JP4869290B2; CN101339647A; US7924290B2; KR20080106069A; JP2008299852A; TW200903387A; KR100965636B1

Description

執行紋理操作之方法及計算裝置

本發明一般係關於電腦圖形，尤其係關於使用可程式編輯偏移位置來處理紋理樣本之方法及系統。

除非有其他指示，本段落內說明的方法並不屬於本申請案申請專利範圍之先前技術，並且不因包含在本段落內而公認為先前技術。

一種解決假頻瑕疵的常用紋理過濾方式牽涉到沿著將映射至紋理空間的像素中央圍繞起來之不同軸來存取並過濾等數量的圖素。這種方式通常運用雙線性過濾或三線性過濾。如所示，第一A圖為紋理圖100，其中先前技術2x2濾鏡核心在單一時脈週期內存取四個將一個像素中心102圍繞起來的相鄰圖素104、106、108和110，然後雙線性過濾這些圖素。

不過，某些貼圖應用以不同方式過濾圖素。一個範例為紋理式陰影映射，另一個為高動態範圍(HDR)彩現。陰影映射屬於陰影彩現技術，可增強電腦製作場景的真實性。尤其是，在陰影映射處理期間，首先從光的觀點彩現場景來產生特殊紋理圖，通稱為陰影圖，其中陰影圖內的每一圖素都儲存與可見表面相關聯的深度值，然後從觀看者的觀點彩現場景，利用場景空間內(x, y)位置上的一個像素投射至光空間座標內，然後測試能否看見來達成。此測試將像素內的深度值與深度圖內對應位置上儲存的深度值做比較，來決定像素是否位於物體之後。根據比較結果，像素會以陰影或明亮方式來呈現。若要彩現順眼的平滑陰影，則每個像素都需要從陰影圖取樣超過四個圖素，並且這些圖素通常都不相鄰。

針對HDR彩現技術，這是一項使用顯著對比差異保留場景內細節的技術。換言之，若場景內同時存在陰暗和明亮區域，運用此技術就可精確呈現出這兩區域。類似於上述的陰影映射技術，HDR彩現技術也可取樣超過每像素四個圖素。這些圖素通常分散超過2x2的區域，像是第一B圖內所示的圖素124、126、128和130。

運用前述陰影映射中的先前技術2x2濾鏡核心以及HDR彩現操作具有許多缺點，首先2x2濾鏡核心可能每時脈週期只能存取四散圖素其中之一，所以若要存取所有想要的圖素，則需要多個時脈週期。為了說明，假設貼圖應用需要存取圖素124、126、128和130，並且使用先前技術2x2濾鏡核心。因為2x2濾鏡核心的大小並不足以同時涵蓋所有四個所要圖素，只能涵蓋四個圖素之一，像是圖素124，所以濾鏡核心的四分之三可用紋理存取頻寬就浪費了。對於每像素需要存取超過四個圖素(例如十六個圖素)的貼圖應用而言，就更可見證2x2濾鏡核心的無效率。第二，先前技術2x2濾鏡核心以雙線性方式將取樣的圖素加權，這對於某些貼圖應用可能並非最佳，像是上面討論牽涉到陰影映射和HDR彩現操作的應用。

如上面所述，業界內所需為一種可有效並彈性取樣特定圖素並解決至少上述問題之紋理過濾技術。

在此揭示一種使用使用者指定偏移位置來執行紋理操作之方法及系統。尤其是，本發明的具體實施例提出一種方法，包含根據與紋理圖內投射像素相關聯的原始樣本位置以及使用者所指定第一偏移位置來取得第一預定圖素位置，並且在第一預定圖素位置上擷取圖素屬性來用於紋理操作之步驟。

此處所揭示的本發明至少一項優點為在由使用者指定偏移位置所決定的地點上操作紋理樣本之能力，如此可彈性實施並且有效執行紋理操作。

在整份說明書當中，「使用者」一詞廣泛表示在計算裝置上執行的軟體程式之使用者或設計師。此外，「使用者指定」和「可程式編輯」等詞可互換使用，以限定使用者可指定或修改的紋理樣本位置或紋理樣本偏移位置。紋理樣本通常稱為圖素。另外，此處所使用的某些「電腦可讀取媒體」範例包含但不受限於：非揮發性媒體(例如光碟或磁碟)以及揮發性媒體(例如動態記憶體)。

第二A圖為配置來實施本發明一或多領域的計算裝置200之概念圖。計算裝置200包含一個中央處理單元(CPU)202、一個系統介面204、一個系統記憶體210、一個圖形處理單元(GPU)250、一個GPU本機記憶體260以及一個顯示器270。CPU 202連接至系統記憶體210和系統介面204。CPU 202執行系統記憶體210內儲存的程式編輯指令，操作儲存在系統記憶體210內的資料，並且透過系統介面204與GPU 250通訊。在替代具體實施例內，CPU 202、GPU 250、系統介面204或這些的任意組合都可整合成為單一處理單元。進一步，GPU 250的功能可包含在一晶片組內或特殊用途處理單元或共同處理者的某些其他類型內。系統記憶體210通常包含配置成直接(如所示)或另外透過系統介面204連接至CPU 202的動態隨機存取記憶體(DRAM, "dynamic random access memory")。GPU 250接收由CPU 202傳輸的指令，並且處理這些指令以便在顯示器270上彩現GPU本機記憶體260內儲存的圖形資料和影像。顯示器270屬於輸出裝置，可顯示對應至輸入資料訊號的可見影像。

系統記憶體210包含一個應用程式212、一個高階陰影成形程式214、一個應用程式編輯介面(API, "application programming interface")216以及一個GPU驅動器218。應用程式212可喚起一或多個高階陰影成形程式214的實例，該高階陰影成形程式通常包含高階程式指令的原始碼文字，其設計來在GPU 250內一或多個處理引擎上操作。高階陰影成形程式214可由GPU驅動器218內含的組譯器或組合器，或由在計算裝置200或其他計算裝置上運作的離線組譯器或組合器，轉譯成可執行的程式物件，像是可執行陰影成形程式262。

可執行陰影成形程式262、紋理緩衝器266以及訊框緩衝器268全都在GPU本機記憶體260內。當由GPU 250內像素陰影成形引擎254執行時，可執行的陰影成形程式262發出指令至彩現管路252的不同元件。紋理緩衝器266通常儲存紋理圖，包含陰影圖。訊框緩衝器268包含至少用於驅動顯示器270的一個二維表面。

彩現管路252包含一個像素陰影成形引擎254，該引擎當中進一步包含一個紋理單元256。紋理單元256可使用來自紋理換衝器266的可程式編輯偏移位置取得所要的紋理屬性、處理濾鏡加權並且執行深度比較操作以及紋理過濾操作。後續段落將進一步詳述紋理單元256的功能和操作。

第二B圖為第二A圖內所示部分GPU 250的示意圖，其可根據本發明具體實施例來使用可程式編輯偏移位置執行紋理過濾操作。為了說明，假設紋理過濾操作產生第二C圖內所示畫面像速P的陰影狀態值S。在一個具體實施例內，發出至紋理單元256的陰影成形程式指令包含輸出主張S和多個輸入主張，像是P、Offset_i 以及texture[n]。在此，S代表計算陰影結果的代碼，P代表投射在陰影圖280內畫面像素的紋理座標，Offset_i 代表陰影圖280內的可程式編輯(u_i , v_i )配對，Texture[n]對應至紋理緩衝器266內儲存的特定陰影圖，像是陰影圖280。

藉由輸入P、S、Offset_i 和texture[n]，利用將Offset_i 套用至P可讓紋理單元256取得預定圖素位置D₁ 、D₂ 、D₃ 和D₄ 。例如：若P由(u₀ , v₀ )表示，並且Offset₁ 由(u_offset , v_offset )表示，則D1為(u₀ +u_offset , v₀ +v_offset )或(u₁ , v₁ )。此外，如第二C圖內所示，以P為原點，每一對(u_i , v_i )也相關於一個向量V_i 。例如：V₁ 與原點P和Offset₁ 相關聯。更進一步，在此實施當中，使用者指定四個不同(u, v)配對，並且不需要彼此對稱。尤其是，Offset₁ 內u₁ 的長度不需要與Offset₂ 、Offset₃ 和Offset₄ 內u或v的長度一致。類似地，Offset₁ 內v₁ 的長度不需要與Offset₂ 、Offset₃ 和Offset₄ 內v或u的長度一致。如此，涵蓋這些預定圖素位置的濾鏡核心大小與尺寸就不受限制。精通此技術的人士應該瞭解，在不悖離本發明範疇之下可比例調整至具有N 偏移配對的N 樣本。

運用預定圖素位置，紋理單元256將讀取要求傳送至紋理緩衝器266，以擷取D₁ 、D₂ 、D₃ 和D₄ 上的適當圖素屬性，像是深度值。然後，每一深度值都與深度圖測試中相關於P的深度值進行比較。第二D圖為說明將深度圖測試套用至圖素D₁ 、D₂ 、D₃ 和D₄ 的一組結果之概念圖。與P相關聯的深度值是否大於或小於D₁ 、D₂ 、D₃ 和D₄ 上儲存的深度值係由1或0表示。為了得到最後陰影狀態值S，紋理單元256將濾鏡權重套用至深度圖測試結果。在一個具體實施例內，紋理單元256藉由僅將深度圖測試對於模糊假影效果的結果平均，來計算陰影狀態值。在此，因為共有四個樣本，所以四個濾鏡權重每一都為1/4。另外，紋理單元256也可根據取樣圖素與投射像素間之相對距離來套用濾鏡權重，像是在傳統雙線性過濾當中。紋理單元256將最終陰影狀態值S回傳給像素陰影成形引擎254。

雖然上列具體實施例說描述其中每一取樣圖素的位置得自於使用者指定偏移位制之實施，本發明也可用其他方式來取得預定的圖素位置。根據本發明的替代具體實施例，第二E圖為說明從單一使用者指定偏移位置獲得圖素位置之概念圖。尤其是，取代前述具體實施例中接收四個使用者指定(u, v)配對，此處的紋理單元256接收單一Offset₁ ，像是(u₁ , v₁ )。然後紋理單元256將(u₁ , v₁ )配對對稱轉換來產生其他三個偏移位置，而不需要使用者介入。在一項實施當中，Offset₂ 、Offset₃ 和Offset₄ 分別為(v₁ ,-u₁ )、(-v₁ , u₁ )和(-u₁ ,-v₁ )。例如：若(u₁ , v₁ )具有(3, 1)之值，則Offset₂ 、Offset₃ 和Offset₄ 分別具有(1,-3)、(-1, 3)和(-3,-1)之值。運用這些Offset₁ 、Offset₂ 、Offset₃ 和Offset₄ 以及已投射畫面像素P的原始樣本位置，可計算出預定圖素位置D₁ '、D₂ '、D₃ '和D₄ '。值得注意的是，不像第二C圖內所示以及上面所討論的實施，本實施當中運用的對稱轉換會自動產生彼此鏡射的預定圖素位置，並且涵蓋這些鏡射圖素的濾鏡核心大小與形狀係受限制。

仍舊根據本發明的另一具體實施例，紋理單元256將使用者指定比例係數α套用至所有Offset，假設α為3。回頭參照上面討論的範例，比例調整過的Offset₁ 、Offset₂ 、Offset₃ 和Offset₄ 分別變成(9, 3)、(3,-9)、(-3, 9)和(-9,-3)。運用比例係數，涵蓋這些預定圖素位置的濾鏡核心大小就可輕易修改。

取代只指定單一(u, v)配對並且回覆至紋理單元256來產生其他三個Offset，根據本發明的另一具體實施例，紋理單元256接收兩個使用者指定並且非鏡射(u, v)之配對，並產生另外兩個配對而不需要進一步的使用者介入。例如：回頭參照第二E圖，假設紋理單元256接收(u₁ , v₁ )和(-v₁ , u₁ )。在此實施當中，紋理單元256將接收的(u, v)對稱鏡射以分別產生(-u₁ ,-₁ v)和(v₁ ,-u₁ )。

若要觸發紋理單元256以執行上述任何操作，有一項方式為發出具有特定輸入主張的特定陰影成形程式指令至紋理單元256。此陰影成形程式指令等級稱為「可程式編輯圖素位置(PTP, "programmable texel position")指令」。PTP指令的輸入主張之一可為使用者指定的偏移位置或使用者指定的偏移位置陣列。另外，輸入主張觸發紋理單元256之一查找使用者在一表格內指定並儲存的一或多個偏移位置。根據本發明的具體實施例，PTP指令的某些範例包含但不受限有：Sample_ptp Sample_ptp2 Sample_ptp4 Sample_c_ptp Sample_c_ptp2 Sample_c_ptp4 Load4_ptp Load4_ptp2 Load4_ptp4 Load4_c_ptp Load4_c_ptp2 Load4_c_ptp4

執行以上任一PTP指令觸發紋理單元256存取與特定偏移位置上已投射像素相關聯的一些圖素。此處的前置文字「ptp」表示指令內只指定一個可程式編輯偏移位置給一個像素。為了回應這種具有「ptp」前置文字的指令，紋理單元256根據單一使用者指定偏移位置產生其他三個偏移位置。前置文字「ptp2」表示指令內指定二個可程式編輯偏移位置。為了回應具有「ptp2」前置文字的指令，紋理單元256產生其他兩個偏移位置，其鏡射該等兩個使用者指定偏移位置。最後，前置文字「ptp4」表示指令內定義的四個可程式編輯偏移位置。上面的段落詳述從使用者指定偏移位置當中取得偏移位置的某些實施。

第三圖為根據本發明具體實施例，用於在牽涉到可程式編輯偏移位置的紋理單元256內執行PTP指令之方法步驟流程圖。尤其是，在與第二A圖內所示的像素陰影成形引擎254以及紋理單元256搭配之後，當像素陰影成形引擎254執行可執行的陰影成形程式262，可發出具有至少一個使用者指定偏移位置的PTP指令至紋理單元256。為了說明，假設發出的PTP指令具有「ptp4」前置文字並且內含四個(u, v)配對。在步驟302內，紋理單元256接收指令，並且從指令的前置文字認出有多個(u, v)配對。在步驟304內，紋理單元256擷取四對使用者指定偏移位置，然後在步驟306內取得預定圖素位置。在另一方面，若發出的PTP指令具有「ptp」前置文字，則紋理單元256仍舊在步驟304內擷取單一使用者指定偏移位置，並在步驟306內執行上面詳述的對稱轉換來取得其他三個預定圖素位置。

一旦已經決定所要的預定圖素位置，則在步驟308內，紋理單元256從PTP指令內指定的紋理圖中擷取相關圖素屬性，像是深度值。在步驟310內，根據發出的PTP指令之類型與內容，紋理單元256依照指令執行要求的操作。例如：若PTP指令為Sample_[ptp/ptp2/ptp4] ，則過濾擷取的圖素屬性，並且依照像素產生獨特的圖素。若PTP指令為Sample_c_[ptp/ptp2/ptp4] ，則在擷取的圖素屬性上執行深度比較，並且將結果過濾來依照像素產生獨特的圖素。若PTP指令為Load4_[ptp/ptp2/ptp4] ，則依照像素傳回擷取的圖素屬性，此時既不會執行深度比較操作，也不會執行過濾操作。若PTP指令為Load4_c_[ptp/ptp2/ptp4] ，則在擷取的圖素屬性上執行深度比較，並且依照像素回傳結果，並不執行過濾操作。

在一項實施當中，此新的PTP指令等級屬於第二A圖內所示API 216的一部分，如此可由使用API 216研發的任何應用程式喚起，並且獨立於硬體平台之外。另外，這些指令結合紋理單元256可讓設計師有效實施取樣方法，這導致濾鏡核心具有較大尺寸並且動態產生形狀，像是統計取樣技術。更進一步，除了上述的雙線性過濾以及同等平均過濾以外，精通此技術的人士應該瞭解，可在其他過濾法則中使用可程式編輯偏移位置，像是非等向性過濾與等向性過濾。例如：若非等向性過濾操作需要查找並過濾十六個樣本，則在一項實施當中，則發出PTP指令之一四次，使得十六個偏移位置可應用至所有十六個樣本。

以上的說明例示了本發明之多種具體實施例，以及如何實施本發明之態樣的範例。上面的範例、具體實施例、指令語意以及圖式都不應該看待為唯一的具體實施例，而是用來說明下列申請專利範圍所定義的本發明彈性與優點。

100‧‧‧紋理圖

102‧‧‧像素中心

104‧‧‧圖素

106‧‧‧圖素

108‧‧‧圖素

110‧‧‧圖素

124‧‧‧圖素

126‧‧‧圖素

128‧‧‧圖素

130‧‧‧圖素

200‧‧‧計算裝置

202‧‧‧中央處理單元

204‧‧‧系統介面

210‧‧‧系統記憶體

212‧‧‧應用程式

214‧‧‧高階陰影成形程式

216‧‧‧應用程式編輯介面

218‧‧‧GPU驅動器

250‧‧‧圖形處理單元

252‧‧‧彩現管路

254‧‧‧像素陰影成形引擎

256‧‧‧紋理單元

260‧‧‧GPU本機記憶體

262‧‧‧可執行陰影成形程式

266‧‧‧紋理緩衝器

268‧‧‧訊框緩衝器

270‧‧‧驅動顯示器

280‧‧‧陰影圖

所以，可以詳細瞭解本發明上述特徵之方式中，本發明的一更為特定的說明簡述如上，其可藉由參照到具體實施例來進行，其中一些例示於所附圖式中。但應注意所附圖式僅例示本發明的典型具體實施例，因此其並非要做為本發明之範圍的限制，本發明自可包含其它同等有效的具體實施例。

第一A圖為紋理圖，其中先前技術2x2濾鏡核心在單一時脈週期內存取四個將一個像素中心圍繞起來的相鄰圖素，然後對這些圖素進行雙線性過濾；第一B圖為紋理圖，說明紋理操作內所需的稀疏分散圖素；第二A圖為設置來實施本發明一或多領域的計算裝置之概念圖；第二B圖為第二A圖內所示部分GPU 250的示意圖，其可根據本發明具體實施例來使用可程式編輯偏移位置執行紋理過濾操作；第二C圖為根據本發明具體實施例說明使用可程式編輯偏移位置說明紋理操作的紋理圖一部分；第二D圖為根據本發明具體實施例說明將深度圖測試應用至所要圖素位置上某些圖素的一組結果之概念圖；第二E圖為根據本發明具體實施例說明從單一使用者指定偏移位置獲得圖素位置之概念圖；以及第三圖為根據本發明具體實施例，使用可程式編輯偏移位置執行紋理操作的方法步驟之流程圖。

302‧‧‧接收PTP指令

304‧‧‧擷取可程式編輯位移位置

306‧‧‧取得預定圖素位置

308‧‧‧擷取圖素

310‧‧‧執行要求的操作

Claims

一種用於執行一紋理操作之方法，其包含：根據與一紋理圖內投射的一像素相關聯之一原始樣本位置，以及由一使用者所指定的一第一偏移位置，來取得一第一預定圖素位置；以及擷取該第一預定圖素位置上的圖素屬性，來進行該紋理操作，其中在該第一預定圖素位置上的一第一預定圖素為與該紋理圖內該像素相關聯並且在其附近的四雙線性樣本之一。
如申請專利範圍第1項之方法，其進一步包含：從該第一偏移位置中取得該四雙線性樣本以外一第二預定圖素的一第二偏移位置；根據該原始樣本位置和該第二偏移位置，取得該第二預定圖素的一第二預定圖素位置；以及擷取該第二預定圖素位置上的圖素屬性，來進行該紋理操作。
如申請專利範圍第2項之方法，其中該第二預定圖素位置沿著該紋理圖的至少一軸與該第一預定圖素位置對稱。
如申請專利範圍第3項之方法，進一步包含將由該使用者指定的一比例係數套用至該第一偏移位置與該第二偏移位置。
如申請專利範圍第2項之方法，其進一步包含：將該第二偏移位置沿著該紋理圖的一第一軸之一座標值設定成等於該第一偏移位置沿著該紋理圖的一第二軸之一座標值。
如申請專利範圍第1項之方法，其進一步包含：根據該原始樣本位置和由一使用者指定的一第二偏移位置，取得該四雙線性樣本以外一第二預定圖素的一第二預定圖素位置；以及擷取該第二預定圖素位置上的圖素屬性，來進行該紋理操作。
如申請專利範圍第1項之方法，其中該紋理操作包含將濾鏡權重套用至該四雙線性樣本，來產生該像素的一獨特值。
如申請專利範圍第7項之方法，其中該濾鏡權重可具有任意值。
如申請專利範圍第1項之方法，其中該紋理操作包含執行該像素與該已擷取圖素屬性間之一深度比較。
如申請專利範圍第9項之方法，其中該紋理操作包含在一深度比較操作結果上套用一過濾操作。
一種配置以執行一紋理操作的計算裝置，該計算裝置包含：一處理單元，其具有一紋理單元；以及一本機記憶體，其耦合至該處理單元，其包含一紋理圖，其中該紋理單元配置以：根據與一紋理圖內投射的一像素相關聯之一原始樣本位置，以及由一使用者所指定的一第一偏移位置，來取得一第一預定圖素位置；以及擷取該第一預定圖素位置上的圖素屬性，來進行該紋理操作，其中在該第一預定圖素位置上的一第一預定圖素為與該紋理圖內該像素相關聯並且在其附近的四雙線性樣本之一。
如申請專利範圍第11項之計算裝置，其中該紋理單元進一步配置以：從該第一偏移位置中取得該四雙線性樣本以外一第二預定圖素的一第二偏移位置；根據該原始樣本位置和該第二偏移位置，取得該第二預定圖素的一第二預定圖素位置；以及擷取該第二預定圖素位置上的圖素屬性，來進行該紋理操作。
如申請專利範圍第12項之計算裝置，其中該第二預定圖素位置沿著該紋理圖的至少一軸與該第一預定圖素位置對稱。
如申請專利範圍第13項之計算裝置，其中將由該使用者指定的一比例係數套用至該第一偏移位置與該第二偏移位置。
如申請專利範圍第12項之計算裝置，其中該紋理單元進一步配置以將該第二偏移位置沿著該紋理圖的一第一軸之一座標值設定成等於該第一偏移位置沿著該紋理圖的一第二軸之一座標值。
如申請專利範圍第11項之計算裝置，其中該紋理單元進一步配置以：根據該原始樣本位置和由一使用者指定的一第二偏移位置，取得該四雙線性樣本以外一第二預定圖素的一第二預定圖素位置；以及擷取該第二預定圖素位置上的圖素屬性，來進行該紋理操作。
如申請專利範圍第12項之計算裝置，其中該紋理單元進一步配置以在該紋理操作中將濾鏡權重套用至該四雙線性樣本，來產生該像素的一獨特值。
如申請專利範圍第12項之計算裝置，其中該紋理單元進一步配置以在該紋理操作中執行該像素與該已擷取圖素屬性間之一深度比較。