TW454154B - Method and apparatus for stretch blitting using a 3D pipeline - Google Patents

Description

4 5 4 15 4 五、發明說明（1) 明之領，威’ ' η本發明係關於一種透過電子裝置顯示之圖形顯示，尤其 疋關於一些透過電子裝置而顯示之圖形的縮放操作。 前技藝之說明 個人電腦已進入日常家庭用途近二十年。教育和娛樂遊 戲已有很強的PC應用軟邀，1因3D圖形之導入而更為精 =—即時=相片專用紋理化的3D圖形將對真實世界所在提 八—更精確的模擬，其具有全方位自由之可視性。 化之即時3D圖形的關鍵在於具備-支援雜亂 係户且古數屏古! 構與憶體存取技巧，且該等景象 處』#、截必素記憶體存取次數之物件者。相關之 ηπ ' 2 系統之更新率低於所認定之即時速率 ζ :制二二建議方案係將處理卸載至應用軟體上，因 而在即時製作-些簡單的景 加速這些需要處理器密隼處理二：較佳之加速器會 下來供進‘高階功能。大f ^ Ϋ 向使處理器工 曰Μ订以f体砧舳/大體上，疋叙化加速硬體（ASIC矽 日日片）可以更決地執行一些製像（renderi 更多時間給軟體應用。此—圔β qn制你' ^刀月b而工出 f · , · , ^ 圖形3D製像引擎、或3D管線 (PiPeline)，使用相當多數量的乘法與加法電路。 視訊會議及其它視訊影像處理亦有變 一種可使用在視訊電視會議的胜 ，、1 趨勢。 前將一視像縮放至各種尺寸的$ ]為—能夠在傳輸之 詳細，但需要較少的通訊頻寬^的影像雖然較不 所再製。通常，係由一攝赘機 ^以更快為接收端電腦 躡I機來產生一由攝影機之影像感

第4頁 454154

五、發明說明（2) 之具有最大尺寸的視械，事像，該影像再透過一 ”’放裝置被縮放至一較小或較大的影像。 現有之對原始像素進行數位篩選俾提供一 二：影機被設計成在該單一原始像素時期内：2:出 輪出像素。換句話說，—多抽頭筛選器之每2生每-賦予相同之時脈週期。、结果，需要相當多的乘法』必須被 路來處理每一分離之並列篩選器抽、^法電 1加時，'亦增加筛選器之傳播延遲，以；法電路 夕，當縮放裝置履行於一積體電路（IC) ^ 芯，將導致據以實施之_晶片尺寸增;/冗 '、、口果疋一更昂貴的縮放引擎。 玻後的 =電腦系統包含3D製像以及視訊成像系統時， I = & ，用以提升計算速度的硬體輔助變得更貴。、 二數ί二t括三維製像與視像縮放功能的成像系統所用之 閣數可以1少將是較佳的。 π用之

發明之相1述 ，丨I ^發明提供一種影像縮放方法與裝置。一 3 D之 —命令流控制哭板& g線包含 對位置而定中】：所ΐ定之矩形的位址。在相鄰點間依相 色私外笞残Γ 時選器，以產生每一像素之屬性。一 標表面:° 4準各輪出資料，並將該等輸出資料寫至—目 圖式之簡單說明 本發明以舉例方式而非限制方式被例示於下述所附各圖

第5頁 45 4 154 五、發明說明（3) 中，且其+相同的參考數字代表%乏元件，其中： 圖1為一可用以實施本發明之電腦系統的方塊圖； 圖2為一用以處理視訊影像之3 D管線之一實施例的方塊 圖， 圖3為視訊影像伸張程序之一實施例的流程圖； 圖4例舉一 1 6乘1 2矩形用目標資料； 圖5A例舉一由用以進行3D製像與縮放之開窗器所執行的 邊緣測試；以及 圖5B例舉一由用以進行3D製像與伸張縮緊之開窗器所執 行的邊緣測試。 圖式符號之說明 110 微 處 理 器 115 主 機 匯 流 排 120 主 機 橋 接 器 125 主 記 憶 體 130 圖 形 卡 140 3D 引 擎 147 本 地 記 憶 體 ' 150 主PCI匯流排 160 PC 1 對ISA 橋 接器 210 引 擎 220 命 令 流 控 制 器 225 設 定 引 擎 230 開 窗 器 240 映 射 位 址 產生器 245 提 取 單 元 250 雙 線 性 篩 選器 255 通 道 操 作 260 快 取 記 憶 體 270 中 插 器 28 0 色 彩 計 算 器 發明之詳細說明 在此敘述一以紋理映射引擎進行圖形縮放的方法與裝 置。在下述說明中，基於解釋之目的，數個特定細節係為

454154 I ：ϊ 五、發明說明（4) 了提供一 本發明之充分了解而述然而對於任一熟於此 技人士，本發明顯然可以不用這些特定細節來實施。在其 它例子中，各種結構與裝置都以方塊圖形式表示，以免含 糊本發明。 在本說明書中所指"其中一實施例"或"某一實施例"意指 一關聯於該實施例而述之特定特徵、結構、或特性包含在 本發明之至少一實施例中。在本說明書之各處所述n在一 實施例π的出現並不必然是指相同的實施例。 在一包括三度空間製像（r e n d e r i n g )與視訊的電腦系統 中，有一種系統重複使用一些供3D製像與縮放用之作為硬 體協助的閘體。供縮放和3 D製像用之計算類似，因此，用 以繪製三度空間影像之3 D管線可以在修改下用以放大或縮 小、篩選、改變表面格式，並改變視訊製像之色彩空間。 該影像處理器如同下述將被施行於該利用紋理映射引擎的 3 D管線中。此優點在於各用以修改該3 D管線俾可以進行影 像處理的閘體數，與各別執行這些功能相較之下，顯著減 少。 | 丨, 利用3 D管線來執行縮放會產生一;改善之性能，且節省一 獨立縮放引擎所需之閘體。該縮放引擎亦可藉由3 D管線之 功能而因具有較佳之縮比與篩選而獲得改善。此外，一，3 D 管線之高度管線化的格式有利於用以增加縮放之性能。 一標準之3D管線受到一些改變，該設定引擎與開窗器被 修改成使3 D管線可以處理矩形與三角形。此外，該映射位 址產生器受到修改，俾允許在4 : 2 : 2與4 : 2 : 0資料中之定

O:\62\62182.ptd 第7頁 454154 五、發明酬⑸ P|U, 址。其次，快取記憶體修改成允許f這類資料之定址，所有 這些改變將詳細敘述於下。 圖1為一本發明可被實行之電腦系統的方塊圖。該系統 可以包括一或多個處理器110’該等處理器110可被連結至 一主機匯流排11 5，主機匯流排11 5可被連結至一主機橋接 器1 2 0，俾牌圖形卡或圖形副系統1 3 0連結至該等處理器 1 1 0。記憶體1 2 5亦可被連結至主機橋接器1 2 0，該主機橋 接器1 2 0還可被連結至一系統匯流排1 5 0，例如一 p C I匯流 排1 5 0，該P C I匯流排1 5 0可被連結至一 PC I對I S A橋接器

1 6 0。各連接埠以及擴充ISA匯流排可被連結至該pC丨對ISA 橋接器1 6 0 β _ f _ 圖形加速器1 3 0包括一用以繪.製一三度空間影像的3 D引 擎140。如同下面將述及者’該3D引擎140並可被用以縮 放。各種輸入與輸出裝置可被連結至圖形卡130，諸如視 訊輸入、顯示器、電視等等。該圖形卡1 3 〇還可包括本地 _ 3己憶體1 4 7 ’供提升圖形操作之速度。此外，中央單元 U 0、1 4 5 p下所述可包括本地快，記憶體。圖形卡丨3 〇可 經由匯流排1 3 5或一類似之連接裝查，被連結至主機橋接 1 器 120。 圖2為一3D管線之方塊圖。該3D引擎21 0包括一紋理管線 2 1 5，此3 D引擎如同業已知悉者可供三度空間製像用。該 3D管線如下所述亦可用以縮放。在一實施例中，縮放解^馬（ 會響應於一在此稱之為GFXPRIMITI VE之具有特定矩形原始 形態的特別命令（此後，稱之為GFX矩形命令）而被執行，°

454154 五、發明說明（6) — 不過，^•它命令名稱與格式亦可彳|丨丧用。 命令流控制器220被連結來接收各來自例如一處理器或 一缓衝器之外部源的命令。命令流控制器2 2 〇對該等命令 加以剑析並解碼，以執行適當之控制功能。若所被接收之 命令並不是GFX矩形命令，命令流控制器220即將控制信號 與資料傳送給設定引擎225。命令流控制器220亦針對^々 GFX矩形命令而控制記憶體管理、狀態變數管理、二維操 作等。 、 在其中一實施例中，當命令流控制器220接收一GFX矩形 命令時’頂點訊息即被送至設定引擎225。在其中一實施 例中’命令流控制器220將矩形之左上、右下、以及左下 頂點提供給設定引擎2 2 5。各頂點係供設定引擎2 2 5計算一 平面方程式之三個項目：相對於X，γ之屬性變化率，以及 起始點。 ( 此外，當紋理映射被執行時，設定引擎225會決定一界 .. I · I ' ’ 限框，其+有該等頂點所界定之三’:¾'形。 設定引擎2 2 5從該命令流控制器2 2 0接收該目標位置之一 左上頂點、右下頂點、以及左下頂點。設定引擎2 2 5亦接 收每一頂點之第二組座標，其界定原始化尺寸。設定引擎 2 2 5計算二組座標之比率，以決定伸展或擴展或尺寸減少 之因數。該等目標座標係呈視窗關係，雖然該來源之座標 係相對於該來源影像之左上角，亦即其左上座標永遠為 0，0。注意的是該設定引擎方程式為一組為3 D製像用三角 形而作的副計算組"因此，不需要其它硬體。該設定引擎

464154 五、發明說明（7) 225還會1產生一邊緣，其界定該矩％|:凉型之界限框，設定 引擎225將該界限框訊息送給開窗器230。 開窗器2 3 0產生目標表面之位址。該開窗器2 3 0通常係藉 由繪出通過每一對頂.點之線而產生這些位址。頂線51 〇以 上之區域被標示為負的，而頂線510下方之區域被標值為 正的；在底線520下方區域標示為負的，而在底線520上方 之區域則標值為正的，在邊線5 3 0之内侧的區.域標值為正 的，而在邊線530外側之區域標示為負的；此稱為邊緣測 試。該開窗器2 3 0會計算所有像素通過這三個邊緣測試之 位址，這定義所要被顯示之三角形5 4 0，且此例舉於圖5 a 和5B 〇 為進行縮放’使用该開窗器230之另一功用。開窗器230 可以不顯示一位於該為設定引擎225送給開窗器230之界限 框5 90以外之區域。因此，邊緣測試將迫使永遠為正的， 進而將該區域界定成界限框590之整個區域。開窗器230重 覆在該界ί框内之像素，以產生該為X矩形命令所定之讀 寫位址。換句話說，該三角形邊緣方程式永遠被略過，其 使開窗器23 0可以處理整個矩形’而非停止於一三角形邊 界。這些讀寫位址被送至該映射位址產生器。 開窗器23 0會產生一些像素讀寫位址，以對一未示於圖2 之快取記憶體存取資料，開窗器23 0亦提供阿爾伐溶合步 驟所用之目標項目給色彩計算器28 0。開窗器23〇從該訊框 緩衝器中獲得該目標訊息。 開窗器230利用3D管線中可行的课度管線化。當開窗器

第10頁 454 彳 54 五、發明說明（8)

2 30收到來自芎讲a … 23〇即開始產^位二。、* 225之界限崔與各頂點後，開窗器 體有一相當長的等乂些位址資料由記憶體取得，記憶 產生位址時，有關兮間（latency)，因此，當開窗器230 要求之控制部料之要求將被管線化，且每-對每一所產：放在-FIF0中。如此，對於資料，亦即 續送至記憶體。是：\的要ί在該位址被產生時，將被連 一筆像素資料。Μ Μ 6己憶體等待時間僅影響所要求之第 後續像辛眘扭 由官線化，記憶體等待時間之效應對於 言等於被刪除了，一像素將可以在每-時

二番递佶而維持產出率。區域之管線化係昂貴的，因而 最好重複使用3D引擎現存之管線化。 映射位址產生1^240會產生實際位址來取得紋理圖中之 特定像素，在其中一實施例中，該映射位址產生器24〇會 根據下述方程式，來計算該目標區域； cxiw 'x+c^w · 此一方程式為所有熟於3D製像者所知悉者。 藉由使用下表中之各值，複雜的紋理映射方程式可被簡 化供縮放計算之用，進而使硬體可供雙重目的之用。Cxs,

與(；s被直接送至映射位址產生器240，成為平面參數。

第11頁

454154 五、發明說明（9)

Ί K 變數 相述 值 飞(原始表面之水平尺寸)相對於X之t化率 ;由設定引擎計算得' C〇S 相對於S之偏移 由設定弓丨擎計算得^ CyS S相對於y之變化率‘ 由設定引擎計算得： cxT T相對於X之變化率 '‘' H定引擎計算得： C〇s 對於T之偏移 由設定引擎計算得 CyT T相對於y之變化率 由設定引擎計莫·得: C.iw 1/W相對於乂之變7匕率 設定至0.0 C〇iW 對於1/W i偏移 f 設定至1.0 CyiW 1/W相對於y之變化率^ 設定至0.0 P〇, 對u之偏移 由詨定引擎計算得η. !但通常為0.0〇 對V之偏移 . 丨丨丨.. 由設定引擎計算得，]_ 1但通常為〇.〇 k : 這使上述方程式十之分母變成1，而產生一簡化之方程 式：

u(x,y)=CxS-x + CyX-y + C0S 其將界定一簡單平面Ax + By + C。該映射位址產生器240並 被進一步修改，以接收非正規化之頂點值。視訊位址通常 不被正規化，然而3D製像座標組則常被正規化，藉由修改 該映射位址產生器24 0所能操作之值，3D管線即可供縮放 使用。

第12頁 454154 五、發明說明（ίο) 提取單元245執行記憶體管理與味/:列化。提取單元245送 丨1 出要求給儲存在快取記憶體2 6 0或記憶體中之原始圖，且 提取單元245會將映射位址產生器240所提供之讀取位址轉 成快取位址。該由提取單元2 4 5所產生之快取位址被送至 快取記憶體2 6 0。若在快取記憶體2 6 0中未發現該資料，則 提取單元245即對記憶體要求該資料，並在該資料接達後 將其放在快取記憶體中。 儲存在快取位址中之像素資料被送至篩選器25〇 ,映射 位址產生器2 4 0送出分散的像素定位資料與相鄰像素之快 取位址，給篩選器250。篩選技術為此技藝人士所熟知， 因而不在此討論。 v 中插器270可用以產生一供溶合用之中插阿爾伐值。阿 爾伐溶合使部分已在訊框緩衝器中之影像以及部分原始影 像被看到。所謂阿爾伐（α )界定該來源之不透過度。在其 中一實施例中，該阿爾伐值被固定以供縮放用，且該中插 器270未被使用。若該阿爾伐值未—固定，將使用一同於 丨 上述相對於該映射位址產生器24〇所述之方程式。在另— 實施例中’在所有三個頂點上之阿爾伐值被標定，且該中 插器2 7 0於各頂點之阿爾伐值間產生一平滑之溶合。該等 阿爾伐值被送至色彩計算器280。 （ 色彩空間轉換與通道指定格式等之其中—實施例列舉於 下表：

第13頁 5 4 1 5 4 五、發明說明（11) 源頭—目標表面 操作 原始表面 目標表面 4:2:0 —>4:2:0 運動補償與等 差縮放 4:2:0表面之 每一通道被 分開處理， 需要三個通 過 4:2:0 4:2:0-^4:2:2 等差縮放 4:2:2 4:2:0之每一通道 被分開處理，需 要三個通過 4:2:2^4:2:2 等差縮放 4:2:2 4:2:2 4:2:2 -> 4:2:0 等差縮放 4:2:2 4:2:0之每一通道 被分開處理，需 要三個通過 4:2:2 —> 16 bpp RGB 等差縮放 4:2:2具有色 彩空間轉換 16 bpp表面 8 bpt Y 16 bpp RGB 以紋理組成進 行3D製像 明視度紋理 圖調整另一 圖 16 bpp後缓衝器 16 bpt AI —> 16 bpp RGB 以紋理組成進 行3D製像 • ' -V- 阿爾伐&強 度紋理圖溶 合及/或調整 另一圖 16 bpp後緩衝器 8 bpt Index RGB 16 bpp RGB 3D製像 調色化紋理 圖用8位元 索引 16 bpp後緩衝器 16 bpt RGB 16 bpp RGB 3D製像 16 bpt紋理 圖 16 bpp後緩衝器 111111 第14頁 454154 五 '發明說明（12) ' ~ ~ --- 式在工：Ιίϋ中’可由該受支心始表面與輸出模 式來產生其它目標表面。 二道操作單元255執行色彩通道指定操作(Υ，U，以及V —^ 其亦執行一由YUV至RGB之色彩空間轉換。對於其 例通道操作單元255可進行通道指定與色彩空 2換:在其中一實施例中，對於濱通道轉換使用三個 I、。第一，每一像素被上取樣至一 4:4:4之格式，其中 插一供中間像素用的U與¥值。接著在三個通過中可能發生 表面格式轉換。在第一次通過中，γ值被寫下，在第二次 通過中，U值被寫下，而在第三次通過中，V值被寫下。這 對於一由平面變成包封格式之轉換提供一便宜之轉換，且 不需要二個位址排流機（address streamer) ^這些轉換可 供作為視訊會議及其它應用。 在其中一實施例中，在該色彩計算機28 0之資料對齊暫 存器中進行一由4:2:0變至4:2:2的通道指定。 在其中一實施例中，該色彩計算__28〇在各種方案中使 用下述溶合方程式： 色彩=α *來源+ (1- α )*目標 色彩計算器280接收三個輸入值’分別為來自通道操作 單元2 5 5之原始色彩、來自記憶體之目標色彩（由開窗器 230所提取）、以及來自中插器270之阿爾伐值（可被固 定）。在色彩計算器280中之包封邏輯會對準各資料，並將 其寫至目標表面._。 圖3為影像伸展處理之流程圖。在方塊31 〇，矩形原型被

第15頁 454154 五、發明說明（13) 一~— 致能。該矩形原型使3D引擎可將丄1由，三點所描述 為一矩形。該矩形為一軸向對齊之矩形，由三個頂 j 與所致能之選拔順序相一致之正確環繞順序所描述 頂點描述一正三角形，且其中該三角形之底邊平行於該X 軸，而三角形之垂直邊則平行於7軸。第四點可根據該^三 頂點而得知。在其中一實施例中，若該矩形原型在該縮放 開始時已被致能’則此步驟將被省略。 在方塊320，該矩形命令被送至3D引擎。該矩形命令告 知3D引擎下述訊息將被縮放，而不是三維製像訊息。 在方塊330，該程序會測試該3D管線是否被清洗過。由 於該3D管線允許並列，在其中一實施例中，其在視訊伸展 起始之前將被清洗。而在其中一實施例中，此步驟與步驟 3 3 5可被省略，若3 D管線未被清洗，程序將續行至方塊 335，在此該程序將等待，直到該3D管線被清洗完畢。之 後程序即進行至方塊340，若3D管線已被.清洗，程序即直 接進行至方塊340。 … 在方塊340，矩形資料被送至在該3D管線2丨〇中之設定引 擎225 ’該矩形資料界定該等操作於其上之資料的矩形。 在方塊3 4 5 ’ XY座標在開窗器中被計算，χγ座標係界定 該影像目標表面。 在方塊350，UV座標在映射位址產生器（MAG)中被計算， 該U與V座標界定一影像原始表面。 在方塊3 6 0 ’像素資料被提取且被快取化。在其中一實 施例中’此發生於像素位址被產生之後。在其中一實施例

第16頁 454154 五、發明說明（14) , ;| 中，該像素資料以4x4之資料塊被ϋ化。 在方塊3 7 0，該等像素值被中插化，此會產生目標表面

中之每一像素的屬性。 ’ 在方塊38 0，執行通道指定與色彩空間轉換步驟。在其 中一實施例中，這些步驟僅在被要求時才被執行，而在其 它實施例中，這些步驟則永遠被執行。 _ ， ^ ^ π 异沿η啁仪落合該資料、對準t 其寫至目標表面。&因而產生目標影像。在 程序結束時，在目標斟德击+ & i 在方塊3 9 0 每一像素將獲知，因而目 程序結束時， 衫像得以被顯示

在上述說明中，本發明 + 明，然而，很顯然地，在不離表性實施例作-說 之較廣義精神與範圍下，可對 於申請專利範圍所 此，說明書與圖式僅供例I而二乍各種修改與變更，因 例舉而不具有限制性。

Claims (1)

1. 454154 六、申請專利範圍 1. 一種3D管線 供 管線包含： 命令流 開窗器 一篩選 之各相鄰點 一色彩 至一目標表 2. 如申_請 一設定 之變化率， 一界定出該 3. 如申請 一映射 像素圖中之 4. 如申請 生器利用各 5. 如申請 一提取 • 6.如申請 一通道 換。 7.如申.請 4 : 2 : 2 至4 : 2 控制器， ’用以產 器，用以 ，以產生 計算器， 面。 專利範圍 弓丨擎，用 而產生原 送給開窗 專利範圍 位址產生 特定像素 專利範圍 頂點之非 專利範圍 單元，其 專利範圍 操作單元 專利範圍:〇 YUV 空 作為三雄製娘|輿’縮放用’該 用以致能一矩形模式； 生—由各頂點所界定之矩形 根據相對位置來篩選與中插 每—像素之屬性； 用以對準輸出資料，並將输 第1項之3D管線，還包含： 以叶算各屬性相對於X與γ以 ，與目標位址間之座標比值 器之矩形的界限框。 ^項之3D管線，還包含： 器，用以產生一實際位址， 〇 第3項之3D管、4:，其中該映身 正規化值。 第1項之3D管線，還包含： 提供記憶體管理、以及快取 第1項之3 D管線，還包含： ，用以在一YUV空間中執行- 第6項之3D管線，其中該轉类 間〇 縮放用3D 的位址； 每一像素 出資料寫 及起始點 、 ，並產生 供提取一 于位址產 處理。 ( -通道轉 Μ系從

   第18頁

   4541 54 六、申請專利範圍 8. 如申請專利範圍第1項之3D管i:，'其中該色彩計算器 還用以執行一色彩空間轉換。 9. 如申請專利範圍第8項之3D管線，其中該色彩空間轉 換係從YUV至RGB。 1 0.如申請專利範圍第1項之3D管線，還包含： 一中插器，用以產生阿爾伐溶合之阿爾伐值。 1 1.如申請專利範圍第1 0項之3D管線，其中該色彩計算 器還供利用該中插器所提供之阿爾伐值，來進行該輸出資 料之阿爾伐溶合。 1 2.如申請專利範圍第1項之3D管線，其中該開窗器產生 一目標表面之位址。 1 3.如申請專利範圍第1 2項之3 D管線，其中該目標表面 藉由強迫通過一供整個界限框用之邊緣測試而產生。 1 4.如申請專利範圍第1項之3D管線，其中該開窗器利用 一深度管線化，來連續性產生位址，並將該等位址於產生 時即連續送至一記憶體，藉以減少义憶體等待時間之影 響。 1 5. —種用於一三維管線中之方法，包含： 接收一信號； 接收兩個以上之界定一區域的座標點； 根據該信號決定該區域為三角形或矩形； 若該區域為三角形則根據該區域之資料決定一 3D影 像；以及 若該區域為矩形，則根據該區域之資料，執行一縮放

   第19頁 六、申請專利範圍 ,操作。 16. 如申請專利範圍第15項之‘ 根據該信號設定該3D管線壯，還包含·· 標點係界定—視訊影像或一三維=，該狀態標示該專座 17. :申請專利範圍第15項之方法影還Va : 若該區域為矩形則在處 ' 3 矩 18. 如申請專利範圍第15J§ > /科之别，清，先3D目踝 形命令。 第5項之方法，其中該信號為 點7人如二广專利範圍第1 5項之方法，其中該等多數座標 點包3二點，各界定一正三角形之左上頂點、一右下頂 1 以及左下頂點，且該矩形藉由決定右上頂點而被界 疋 0 、2 〇. —種在一三維（3 D)管線中縮放數位視訊資料的方 法，包含： 接收一矩形命令； 接收各界定一正三角形之左上’、右下、及左下頂點； 標定一界定一矩形之界限框； 計算一影像目標表面； 計算一影像原始表面； 提取並快取化像素值； 對該等像素值進行中插，以產生位於該目標表面中之 各像素；以及， 顯不該目標表面。

   第20頁