TW200407799A - Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm - Google Patents

Description

200407799 A7 B7 五、發明說明（ 編解她一種用於網路傳輸及即時描緣的小波式 ‘解馬㈣貼圖分割與漸進式傳送方法，尤指—種應用於 3 D圖像資料之漸進式傳輸方法。 μ 、

I 虛擬實境與3 的應用在日f生活中目前係隨處 見’例如電腦遊戲、教學軟體等方面的應用，麫而在 際，路上，未見其普及化，探究其原因時，不難發現因3 D场不的貝料讀A，若藉用有限的網路頻寬進行傳遞時 將耗費大量的傳送時間及金錢。再者，I 3 d資料傳遞 之際，亦造成繪圖硬體（如顯示卡）極大的工作負擔，且 無法達到即時描繪的效果。有鑑於此，軟體設計者廣泛地 採用多精細度讀技術（丨evels Gf detail)於⑽資料的建 立過程中，亦即在3 D場景資料甲，距離觀察者越遠及越 不重要的物景，使用較粗糙的模型及貼圖描繪即可，以期 在不損傷輸出影像品質的前提下盡量減輕繪圖硬體的負擔 ’並可降低所需資料的輸送。 ° 、現今J P E G格式是影像編碼中最被廣泛通用的壓縮 格式，但J p E G格式在壓縮與解壓縮上有先天上的限制 ，例如必須將待壓縮的原始影像先行切割成8 χ 8的區塊 ，再對每個區塊分別作轉換，於壓縮率較高時，重建影像 便會有“塊狀失真（blocking artifact)，，。 為了能有更廣泛地應用，“低位元率（l〇w bit rate)，，是 目前視訊、影像壓縮研發者所努力的方向。在目前發展的 影像壓縮規格JPEG2000標準中，係使用小波轉換來取代 原先JPEG的DCT(離散餘弦變換），使得低位元率傳輸得 L---------— __3 gg紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐 200407799 A7 --------- B7_____ 五、發明說明（2 ) ~" 二實現’並且可以提供多樣性的顯示選擇，例如漸進式傳 別私定解析度、指定傳輸的位元率等。以下就小波影像 編碼的步驟作一簡單敘述： R G B/Y u V轉換：一般來說，尚未經過壓縮的原 始圖樓是由RGB三色系所組成，然而在影像壓縮系統中 通^不使用RGB三色系，主要原因係此三色系的相關性 太咼，使得各色系在單獨壓縮時仍須顧慮到其餘兩種色系 ，‘致壓縮率大為降低。因此現今大部份的影像壓縮方法 (如J P E G )大多採用另一色彩系統_ γ u v。其中， Y是代表亮度（luminance)，U和V則分別表示兩種色彩的 飽和度（chrominance)，因γ u V三種色系的相關性非常低. ，故適合做資料的壓縮。在影像資料傳送時，由於人對於 亮度的敏感性會大於顏色飽和度，因此γ : U : v的資料 量比例，通常Y會佔有較多的分量。現今大部分對於γ : U · V的比例是取為4 : 2 : 2或是4 ·· 1 : 1，最簡單 的做法就是對每點像素（pixel)或是每四點像素僅取一個u 和V值，而對每一個像素皆取一個Y值，如此便可達成4 :1 : 1或4 : 2 : 2的比例。 根據CCIR 601的標準，RGB轉換成γυ V的公式 如下所不·

(Y) -0.299 0.5 0.114" U = 一 0.147 -0.289 0.436 G 7J 0.615 -0.515 一 0.1_ UJ 4 :¾¾.紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱）

— — — — — — — — I I (請先閱讀背面之注意事項再填寫本頁) · .線· 200407799 A7 五、發明說明（3 ) S+P Transform :在漸進式影像傳輸的前提下，必須使 影像在原圖大小下由模糊漸漸轉成為清晰，因此可採用 S+P Transform來進行轉換。 請參考第五圖所示，其原理係將一影像資料轉換成金 字塔型（pyramid )的資料型態，如此使得原始影像經過數 層的轉換形成自右下level 0至左上level N的架構，當影 像資料傳輸係從level N到level 0依序傳送時，將可令影 像從模糊漸漸轉為清晰，而達成漸進式影像傳輸。 在S+P Transform的轉換過程中，係將一張影像資料 視為一連串的整數數字所組成，對於這串整數數字c[n]， η=〇，.··，Ν-1，Ν，可以用下列兩個序列表示： --------------裝—— (請先閱讀背面之注意事項再填寫本頁) •irDV ·

咖]=φ水 c(2« +1)^ = 〇”··，令—1 ......(2) --線. 這兩個序列可視為對c[n]序列的S-Transform，其中 l[n]是相鄰兩數的平均值，而h[n]是相鄰兩數的差值，轉換 後的l[n]和h[n]恰好可放在原本c[n]的儲存空間。如果對 一張2 D的影像先做行（c〇iumn)的s_Transform，再做列 (row)的S-Transform，依此反覆順序可得到如第六圖所示 的結果。 根據第六圖所示，原始影像可經由s-Transform形成 夕層的金字塔架構，這個金字塔的越左上角（11部分）將保留 越夕點的平均值，而其β lh、h卜hh # 會修正圖形的 «5恭紙張尺度適用中國國家標準（cns)a4規格（210 X 297公爱） 200407799 A7 一 ， __B7_ 五、發明說明（+ ) 細差異。所以當資料由左上至右下依序傳送時，可以看到 影像係逐漸由模糊而轉為清楚。 但是在經過S-Transform後，各階層的h[]會有關聯性 ，導致h[]無法收斂。為了改善這個狀況，係在S-Transform中再加入預測（predictive coding)的功能，此即為 S+P Transform。其中預測的方法是先算出h[]的預測值， 稱之為M]，(如第3式）然後以預測值（甸）和實際值（h[]) 兩者的差值，稱之為九[]，以取代原本h[]的輸出，此□會 較原先的h[]收斂許多，使資料壓縮更有效率。 kn] = Σα Δ/[^ + ^Σβ Μη + j] ……(3 )

i-L j-\ J 其中，△/〇?] =/[π-1]-/问，而為預測係數 (predictor coefficients) hd[n] = h[n] - \h[n] + = 1 ……(4) 從第（3)式中可看到α和/3這兩個predictor coefficient ，這兩個predictor是由是否可產生最小的entropy、變化度 (variance)及不同的頻譜(frequency domain)來決定。根據上 述原則，predictor被區分為三種類型，分別是： A類型：可以產生最小計算複雜度 B類型：用在自然影像上（natural image ) C類型：用在要求極為精細的醫學影像（medical image) 由於一般壓縮的圖型均為自然影像，因此採用B類型 的predictor coefficient，則式（3)可改寫為如下式（5): __6_ Μ來紙張尺度適用中國國家標準(CNS)A4規格（210 X 297公釐） ' — (請先閱讀背面之注意事項再填寫本頁) —裝 |線· 200407799 A7 ____ B7_ 五、發明說明（f) h[n] = - {2(Al[n] + M[n +1]) +M[n + l]} ······ (5) 8

In the image borders: Λ7Γ11 ΛΓ Δ/[—-1] 請參考第七圖所示，係為整個s+p Transform的轉換 過程示意圖。c[]經過S Transform後產生1[]和h[]，而1[] 和h□可以算出predictor石[]，利用石□和h□所形成的差值 乃/]取代h[]後，最終的傳送結果便是□和U]。 請參考第八圖所示，經S+P Transform後的結果係形 成一個金字塔型的結構，且不同階層的資料會有一父子 (parent-child)的對應關係。如果要對此資料結構依其重要 性加以排列，便要考慮給予各階層不同的權值，以維持所 有資料重要程度的整體性（unitary)。為了要保持資料的 整體性，各階層的資料要乘以如第九圖示所示的對應倍數 ，如此便可進行下一步的重要性排序步驟。 S P I HT (Set Partitioning in Hierarchical Trees) :當整個圖權經過S+P Transform的轉換之後，便會形成 一個具有金字塔形的資料結構，而這個架構具有父子的關 係，可視為一樹狀（tree)結構，稱之為spatial orientation tree。此樹狀結構有一性質，稱為self-similarity，意即在 不考慮正負號的情況下，屬於同一分支樹（sub- tree)但落在 不同階層點的值有會有大小相似的關係，由於在S+P Transform的最後對整個資料結構依階層越高乘以越大因數 的結果，使得對同一分支樹而言，數值的大小（不包含正 表紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐〉 --------------· 11 .(請先閱讀背面之注意事項再填寫本頁) I · 丨線· 200407799 A7 一 β ______Β7____ 五、發明說明（卜） 負號）從高階層到低階層會形成一近似由大到小的排列， 這樣的情形使得排序更有效率。對一個樹狀結構，定義了 以下符號： 〇(i5j)…node (i，j)之子點座標集合 D(i，j)…node (i，j)之子孫點座標集合 Η…tree roots之座標集合 L(i，j)=D(i，j)_0(i，j) 除了最高及最低level，其餘之0(i，j)可計算如下 0(i，j)=[(2i，2j)，(2i，2j + l)，(2i+l，2j)，(2i+l，2j + l)] 同時再定義有三個List的資料結構，這三個list分別 為：’’List of Insignificant Set (LIS)”（有兩個型態’’A”及 ”B”) 、”List of Insignificant Pixels (LIP)”、”List of Significant Pixels(LSP)”。以及定義Sn(x)，其代表x此數的重要性， 其中Sn=l表示重要，Sn=0表示不重要。 而此演算法的核心：Set Partition Sorting Algorithm 這 個方法是把屬於同一 sub-tree的點放在LIS中，然後對每一 個sub-tree由高階層開始檢驗它的重要性，把重要的元素放 到LSP中，不重要的放到LIP中，此法主要利用Spatiai orientation tree大小會由上到下排列的性質，使得較上層的 幾個點可能是significant之subset，而下層大部分的sub— tree可能是 insignificant 之 subset，因此可以減少 Set Partition過程中之數值比較次數。利用到LIS、LIP、LSP 三個串列的重要係數排序及傳輸演算法描述如下： 1) [Initialization]: 8 纸張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐）~-- (請先閱讀背面之注意事項再填寫本頁) 裝 · 丨線- 200407799 A7 B7 五、發明說明（ output n= i〇g2 i --------------裝--- (請先閱讀背面之注意事項再填寫本頁) LSP<- φ LISD{ij)\(hj)^H (type A) 2) [Sorting Pass]:

2.1) \/{ij)eLIP 2.1.1) output Sn(i?j)

2.1.2 if Sn(iJ)==l then LSP<-(iJ)<-LIP 2.2) \f(i,j)eLIS do 2.2.1) if (i，j) is type A (D(i，j))， then · output Sn(D(i，j))， (traverse a tree) • if Sn(D(i,j))==l then 1. do --線· • output Sn (k，l) • if Sn (k，l)==l then LSP —(k，l) output the sign of ck l • if Sn (k，l)==0 then LIP —(k，l) 2· if L(I，j)妾 0 then LIS —(i，j) (type B)

go to 2.2.2) otherwise (i，j) —LIS 2.2.2) if (i，j) is type B (L(i，j))， then · output Sn(D(i，j))， • if Sn(L(iJ))—1 then 86泰紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） 200407799 A7 > __ _ B7 _ 五、發明說明（g：) 1. LIS <type A>—b，/)(e〇M)

2· (i，j) - US 3) [Refinement Pass] ^f(i,j)eLSP with the same n: output the nth most significant bit of |c~| 4) [Quantization Step Update] n — n-l, go to Step 2. 在前述步驟1)的Initialization係先始化一些變數，包 括找出c□中最大數的位元數，其中c[]是input。 在步驟2)中，則是檢驗LIP中元素的重要性，若屬於重 要性的元素就放到LSP中。2.2)是檢驗LIS中的每一 sub-tree，看有無重要的數。若整個sub-tree未含有任何重要的 數，便跳過整個sub-tree，反之若有的話，則對sub-tree 第一層child逐一檢驗，若找到重的點便放到LSP裡，若 此點不重要則放到LIP。接下來檢驗以child為root的sub_ tree的重要性。若屬重要，則將以child為r〇〇t的sub_tree 分裂出來，放到LIS中。 最後在步驟3)中，對重要的數是利用bit plane的傳 輸方式來傳，所謂的bit plane傳輸方式是說對個數每次只 傳某一位元的資料，一般是由最高位元開始傳起，這樣的 好處是可以讓decode端先知道數的約略大小。Setpartiti〇n

Sorting Algorithm這個方法的結果會把重要的數依序傳出 去給解壓縮端（decode)，而decode端只要利用相同的步驟 10 86朱紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） --------------裝—— (請先閱讀背面之注意事項再填寫本頁) -線 200407799 A7 .角格化，如第 後剔除的頂點 五、發明說明（ 即可把原數解出來，因此可減少許多儲存位置資訊的資料 〇 另外，在過去的3 D漸進式網路傳輸，大多數均著在 3D模型（mesh)的漸進式傳輸上，對於與模型習習相關的 貼=則少有探討。近來為求3D場景的逼真，影像貼圖被 大量的使用，所以結合模型與貼圖之漸進式傳輸技術已越 來越受人重視，大部分均由漸進式模型開始著手，再搭配 貼圖的配合，以達到漸送式的效果。以下僅舉出兩種作法 1 Joint Geometry/Texture Progressive Coding of 3D Models: 此方法的前提是:應用在貼圖座標的表示方式為每一個 分割三角形的角落均有一組貼圖座標（_er texture coordinate)，以簡化模型中的頂點叢集法（乂⑽以 Clustering)及邊線折豐法（Edge c〇iiapsing)為基準，也就是 先考慮每-個頂點的重要性，再從不重要的點開始剔除。 頂點的重要性考慮兩個因素：剔除之後體積變化量V⑴及 顏色重要性c(i)，判斷公式如第（6)式 m(i)=a v(I)+(l.a )c(i) ····(6) 頂點剔除後，將原本剔除的空洞重新 十圖所示，而傳輸的時候，則以重要性高 先傳送，達到漸進式傳輸的效果。 (請先閱讀背面之注意事項再填寫本頁) · _線· 2 · Texture Mapping Progressive Meshes 睛參閱附件六所示，前述方法雖然可以達到貼圖及糢

200407799 Ο A7 五、發明說明（ 型互相結合，以應用於漸進式傳送，但是在空洞重新 格化的時候，每-個三角形上的貼圖會受到變形破壞1 此 P.v. Sander，j.Snyder，s.j. G〇rtier 及 h h〇刚提 確的作法，以改善此變形破壞。 1 第-步係先將-個模型加以分割，區分成數 (chan)。分割的依據是由模型原本頂點的扁平度㈣咖办） 與緊湊度（compactness)來判斷。並將每—個區域的邊線以 最短簡徑重新整理（如附件七所示）。 第二步係將區塊中的頂點重新佈置’係利用下述第 式進行： l2(M)=1W^W^}……⑺ 目的是使觀簡化時，因職較變所造成的貼圖取 樣，化誤差（texture stretch)最小，並將結果展開至2 D最 小單元四邊形上，爾後再調整每一區塊至適當大小。 第三步係執行簡化，運用邊線折疊法，同時考慮頂點 合併後貼圖偏移量（texture deviation)。例如於附件八中的 V2與VI合併時，三個點的貼圖偏移量。 由於之前是針對每一個模型分割的區域做簡化，故第 四步即從整體著手，針對每一個階層的模型做最佳化，以 求每一相鄰階層的彼此誤差變小。 最後，再針對原本模型切割的區域，將區塊貼圖重新 取樣，重整成一張完整的貼圖。整個過程可如附件九所示 惟前述兩種方式，均是以漸進式模型為其著眼點， 12 將 S6条紙張尺度適用中國國家標準（CNS)A4規格（21〇 X 297公爱）

—裝--------訂· ;線· ' H .^1 (請先閱讀背面之注意事項再填寫本頁} n n n - 200407799 A7 五、發明說明（ 貼圖連帶考慮。對貼圖與模型的結合方式，其貼圖座標皆 以三角形的每一個角（per corner)為其設定方式，故具有下 述數種缺點： 1 .兩者皆由模型簡化著手，而將模型與貼圖綁在一 起，並無法分開個別考慮，使得模型與貼圖均無法重覆使 用。 2·貼圖座標是以三角形的每一個角為其設定方式， …般使用白，丨貝不同，一般係以每一頂點（per vertex)為設 定方式。 3 ·以模型漸進式傳輸為主，故在貼圖的傳輸上皆有 不連續性，可明顯觀察出貼圖的不平滑變化。 4 ·由於貼圖在分割後均非四邊形，故在編碼傳送時 均需補充額外資料，故增加了資料傳輸量。 鑑於目前3 D貼圖的技術仍有諸多改進的缺點，本發 明之主要目的係配合小波編碼手段，提供一種用於網路傳 輸及即時描緣的小波式編解碼模型貼圖分割與漸進式傳送 方法，令3 D場景資料呈漸進式傳輸，讓使用者可預先^ 到影像的基本資料後再決定是否要進一步傳送。 為達成前述目的，本發明之一主要實施手段係含括有 影像成為 一影像切割手段，切割一欲貼附至模型上之 複數個區塊； coding)將前述各 一編碼手段，利用小波編碼（Wavelet 影像區塊轉換為資料串流； 13 (請先閱讀背面之注意事項再填寫本頁) 56本紙張尺度適用中國1S^^NS)A4規格⑽χ 297公爱） 200407799 A7 B7 五、發明說明（ -模型切割手段，以對應前述影像切割方式 刀副為複數個區塊並取出各模型區塊之特徵值； 、 值，層判斷手段，依據前述各模型區塊之特徵 W断對應貼附之影像區塊其顯示解析度； 碼手段’依據判斷出之解析度階層，將各資料串 抓通原為具有該解析度之影像區塊，· 的模=手段，將前述解碼出之各影像區塊貼附至對應 又，本發明之另一具體實施方式係包含有·· “杈型切割手段’係將-模型切割為複數個區塊並取 出各模型區塊之特徵值； 、一影像切割手段，以對應前述模型切割的方式， 奴貼附至模型上之影像切割為複數個區塊,· 、 、為馬手丰又利用小波編碼（Wavelet coding)將前述久 影像區塊轉換為資料串流； 解析度階層判斷手段，依據前述各模型區塊之 值判斷對應貼附之影像區塊其顯示解析度；、 、解碼手段，依據判斷出之解析度階層，將各資料串 飢還原為具有該解析度之影像區塊； 、# =貼圖手段，將前述解碼出之各影像區塊貼附至對應 的拉型區塊。 ' 為使貴審查委員能進一步暸解本創作之技術特徵及 其他目的，兹Ρ付以圖式詳細說明如后： (一）圖式部份： _紙張尺細

I — (請先閱讀背面之注意事項再填寫本頁) Ί·-°>ι·. :線. 200407799 A7 ' ' 1 _B7_ 五、發明說明（^ ) 第一圖：係本發明影像分割方式示意圖。 弟二圖·係本發明小波編碼方式不意圖。 第三圖：係本發明產生漸進式3 D模型影像貼圖之步驟流 程圖。 第四圖：係本發明利用漸進式3 D模型影像貼圖之流程圖 描繪於模型上之步驟流程圖。 第五圖：係習用S+P Transform之金字塔結構示意圖。 第六圖：係習用S Transform之示意圖。 第七圖：係習用S+P Transform之轉換過程示意圖。 第八圖：係習用S+P Transform之金字塔結構示意圖。 第九圖：係S+P Transform各階層資料之對應倍數圖。 第十圖：係一習用3 D貼圖之三角格化示意圖。 (二） 圖號部分： 無 (三） 附件部分： 附件一：係本發明模型切割的示意圖。 附件二：係本發明影像解碼之示意圖。 附件三〜五··係本發明之實施例。 附件六：係一習用3 D貼圖其變形示意圖。 附件七：係一習用3 D貼圖其模型切割示意圖。 附件八：係一習用邊線折疊法其偏移量示意圖。 附件九：係一習用3 D貼圖其過程示意圖。 本發明之方法流程主要包含有以下數道步驟··影像分 _15_ 紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ----------------- (請先閱讀背面之注意事項再填寫本頁) · -1線· 200407799 A7 · ~—___________B7______ 五、發明說明（Y少） ^、小波編碼、播案存檔、播案開啟、模型切割、階層判 斷、影像解碼及模型貼圖及描繪等。 (請先閱讀背面之注意事項再填寫本頁) 係將欲貼圖的影像切割為多個區塊（tile)，復對各個區 塊利用小波編碼方式轉成為代表多階解析度的資料串流； 爾後將欲貼附影像的模型亦相對切割為多個區塊，且取出 各模里區塊之特彳政值，當前述各影像區塊欲描緣至對應的 ' i區塊吩係依據區塊之特徵值而即時決定該影像區塊 所能顯示出的解析度。 夕再者，本發明之另一實施方式亦可將模型先行切割為 夕個區塊並取出其特徵值後，再對貼圖影像進行對應的裁 切動作，各個切割出的影像區塊同樣利用小波編碼轉為具 有多階解析的資料串流，再依據實際解析度需求將各影像 區塊轉貼至對應的模型區塊上。 以下係針對各步驟加以詳述： (一）影像分割 明參閱第一圖所示，為達成在描繪時能夠即時判斷與 即時描％之目的，以及貼圖影像部份傳送的效果，須事先 將欲貼圖的影像加以切割，同時為配合下一階段的小波編 馬’影像係切割成複數個方形區塊（tile)。 (一）小波編碼 在3 D影像的描繪時，為了因應不同的需求而能選擇 不同解析度的貼圖，於是以先前發明背景所述的小波編碼 方法作了些許的調整，以便能產生不同解析度的貼圖影像 〇 — 本’·氏張尺度適用中_家標準⑵◦ X撕公爱） 200407799 l * ^ A7 _ B7 ____ 五、發明說明（1$ ) 在影像資料中，係可以根據不同的頻率將影像資料加 以分別。屬於較低頻的訊號，可視為影像信號的平均信號 ，意即其包含有整體影像最概略的資料而可顯示出影像約 略輪廓；而屬於較高頻的訊號，則可以視為整張影像的特 徵部分，亦可視為是低頻信號的改進資料，用以加強整張 影像的細節及清晰性。 根據前述S+P Transform的敘述，當整張影像轉換成 頻域中的金字塔結構時（如第五圖所示），L V由0到N。 當N越大，則代表這一區的訊號頻率越低，因此當影像資 料傳輸時係由Level N到Level 0依序傳遞’則影像係由模 糊漸漸清晰。 請參閱第二圖所示，為本發明之小波編碼方式示意圖 ，此步驟更進一步包含有： 將前述各切割好的影像區塊（tile)經過S+P Transform， 以轉變成一金字塔狀的資料結構； 先取其最低的LLN，將其輸入SPIHT排序方式，使得 LLN中的數值由大到小排列，並以數值編碼（arithmetic coding)將其編碼； 其次取LV N的LHN、HLN、HHN，將它們輸入SPIHT 排序方式，令LHN、HLN、HHN中的數值由大到小排列， 再以以數值編碼（arithmetic coding)將其編碼； 取 LV (N-1)的 LH^1、HI/·1、HHN·1，將它們輸入 SPIHT排序方式，令LH^·1、HI/·1、HHN·1中的數值由大到 小排列，再以以數值編碼（arithmetic coding)將其編碼； ___________π__ 笨紙張尺度適用中國國家標準（cns)A4規格（210 X 297公釐） (請先閲讀背面之注意事項再填寫本頁) Ί3ΊΤ · i線· 200407799 A7 B7 五、發明說明（（^ ) 依序取 LV (N-2 )、LV(N-3)、...LV1、LV0 的 LH、 HL、HH，將它們輸入SPIHT排序方式，令LH、HL、HH 中的數值由大到小排列，再以以數值編碼（arithmetic coding)將其編碼。 經由前述編碼方式，每一個影像區塊（tile)係可得到如 下所述的資料串： LLN LHn、HLN、HHn LHn-i、HLn_i、HHn_i LH0、HL0、HH0 (三）檔案存檔 將前述編碼所得的資料串加以存檔，以方便自硬碟或 網路取用，而由使用者端加以繪出。 (四） 檔案開啟 將原本所儲存的檔案開啟，以取得場景的基本資料， 做為建立場景内各物件其階層結構的要素。 (五） 模型切割 根據前述貼圖影像的分割方式，將此貼圖影像欲著附 的模型（mesh )做出對應的切割（partition)，例如可利用模 型的貼圖座標（texture coordinate)做為分割基準，並取出模 型分割區域的特徵值（如模型的邊界盒（bounding box )、 模型區域的半徑大小、模型區域的代表向量等），並以一資 料結構加以紀錄，如附件一所示為本發明模型切割之示意 圖。 (六） 階層判斷 在模型區塊切割之後，即進行模型貼圖階層（level)之 判斷。本實施例中係由前述步驟所得的模型區塊特徵值為 ϋ竭紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） 請 先 閱 讀 背 之 注 意 事 項 再 k 寫 本 頁 έ· 線

200407799 五、發明說明（（1) 判斷基數，根據使用者的需要（如使用者的視角大小及位

，)判斷拉型貼圖區塊的階層數，並即時的將所需的階數 、、虎予解碼軟體，將所需的影像解麼縮出來，同時將此一 ί1白層的〜像放入快取(cache)記憶體中，以允許爾後的方便 使用。 、牛例而δ，假定模型貼圖的階數有N層，階層數分別 為Ν— 1、Ν— 2、···,」，解析度由小到大，若 =模型的邊界盒（boundingb〇x)、模型區域的半徑大小、 模里區域的代表向量作為判斷基準，可分為下列幾個 重點： a ·物體的大小 b ·物體與視點的距離 c·物體的代表向量與視線的夾角大小 根據需要調整三者的權重分配，也可以依使用者自己 的要求，選擇所要的判斷基準，得到所要的效果。 (七）影像解碼 在判斷出每一個影像區塊(tile)所需要的階層之後，即 進行區塊解碼的動作。解碼動作係相對於前述之編碼步驟 ，包含如下： 1 ·自前述資料串流中，取得lln部分，以數值解碼 (arithmetic decoding)方式解碼，再以SPIHT取得原本數值 ’將數值輸入Inverse S+P Transform，以取得最低解析度 的影像； 2 ·取得LHN、HLN、HHN’部分，以數值解碼 _______19 3¾紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 200407799 -ι , A7 _B7_ 五、發明說明（丨？） (arithmetic decoding)方式解碼，再以SPIHT取得原本數值 ，將數值輸入Inverse S+P Transform，對前述最低解析度 影像進行更新，以取得次解析度的影像。 持續前述步驟，直到LV0的LHG、HLG、HHG為止， 以獲取最完整、精細的原始影像。 請參閱附件二所示，係利用前述解碼步驟所得到的結 果。所能得到的相異解析度之影像數量，係由一開始所決 定的階層數相關，例如在做S+P Transform時，如果決定 有N個階層，則具有N個不同解析度的影像。 (八）模型貼圖及描繪 將得到的模型漸進式貼圖解壓縮後，係將每一塊貼圖 對應貼到模型之上，以獲得最後想要描繪的結果。 經由各步驟的詳細解釋後，本發明係可概分為兩大部 分，其一為產生漸進式的3 D模型影像貼圖，另一部分為 根據使用者需求讀取前述漸進式的3 D模型影像貼圖而描 繪至模型上，這兩部分可藉由第三圖及第四圖分別表現出 〇 綜上所述，本發所具備之特色係具有： 3 D影像資料係漸進式傳輸，根據解析度由小到大依 序傳送而令使用者端即時觀察出影像資料，且可適時中止 j 因影像資料係先行切割為多個區塊且轉換為多階層之 顯示解析度，故可依據使用者的要求（如視點位置、視角 大小等）決定欲觀看全貌的影像或其部分區域，且可依據 _20_ δ 紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） --------------裝--- (請先閱讀背面之注意事項再填寫本頁) 一5J· ，線. 200407799 A7 _B7___ 五、發明說明（ 解析度要求而進行傳遞，大為降低顯示硬體之工作負擔； 故本發明相較欲現有3 D資料顯示、傳送技術等均有 有大幅改進且未見於任，且符合發明專利申請要件，爰依 法提起申請。 --------------裝--- (請先閱讀背面之注意事項再填寫本頁) •線· 21 d _紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐）

Claims (1)

1. 200407799

   申請專利範圍 1.-種用於網路傳輸 型貼圖分割與漸進式傳、关方、田、、，曰的小波式編解碼模 多個區塊’復以小波編碼手：將貼圖影像切割為 解析度之資料串流，以八社、〜像區塊轉換為多階層 行多階解析度顯示。7"貼圖影像貼附至—模型時可進 描繪的小波式編解二=::::於網路傳輪及即時 塊區塊。 以切告彳為多 =;=_一特徵值:二： 4 ·如申請專利範圍第3項所述詩網路傳 描繪的小波式編解碼模型貼圖分割與漸進式傳关 : 更進一步包含有： 适法’係 一影像切割手段，切割一欲貼附至模型上之 複數個區塊； 〜像成為 一編碼手段，利用小波編碼（Wavelet … 影像區塊轉換為資料串流； ：則述各 一模型切割手段，以對應前述影像切割方 切割為複數個區塊並取出各模型區塊之特徵值； 一解析度階層定義手段’係定義出各影像區塊欲 的解析度階層； 人-不 200407799 A8B8C8D8 申請專利範圍 -解碼手段，依據定義出之解析度 流解碼為具有該解析度之影像區塊； #各貝抖爭 -貼圖手段，將前述解碼出之各影像 的模型區塊。 几6丨仃至對應 5.如申請專利範圍第3項所述用於網路 解碼模型貼圖分割與漸進式傳送方法，卩: 出錢值係將—模型切割為複數個區塊並取 、-影像切割手段，以對應前述模型切割的方 奴貼附至模型上之影像㈣為複數個區塊； ； 一編碼手段，利用小波編碼（Wavekt C〇di 影像區塊轉換為資料串流； §)將别述各 值，據前述各模型區塊之特徵 斷對應貼附之影像區塊其顯示解析度； 解碼手段，依據判斷出之解析度階層 流還原為具有該解析度之影像區塊； 貝科串 一貼圖手段，將前述解碼出之各影像區 的模型區塊。 丨仃主對應 6如申睛專利範圍第4或5項所述用於網路傳於 P寺描1的小波式編解碼模型貼圖分割與漸進式傳送方 “亥解析度階層定義手段中，各影像區塊欲顯示的 A層係依據對應的模型區塊之特徵值而決定。 7如申請專利範圍第4或5項所述用於網路傳輸及 23 297公釐） 200407799 :、申請專利範圍 即時描㈣小波式編解碼模型貼圖分割 、 ，於該解析度階層定義手段，各影像區；：法 階層係由使用者自行定義。 —的解析度 8 ·如申請專利範圍第⑷項所述用於 P時描緣的小波式編解碼模型貼圖分割與漸進式傳送' ，其中該貼圖影像係切割為多個方形區塊。 k方去 二利範圍第4或5項所述用於網路傳輪及 守枯、、、曰的小波式編解碼模型貼圖分割與漸進式傳送方、、 ，於前述編碼手段中，係更進一步定義各影像 ^法 之解析度階層N。 不 士 1 〇 ·如申請專利範圍第6項所述用於網路傳輸及即 時描繪的小波式編解碼模型貼圖分割與漸進式傳送方法，p 於前述編碼手段中，其中前述各資料串流係由N段資料結 構組成，以分別表現N種不同的顯示解析度。 1 1 ·如申請專利範圍第4或5項所述用於網路傳輸 及即時描繪的小波式編解碼模型貼圖分割與漸進式傳送方 法’其中前述編碼手段係更包含有： 將前述各切割好的影像區塊（tile)經過s+p TransfQnn， 以轉變成一金字塔狀的資料結構； 先取其最低的LLN，將其輸入SPIHT排序方式，使得 LLN中的數值由大到小排列，並以數值編碼（arithmetic coding)將其編碼； 其次取LV N的LHN、HLN、HHN，將它們輸入SPIHT 排序方式，令LHN、HLN、HHN中的數值由大到小排列， 24 S /禾紙張尺度適用中國國家標準（CNS)A4規格(210 X 297公爱） 200407799 A8 B8 C8 D8 六、申請專利範圍 再以以數值編碼（arithmetic coding)將其編碼； (請先閲讀背面之注意事項再塡寫本頁) 取 LV (N-1)的 LHN·1、HI/·1、HHN-1，將它們輸入 SPIHT排序方式，令LH1^1、ΗΙΛ1、HHN-1中的數值由大到 小排列’再以以數值編碼（arithmetic coding)將其編碼； 依序取 LV (N-2 )、LV(N-3)、...LV1、LV0 的 LH、 HL、HH，將它們輸入SPIHT排序方式，令LH、HL、HH 中的數值由大到小排列’再以以數值編碼（arithmetic coding)將其編碼。 1 2 ·如申請專利範圍第4或5項所述用於網路傳輸 及即時描繪的小波式編解碼模型貼圖分割與漸進式傳送方 法，刚述各模型區塊之分割基準係採用模型的貼圖座標 (texture coordinate) 〇 1 3 .如申請專㈣圍第4或5項所述用於網路傳輸 及即時描繪的小波式編解瑪模型貼圖分割與漸進式傳送方 法，前述特徵值係為各模型區塊之模型邊界盒 box)、模型區域半徑大小或模型區域代表向量。 g 張尺度適用中國國家標準（CNS) A4規格(g 297^^