TWI267799B - Method for constructing a three dimensional (3D) model - Google Patents

Description

1267799 玖、發明說明： 【發明所屬之技術領域】 本發明主要是有關於一種建立三維規則化彩色模型之 方法’亦即是利用一具有規則性網格結構之通用模型 用在一實際模形上，因為兩者模型間的差異所造成 模型的變形，藉此則可建構成一與 原始杈型極為相似之三 本核里’同時’再經由自動調整量測資料間的色命差異 使得產生的通用模型具有分佈均句的表面色彩，達… 的逼真效果。 逻〗回度 【先前技術】 近年來三維電腦模型（Hmensi0nal computer ModeU)的使用，已經被推廣至多種的應用領域，㈣ 樂方面的電子遊戲與電影視覺特效製作，到網路多媒體的 7業展示’以至於醫療或其他產業對於三維影像的特殊需 求。因此三維模型或三維資料的建構與運算處理，已 為一門重要的技術。 製成三維模型的傳統方式’“動晝工程師利用塑型 卓人粗與相關編輯工具創作而來。動晝工程師通常經過長時 期的專業訓練，並憑藉個人對於物體形狀與色彩的感覺， 二加上創意來建構模型。這種屬於藝術創作的過程相當耗 4，而且需要專業的人力來完成。 相對於傳統建立模型的方式’利用量測儀器來建構三 、准拉型則屬於逆向工程（Reverse)的方法。 經過特殊設計的量測儀器可以取得物體的形狀與色彩資料 1267799 ’精確度可達到Ο · Ο 1公分或是更高的程度。量測資料 通常以三角片網格（Triangular Mesh )或曲面（Curved

Surface )來表示幾何資料，此則如同在第一 A圖中所示； 而以二維影像表示色彩資料，如同在第一 B圖所示，幾何 資料以及色彩資料之間則以貼圖對應（Texture Mapping ) 來定義兩者間的連結關係，此部份則是一般所稱的貼圖座 標（Texture Coordinate)。而為了建構一個完整的模型， 就必須從不同角度對物體進行量測，然後將所有的量測資 料調整至同一個空間座標系統（如第一 c圖所示），再如 第一 D圖所示的將資料群整合成為一個完整的三維模型。 逆向建模的優點在於高精確度，幾乎可以在肉眼無法 辨識的誤差程度下複製實物的三維模型，而且不需要特殊 的專業人力’稍加訓練的儀器操作人員即可完成建模。然 而’經由三維量測儀器所得到的資料量通常相當龐大，網 格結構也缺乏規則性，以致於所得出來的"結構僅能用 於某-特定的模型製作’而且因為資料結構的紊亂，這類 的模型資料結構相當的不利於動晝製作與資料傳輸等後製 作業或再利用。另外’由於光源照明的影響，+同量測角 度的資料在合併之後會產生明顯的色彩差異。因此，從原 始的量測資料到可以實際運用的完整三維模型之間，仍需 要-套完整的建模方式來解決上述的問題。 為了彌補上述所產生的問題’便有人以三維塑型工且 來產生模型。建模過程相去 八 狂和田的几長，並且需要反覆的修改 人工創作的三維槿没]$ j註古 、生之擬真私度有限，難以跟實物直接 1267799 比較。近年來逆向工程的技術常被用來建構三維模型，著 眼點在於使用高精密度的量測儀器取得物體的三維資料， 加以整合產生擬真的模型。同時以機器 幅縮短建模的時程。美國專利第6,512,51^ 利用雷射掃描儀器取得實物的三維點群資料，再將點群資 料轉變為網格資料，並提供三維資料編輯整合的方法。美 國專利第6 ’ 5 1 2 ’ 5 1 8所提出的方法，其優點在於 快速且精確地量測物體表面的空間位置，藉以產生高精度 的模型，然而所產生的三维模型是由細密的點群資料所構 成，資料量龐大且沒有結構性，模型的可利用性不高。另 一吳國專利6 ’ 3 5 6，2 7 2的做法則是利用輪廓成型 (—Shape From Silh〇uette)的原理，使用定位相機系統拍攝大 量的物體影像，從連續的輪廓影像中重建三維模型，並且 建立影像與網格的貼圖對應關係。在6，3 5 6，2 7 2 —案中，其做法是從物體的側面（水平方向）拍攝3 6 ◦ 度的連續影像，利用三角片法線向量與影像的夾角選取最 佳的貼圖對應關係。然而對於物體的頂部與底部，或是複 雜外型的物體，其關影像^產生扭曲變形（Dist〇rti〇n) Ο 【發明内容】 、，本發明主要是提供-套程序化的三維資料處理方法， 並將三維形狀量測系統所得到的量測資料整合為完整的三 維彩色模型。在幾何資料方面，則是利用一個通用模型τ 將多個角度的量測資料合併為—個具有規則化結構的網格 1267799 模型。在色彩資料方而 曲’則利用新產生的規則化結構模型 與原始量測資料之問& _ 、 門的空間對應關係，將量測資料的貼圖 影像資料重新對應到斩指 J新极型上，並且調整影像之間的色彩 差異。透過互動的方々 、 万式，讓使用者可以輕鬆地建構高真實 感與南貫用性的三維模型。 、 【實施方式】 本發明是利用—個 u通用核型（Generic Model)，間接地 將原始的量測資料群人從 σ併成為一個完整的模型。「通用 的意義表示其可以套人5 + 口至一群外型類似的物體，而不會產 生過於嚴重的變形莩I μ,也 曰 决差。例如建構人體頭部模型時可以使 用個具有眼鼻口耳等臉部特徵的頭部通用模型，建構牛 馬等四腳動物模型時可以使用具有四腳型態的通用模型。 在本發=的方法中並不直接處理原始的、龐大的網格資料 群’而是採用預先設計的規則化網格結構的通用模型，使 其貼合在原始的量測資料群，藉以得到外型相同的精簡模 型。同時，對於原始量測資料破損的部份，例如毛髮或其 他不易量測的材質，尤目上人、R ^ t 、在貼a的過程也可以利用鄰接的網袼 、、口構關J ’估*其：維座標，達到自動填補破洞的結果。 貼圖影像的對應關係則利用通用模型與量測資料的空間關 係自動計算’不需要配合特殊定位的攝㈣統或是人 介入。 的 本發明的三維模型建構方法可以分為四個主要步驟： 重建規則化網格模型、抽取色彩、層次式色彩均勻性調整 以及重疊影像之間的圖素混色處理。 正 1267799 、/月參閱第一圖所示，重建規則化網格模型是建構模型 的第-步。三維形狀量測儀器所得到的資料通常具有較為 =的網格結構（如第三A圖所示），以減少因為使用網 ° ^ M (Mesh Model)^ t Φ ® ^ ^ ( Curved Surface Model )所產生的誤差。尤其是對於形狀複雜或具有細部特徵的 物，、，更需要精細度較高的網格結構資料。然而精度愈高 的量測資料，其三角片網格的數量愈龐大。若直接將所有 =原^量測料進行資料合併，則最後產生之模型的網格數 里必疋過於龐大而難以運用。因此利用一個 用模：，㈣用模型套合至原始量測資料上，產生二 =精簡的新杈型。新模型與原始量測資料的外型相同，但 是具有比較精簡而規則的網格結構（如第三B圖所示）。 同時因為新模型與原始量測資料在空間位置上互相重疊， 因此利用這個重疊關係’將原始量測f料上的貼圖影像重 新投影到新模型上’藉此建立新模型與貼圖影像的對應關 係。在第二個步驟結束時，一個具有規則化網格結構與多 張色彩貼圖影像的完整模型已經建構完成。然而因為不同 拍攝角度的貼圖影像之間存在著色彩差異（如第三c圖所 示）’所以利用影像之間的重疊關係調整色差，使得所有 影像的亮度值趨於-致，並且在影像重疊區域進行圖素的 ，色處理。最後產生的模型是一個具有精簡網格結構與真 實表面色彩的三維模型（如第三D圖所示）。 一 一 請參關第四圖之重建規則化網格模型的流程圖。原始 量測資料（1 G Q) I群經由三維形狀量測儀器所得^ 1267799 的三維彩色模型資料群，其中的每一個模型是分別由不同 的角度對被測物體進行測量，得到其網袼模型資料（i ! 〇)與貼圖影购（120)，並且在空間中定位至同 -座標系、统。在步驟（S1 〇2)中首先根據被測物體的 形狀’ 4擇-個外型與其相近的通用模型（2 〇 〇 )。接 者在步驟（S 1 〇 4 )巾將通用模型與原始量測資料在空 門中的位置大致邊纟’在步驟（S 1 〇 6 )中調整通用模 型的尺寸，使其等於原始量測f料的尺寸。最後在步驟（ S 1 0 8 )中將通用模型的每個網格點貼合至原始量測資 料上，但維持原來通用模型的三角片結構，使得通用模型 產生變形的效果。產生變形效果的通用模型（2丄〇 )具 有與原始量測資料（i 〇 〇 )極為相近的外型，並且具有 原來通用模型（2 0 〇 )的規則化網格結構。 第六圖為選用的頭部通用模型（2〇〇);第七圖為 變形後的通用模型（2 i 〇)。第八圖顯示了原始量測資 料（1 0 0 )(第八A圖）與利用通用模型所重建的模型 (2 1 0 )(第八B圖））在網格數量與分布的差別。 抽取色彩指的是將原始量測資料（i 〇 〇 )的貼圖影 像資料（1 2 0 )分離出來，然後如在第九圖中所示的重 新貼到通用模型（2 1 〇 )上。事實上我們欲建立通用模 型（2 1 0 )與貼圖影像（丄2 〇 )之間的貼圖對應關係 ，亦即求取通用模型（2 1 〇 )的每個網袼點貼圖座標與 對應的貼圖影像。由於通用模型（2 1 〇 )的每個網格點 已經貼合至原始量測資料（丄〇 〇 )上，利用貼合點所屬 1267799 的二角片計算網袼點的貼圖， 史偾I A 不並以三角片所對應貼圖 影像做為網格點的對應貼圖影像。 口 第十圖為抽取色彩的汸敍岡 (210)，…：對於變形後的通用模型 计异其母個三角片的二απ #瘅貼fi里飧^此 的二個頂點的材質座標與 對應貼圖衫像（如步驟（ς 9 η 〇、 在步驟（S 2 0 θ )中必須檢杳一 ）。 0 、--角片的三個頂點在材質 圖衫像二間是否連續，亦即 、 馬德一 w 固頂點疋否使用同-張貼圖 二：=:必須改變其中頂點對應的貼圖影像，並 重新t新的材質座標（此即如步驟（S 2 0 8 ))所示 〇 > 經過抽取色彩後，通用模型 -g _L __ 匕2〇)為一個具有多 張貼圖影像的三維彩色模型，妙 ^ ^ …'而因為貼圖影像是經由不 同的拍攝角度取得，因此影像 、’不 # #昱 士认3 日〗可能存在極為明顯的色 杉差異。由於通用模型（2?n 二欠粗认Α ο h zu)的貼圖影像是抽取量測 貝料的色衫貧料而來，為τ伯 ……士用模型（220)表面的 貼圖衫像保持色彩的均勾性， 旦 舌褢从广λ / 用罝測資料彼此之間互相 重i的區域（幾何資料與色彩資 影像之間的色彩差異。 1有里宜）’ 5周整貼圖 第十二圖為調整影像之間色 i ^ m ^ 1 β /句勻性的流程圖。假設 里測貝枓（1 0 0 )為Μ = { μ A/r yrl 一 ，一群由 n 個二維網袼模型所組成的資料。 蚪认7 、 在步驟（S 3 0 2 )中， 對农任兩個網格模型Mi與“ 從 # ^ _兩者間是否有重疊關 係。右楔型Μ丨與Μ ·的網袼資料古 重… 枓有部份的重疊關係，則將 重s &域〇 U的三角片找尋出來， 並έ己錄重疊區域〇U的大 10 1267799 二接著在㈣（S3 0 6)中設^的層 :_為上一層則所有與…有重疊關係的網格二 曰L2’而與I有重疊關係的網格模型為 ’依此類推。在同—層當中的網格模型，：層 網格模型與上_層難模型重疊區域的大小，做 ^ 。餐由上述的層次定義’我們將M重新排序成為-個新的 :維網格模型集合【，）、，凡卜第十三圖顯示了 里測貝枓重疊的關係與層次排序的示意圖。第 :兩個鄰接的網格模型互相重疊的料，以及重疊的部= 刀別對應在各自的貼圖影像上的區域。 在步驟（S3 〇 8)中’依，的順序，就每個網格 =整:域的色彩平均值’計算網格模_ Μ、的重疊區域的色彩平均值為· i a% LAVG,i 假設M’ 1的色彩調整值：A i = 1 則M，】影響μ、的調整度：Αί，ι=Α】χ(ι_，Α 因此’若考慮所有與Μ，】·重4的網格模型對於Μ、的 影響’則M’,·的色彩調整值為： A】（AU X Wi，1 +…·+Αι·，“1 X Wi，“l)/( W“ 】 + ···+'% 】·_】） 其中w 2.為網袼影響加權值 第十五圖顯* 了一群網袼模型在色彩平均值調整前後 的結果比較。纟中，第十五A圖為調整前，而第十五B圖 1267799 為調整後。 _ 最後，再針對重疊區域的影像進行圖素混色處理 _ (Pixel Blending);希望藉由圖素與圖素間的混色，使S鄰 接的影像在重疊區域的顏色值趨於一致。第十六圖為曰素 混色的處理流程圖。在步驟（s 4 〇 2 )中找出所有重疊 區域的三角片，以及這些三角片所涵蓋的貼圖影像。對三 角片T而言’若其對應的貼圖影像共* Ιτ山^，心，表 示這m張貼圖影像在三角片τ所對應的部份Τΐι，τ=" TI>m是互相重疊的’因此針對這些重疊區域的圖素進行⑧鲁 色0 在=驟（S404)中’對於每個重疊區域的三角 丁，計算每個頂點到最近邊緣點的距離D。由於τ共有 個網格核型，分別找尋最近的邊緣點並計算其距離，得 ^2，..』„。在步驟（34〇6)中，以重疊區域的： 個二角片為單位，封苴所、芸 _ 八厅涵|的貼圖影像的對應區域，i 行圖素色彩值的加權平均運曾 _

v. 7 J逆斤。對二角片的頂f ι(ι = 1，2,3)，而言，其混色權重為 … 巴罹更為DU，D丨，2，..”〇丨>，對應戶 4盍的影像圖素色彩值為C C. ^ ^ 、 1 ’ ’ 1，2 ’ · · ·，c i，m ’ 其混色後的爸 心直應為· Ci AVG。而對於IT备y咖

’ 、一角片内部的每一個取樣點，貝I !j用重心座標原理計算其混色 α — 、心巳罹重，然後依照同樣的公3 。个异混色後的色彩值。 ^Λν〇 = (€,,Χϋί>1+〇ί；2Χ0,2+...+〇| 第 十七圖為第十五圖的進一 步結果比較 12 1267799 為第十七B圖再經過重疊區域圖素混色後的結果。 請參看下圖所示之圖表，由此可知本發明所具有的優 \各項方法 傳統 美國 美國 本發 、目 方法 專利 專利 明 \ 6,512, 6,356, \ 518 272 擁有 者 — Cyra Sanyo Electric ITRI 處理 人工 互動 互動 互動 方式 繪製 式 式 式 建構 最長 稍長 短 短 時間 網格 規則 不規 不規 規則 結構 則 則 色彩 手動 無 自動 自動 貼圖 對應 對應 對應 色彩均 佳 — 差 佳 勻性 外型 尚可 佳 佳 逼真 擬真 再利 佳 差 差 佳 用性 13 1267799

其他 破損或 毛髮自動修 補 【圖式簡單說明】 (一）圖式部分 弟 A圖·以二角片網格（Triangular Mesh )或曲面 (Curved Surface)來表示幾何資料之示意圖； _ 第一 B圖：以二維影像表示色彩資料之示意圖； 第一 C圖··將所有的量測料調整至同一個空間座標系 統之示意圖； 第一 D圖：將資料群整合成為一個完整的三維模型之 示意圖； 弟-一圖·為建構流程圖； 第二A圖·為三維量測儀器所量測原始網格資料； 第二B圖·為具有較精簡而規則的網袼結構的新模型 網格資料； 第三C圖：為具有色彩差異圖像的示意圖； 第三D圖·為具有精簡網格結構與真實表面色彩的三 維模型示意圖； 第四圖：重建規則化網格模型的流程圖； 第五圖：為原始量測資料的網格資料與相對應的色彩 資料的示意圖； 14 1267799 第六圖：為選用的頭部通用模型示意圖； 第七圖：為變形後的通用模型示意圖； 第八A圖顯示了原始量測資料的示意圖形； 第八B圖：利用通用模型所重建的模型示意圖； 第九圖··將原始量測資料的貼圖影像資料分離出來的 示意圖； 第十圖：抽取色彩的流程圖； 第十一 A圖：為通用模型與原始量測資料的貼圖影像 之空間位置關係的示意圖。 第十 B圖·為將貼圖影像重新貼到通用模型上以完 成抽取色彩步驟的示意圖。 第十二圖：調整影像間色彩均勻性的流程圖； .第十三圖：量測資料重疊的關係與層次排序的示意圖 及重 圖； ^十四圖：兩個鄰接的網格模型互相重疊的部份，以 定的部份分別對應在各自的貼圖影像上的區域的示意

一群網格模型在色彩平均值調整前 y 第十五A，B圖： 後的結果比較； 第 、 1 圖：為圖素混色的處理流程圖； 第+本 、 圖·為第十五A，B圖的進一步比較結果。 (二）元件代表符號 C S Ί 丄0)重建規則化網格模型 ($2〇)抽取色彩 15 1267799 (S 3 Ο )層次式色彩均勻性調整 (S 4 0 )影像重疊區域圖素混色 (S102)撰擇通用模型 (S 1 0 4 )疊合通用模型與量測資料 (S 106)調整通用模型的尺寸 (S 1 0 8 )將通用模型的網格點貼合至量測資料上 (1 0 0 )原始量測資料 (1 1 0 )網格模型資料 (1 2 0 )貼圖影像資料 (2 0 0 )通用模型 (2 1 0 )變形後通用模型 (S202)對於通用模型的每個三角片 (S 2 0 4 )計算每個頂點的材質座標 (S 2 0 6 )檢查三角片在材質影像空間的連續性 (S 2 0 8 )改變頂點所對應的貼圖影像， 並重新計算材質座標 (S210)是否所有的三角片都已經處理 (S 3 0 2 )對於任兩個量測料尋找其間的重疊區域 (S 3 0 4 )計算重疊區域的大小 (S 3 0 6 )設定量測資料的層次順序 (S 3 0 8 )計算色彩調值 16

Claims (1)

1267799 拾、申請專利範圍： 1 · 一種建構三維彩色模型方法，其步驟包括·· ， 輸入三維量測資料群； 重建規則化網袼模型； 抽取色彩資料； 層次式色彩均勻性調整；以及 影像重疊區域圖素混色。 2 ·如申請專利範圍第1項所述之建構三維彩色模型 方法，其中重建規則化網袼模型的方法係包括： _ 根據原始量測資料群，選擇一相近的通用模型； 調整通用模型尺寸與空間位置，使其與量測資料群大 致疊合； 藉由將通用模型的網格點貼合至量測資料群上，使通 用模型的網格產生變形，並趨近於原始量測資料。 3 ·如申請專利範圍第丄項所述之建構三維彩色模型 方法，其中抽取色彩資料，是在建立量測資料的二維影像 與通用模型貼圖對應關係，包括了下列步驟： 儀 尋找通用模型的網格點在量測資料群上的貼合點位置 ，以及貼合點所屬的三角片； 計算貼合點的貼圖對應座標；以及 檢查通用模型的三角片在貼圖影像空間的連續性。 4 ·如申請專利範圍第2項所述之建構三維彩色模型 方法，其中抽取色彩資料，是在建立量測資料的二維影像 與通用模型貼圖對應關係，包括了下列步驟： 17 1267799 尋找通用模型的網格點在量測資料群上的貼合點位置 ，以及貼合點所屬的三角片； 計算貼合點的貼圖對應座標；以及 檢查通用模型的三角片在貼圖影像空間的連續性。 5 ·如申請專利範圍第1項所述之建構三維彩色模型 方法，其中層次式的影像色彩均勻性調整方法係包括：

依據三維資料的鄰接順序與重疊區域大小，設定量測 賁料的層次順序M’MM’bM’mM，」，M，n代表著n個三 維網格模型Μ’所組成的資料； 依據設定的層次順序，依序計算每個量測資料的貼圖 影像之色彩調整值Ai i=l，2,3...n ;以及 調整影像的色彩平均值。

6 ·如申請專利範圍第2項所述之建構三維彩色模 方法，其中層次式的影像色彩均勻性調整方法係包括： 依據三維資料的鄰接順序與重疊區域大小，設定量 資料的層次順序，M，n代表著n個 維網格模型Μ’所組成的資料； 依據設定的層次順序，依序計算每個量測資料的貼圖 影像之色彩調整值Α〗ί=152,3.··η ;以及 調整影像的色彩平均值。 7 ·如申請專利範圍第3項所述之建構三維彩色模型 方法，其中層次式的影像色彩均勻性調整方法係包括： 依據三維資料的鄰接順序與重疊區域大小，設定量測 資料的層次順序 Μ’ = {Μ’丨，Μ’2，·.·，Μ’η} ’ Μ’η 代表著 ^ 個三 18 1267799 維網袼模型Μ，所組成的資料； 依據設定的層次順序，依序計算每個量测資料的貼圖 影像之色彩調整值Aii^lJJ···!!;以及 調整影像的色彩平均值。 8 ·如申請專利範圍第4項所述之建構三維彩色模型 方法，其中層次式的影像色彩均勻性調整方法係包栝： 依據三維資料的鄰接順序與重疊區域大小，設定量測 資料的層次順序，M，n代表著n個三 維網格模型Μ ’所組成的資料； 依據設定的層次順序，依序計算每個量测資料的貼圖 影像之色彩調整值AiHi，2,3…η;以及 調整影像的色彩平均值。 ^ ^ 乐〇項所迷之建構三維彩色；f 方法，其中貼圖影像之色彩調整值Ai=：(Ai AW + x 1，“1)/^，1+..-+\\^-1)其中^為網格影響加權值。 1 〇 .如中請專利範圍第6項所述 型方法，其中貼圈影像之色彩調整：-二 Wi'1+-+Ai-XWi'^ 加權值。 Μ 丁 e月哥刊範圍第 丄丄 --心偁二維彩 里方法，其中貼圖影像之色彩調整值A 士 n ， 丨’丨/、中Wi為網格 加榷值。 維彩

#尸，了返之建構三 19 1267799 w法其中貼圖於像之色彩調整值X ^^+^^^^ +…^^其中^為網格影響 加榷值。 如申請專㈣圍第i項所述之建構三维彩色模 法，其中重疊影像區域圖素混色的方法包括·· 找2重叠區域的每個三角片所涵蓋的貼圖影像丨 計算重疊區域的網袼點到對声的 點“胁 網格貧料的最近邊緣 ”·，占的距離，為其貼圖影像的混色權重；以及 算。對每個三角片所對應影像區域進行圖素的權重平均運 型方I4二"專利範圍第2項所述之建構三維彩色模 其中重《影像區域圖素混色的方法包括： 找：重疊區域的每個三角片所涵蓋的貼圖影像，· 計算重㈣域的網格點到對應的網格資料的最近 距離，為其貼圖影像的混色權重；以及 算。…、每個—角片所對應影像區域進行圖素的權重平均運 型方5甘如申請專利範圍第4項所述之建構三維彩色模 法？、中重疊影像區域圖素混色的方法包括： 、 找=重4區域的每個三角片所涵蓋的貼圖影像； 汁-重®區域的網格點到對應的網格 點的距離，為其貼圖影像的混色權重;以取近邊緣 ^ 肖片所對應影像區域進行圖素的權重平均運 20 1267799 丄6 ·如申請專利範圍第8項所述之建構三維彩色模 型方法，其中重疊影像區域圖素混色的方法包括： 找尋重疊區域的每個三角片所涵蓋的貼圖影像； 計算重疊區域的網格點到對應的網格資料的最近邊緣 占的距離，為其貼圖影像的混色權重；以及 、 …對每個三角片所對應影像區域進行圖素的權重 ‘貝 〇 7 ·如申請專利範圍第1 2項所述之建構

' 套其中重豐影像區域圖素混色的方法包括： 找：重4區域的每個三角片所涵蓋的貼圖影像； 點的重叠區域的網格點到對應的網格資料的最近遠 ”、 為其貼圖影像的混色權重；以及 算。對每個三角片所對應影像區域進行圖素的權重平均 拾壹、圖式：

如次頁 21