TWI244623B - System and method for environment mapping - Google Patents

Description

1244623 ' ⑴ 玖、發明說明 相關申請案之交叉參考 本案請求美國臨時專利申請案第60/328,490號，名稱「環境 映射」，申請日2001年10月10日之優先權，該案以引用方式併 入此處。 發明背景 1. 發明範疇 概略而言本發明係有關電腦產生的影像，特別本發明係 有關一種環境映射之系統及方法。 2. 背景技藝說明 典型地藉獨立光源、連續光源及周圍光線照明電腦產生 的物件係以照明模式說明。物件係由來自物件表面之周圍 光線的反光以及光源光線的反光照明。通常照明模式是一 種數學表示式，該數學表示式基於一組變數運算而產生反 射性質，例如由觀視者觀視之反射光色彩之強度以及物件 紋理。假設周圍光線及光源設置環繞該物件，則照明模式 將定義物件的反射性質。若被照明的物件對觀視者而言為 逼真，則該照明模式被視為正確。 典型地，照明模式係結合於由電腦系統之向量處理單元 、中央處理單元或呈像引擎執行的軟體程式。程式必須可 運算當光源相對於物件改變位置時、當觀視者由不同角度 觀視被照明物件時、或當物件旋轉時，該物件的照明情況 。此外需要有效的照明模式來讓處理單元例如當觀視者 (換言之攝影機）相對於物件移動時即時算出照明。因此需 要結合具有運算成本效益之多個項目於照明模式，同時產 1244623 發明說明續頁 (2) 生對觀視者而言美感怡人之被照明物件影像。 當呈像密切類似真正實體物件的被照明物件之寫實影 像時，運算紋理（換言之環境映射）相當重要。典型地算出物 件表面各點的紋理座標，以及產生包含紋理座標之紋理映 射圖。 圖1顯示先前技藝運算物件紋理座標之直接法線投影方 法。圖1包括物件表面105、表面105上一點P、表面105於點Pi 法線向量η、觀視者110a、觀視者110a與點P間的視線115a、以及 法線向量η於X轴120的投影，稱作nx。通常z軸（圖中未顯示）係 垂直於X軸120且位於圖1平面，y軸（圖中未顯示）係垂直於X軸 120及z軸，且非與圖1平面。為了方便舉例說明，圖1物件表 面105之具體實施例為一線，但典型地表面105為任何二維表 面，因此通常法線向量η具有沿y軸之向量分量ny。 運算時Γ直接法線投影方法對物件表面105的各點P，運算 法線向量η之投影分量化及ny。然後中央處理單元或向量處 理單元使用業界已知之一或多種映射演算法，映射（換言 之換算）投影分量〜及ny成為紋理座標（s，t)。然後向量處理單 元使用對各點P運算出之紋理座標（s，t)、以及其它反射變數 於照明模式，俾產生物件表面105的反射圖案。雖然先前技 藝之直接法線投影方法快速，但該方法於觀視者ll〇a移動 至不同位置時顯然「不真實」。換言之，物件表面105之反射 圖案未’能相對於觀視者ll〇a之旋轉或平移而改變，原因在 於該種方法係仰賴法線向量ti之X及y分量，而與觀視者110a 相對於點P的相對位置無關。舉例言之，向量處理單元對觀 1244623 發明說明讀頁 (4) 本發明之另一具體實施例中，系統包括一用以儲存修改 後反射模式之記憶體、一用以使用修改後反射模式運算反 射向量之向量處理單元、以及一將反射物件呈現成影像之 圖形處理器。影像品質係依據由運算所得反射向量衍生而 得之紋理座標決定。 圖式之簡單說明 圖1顯示先前技藝用於運算物件紋理座標之直接法線投 影方法； 圖2為根據本發明之電子娛樂系統之一具體實施例之方 塊圖； 圖3顯示本發明之一具體實施例，儲存於圖2主記憶體210 之修改後之反射投影方法； 圖4為根據本發明之一具體實施例，基於紋理座標，顯示 一反射物异影像之方法步驟之流程圖；以及 圖5為根據本發明之一具體實施例，圖4對反射物件產生 反射向量步驟415之方法步驟流程圖。 發明之詳細說明 此處所述環境映射系統及方法允許電腦產生之物件反 射外觀，基於攝影機相對於物件所在位置之位置及方向而 改變。攝影機位置可由攝影機相對於物件所在位置之橫向 位置定義。橫向攝影機移動定義為相對於物件所在位置之 上下左~右移動。攝影機方向係以相對於特定固定座標系之 旋轉角度定義。 本發明之範例方法係以多角形呈像之即時環境映射具 1244623 _ 、 m 發明說明續頁 體實施。但本發明範圍也涵蓋其它用途，例如用於其它呈 _ 像方案的環境映射。其它呈像方案包括但非限於基於點以 及基於非多角形容積之組成元體。本發明之多種具體實施 例可於軟體、硬體或韌體實施。 根據本發明之一具體實施例，中央處理單元（CPU)及/或一、’ 或多個向量處理單元（VPUs)使用照明模式來運算物件之反 射性質。物件之反射性質係與物件外觀有關。反射性質包 括物件反射光的色彩及強度、以及反射物件的紋理。物件 Φ 的紋理關聯反射性質例如物件的光亮程度及整體表面外 觀。典型地，物件紋理係由VPU算出的紋理座標（s，t)定義。紋 理座標可結合於包裹（換言之映射）物件周圍的紋理映射圖 。例如VPU可執行環境映射指令，該指令運算儲存於VPU隨 機存取記憶體（RAM)之變數、或儲存於CPU暫存器之變數俾 求出紋理座標。典型地，紋理座標及其它運算所得反射性 質（也稱作為照明項目），例如色彩及強度送至圖形處理單 元（GPU)用以進一步處理。隨後GPU準備反射物件顯示於顯 φ 示裝置如電腦監視器上。 圖2為根據本發明之電子娛樂系統200之一具體實施例之 ' 方塊圖。系統200包括但非限於主記憶體210、CPU 212、VPU 213 ' 、GPU 214、輸入/輸出處理器（IOP) 216、IOP記憶體218、控制器介 面220、記憶卡222、通用串列匯流排（USB)介面224以及IEEE 1394 介面226。系統200也包括作業系統唯讀記憶體（OS ROM) 228、 ‘ 聲音處理單元（SPU) 232、光碟控制單元234及硬碟機（HDD) 236， * 該等元件係透過匯流排246連結至IOP 216。 -10 - 1244623 * (6) 發明說明讀頁 CPU 212、VPU 213、GPU 214、及I〇P 216係透過系統匯流排244 通訊。CPU 212係透過專用匯流排242而與主記憶體210通訊。 VPU 213及GPU 214也透過專用匯流排240通訊。 CPU 212執行儲存於OS ROM 228及主記憶體210之程式。主記 憶體210也含有預先儲存的程式，也含有使用光碟控制單元 234而由CD-ROM或DVD-ROM (圖中未顯示）透過IOP 216傳輸的某 些程式。IOP 216控制CPU 212、VPU 213、GPU 214與系統200之其它 裝置例如控制器介面220間之資料交換。 主記憶體210包括但非限於有遊戲指令包括照明模式之 程式。程式較佳係由DVD-ROM透過光碟控制單元234載入主 記憶體210。CPU 212組合VPU 213、GPU 214及SPU 232執行遊戲指 令，以及使用透過控制器介面220由使用者接收而得的輸入 來產生呈像指令。使用者也指令CPU 212儲存某些遊戲資訊 於記憶卡ί22。其它裝置可透過USB介面224及IEEE 1394介面226 連結至系統200。 本發明之一具體實施例中，VPU 213執行來自CPU 212之指 令而經由使用照明模式，產生被照明物件的相關紋理座標 。SPU 232執行得自CPU 212之指令而產生聲音信號，聲音信號 輸出於聲頻裝置（圖中未顯示）。GPU 214執行得自CPU 212及 VPU 213之呈像指令而產生影像供顯示於顯示裝置上（圖中 未顯示）。換言之，GPU 214使用VPU 213產生的紋理座標及其 它項目，以及得自CPU 212之呈像指令而將被照明物件呈像 為影像。 圖3顯示根據本發明，圖2儲存於主記憶體210之修改後之 1244623 _ ' (7) 發明說明續頁 環境反射投影方法。本發明之一具體實施例中，修改後之 反射投影方法係由照明模式使用。本發明之另一具體實施 例中，修改後之反射投影方法係結合於照明模式。圖3包括 物件表面305、表面305表面上的一點P、表面305之點P之法線 向量η (也稱作表面法線向量）、觀視者310a由點P指向觀視者 310a之觀視向量e及X軸320。本發明之一具體實施例中，表面 305係由多角形組成元體（圖中未顯示）組成，於各個多角形 的各個頂點於表面305上規定一點P。後文述及時，z軸（圖中 未顯示）係垂直X軸320且位於圖3之平面，y軸（圖中未顯示）係 垂直X軸320及z軸但非於圖3之平面。為求簡化說明，圖3具體 實施例之表面305為線，但任何二維表面任一點P皆屬於本 發明之範圍。例如圖3具體實施例表面305可為二維表面（圖 中未顯示）於x-z平面的交叉，如此法線向量η具有沿y軸之向 量分量ny。 根據本發明之一具體實施例，修改後之環境反射投影方 法使用標準反射式之修改後版本來計算表面305上各點P之 反射向量r。然後該方法處理反射向量r而產生各點P之紋 理座標（s,tp標準反射式為：r = e- 2(e.n)n。對表面305的各點P 有一指定法線向量η，標準反射式基於觀視向量e載明的指 定觀視者位置而算出反射向量r。標準反射式為滿足史奈 爾（Snell)反射法則之向量關係式，此處入射角斗（圖3)係等於 反射戽ar (圖3)。 根據本發明之一具體實施例，VPU 213 (圖2)使用標準反射 式之修改版本來計算反射向量。對正位在觀視者310a前方 發明說明續頁 1244623 ⑻ 之表面305之點P (亦即觀視向量e以直角交又X軸320)，標準反 射式經修改，讓修改後的反射式算出的反射向量r'係等於 法線向量η。換言之r'二η。如此當表面305的點P位在觀視者 310a正前方時，修改後之反射投影方法獲得與直接法線投 影方法相同的結果。 ^ 為了修改標準反射式，定義虛擬法線向量η'，其平分觀視 向量e與法線向量η對角之入射角％。換言之n' = (e + η) / (| e + η |) ，此處|e + n|為e + n之振幅，角bi等於角br。當虛擬法線向量n' ^ 取代標準反射式的法線向量η時，所得修改後之反射向量r' 係等於法線向量η，原因在於修改後之反射式係基於史奈 爾法則原理，此處角bf角br。如此修改後之反射式表示為r'= n = e _ 2(e.n’)n, 0 修改後反射式之簡化為直捷簡化。假設點P係位於（x，y,z)二 (Ο,Ο,ζ)，貝1J箪位法線向量η具有分量[nx，ny，nz]，單位觀視向量e 具有分量[0,0,-1]，此處括號[]用來載明向量數量。例如[nx，ny，nz]

為另一種書寫向量η之方式。現在將η及e之分量代入η'表示 式，獲得 η’ 二（e + II) / (| e+n |) = [nx，ny，nz-1] / (sqrt(nx2 + ny2 + (nz-Ι)2))。因法線向量 η 為振幅1的單位向量，故擴大分母平方根引數，獲得ηχ2 + ny2 + (nz-l)2= nx2 + ny2 + nz2 + 1 - 2nz 二 1 + 1 - 2nz = 2(l-nz)。若 k = l/sqrt(2(l - nz))， 貝l[ n' = k[nx，ny，nz-1] 0 現在將n'代入修改後之反射式，獲得/ = 11::::£-2^1^)1^二€-2k2(e-[nx，ny，nz-l])[nx，ny，nz-1] = e _ (e.[nx，ny，nz-l])[nx，ny，nz_l] / (1 _ nz)。換言 之獲得對任何指定觀視向量e之r' = e - (e，[nx，ny，nz-l])[nx，ny，nz-1] / -13 - 1244623 (9) 發明說明續頁 1 —~~-— (1 - nz)。換3之修改後之反射式對任何指令觀視向量e = [ex，ey. ，以及表面305的任一點P帶有相關單位法線向量n二[ηχ, ny. nz] 皆有效。例如若觀視者310b沿觀視向量e〃觀視點p，則VPU 213 使用修改後之反射式來運算反射向量Γ〃，此處 r" = e" - (e".[nx，ny，nz]])[nx, ny，nz-1] / (1 - ηζ)。 修改後之反射式可進一步簡化，且以較為精簡的數學關 係式表示。例如若單位觀視向量e = [〇,〇，_1]重新被標示為常數 參考觀視向量eG，則修改後之反射式可寫成r' = e - (e.[nx，ny，nz-1]) [nx，ny，nz-1] / (1 - nz) = e - (e.(n+e0))(n+e0) / (1-nz)。 圖4為根據本發明之一具體實施例，基於紋理座標顯示 反射物件影像之方法步驟流程圖。於步驟405，使用者將視 訊軟體例如透過光碟控制單元234 (圖2)載入記憶體210 (圖2) ’ CPU 212 (圖2)執行視訊軟體。視訊軟體可為互動式視訊或 非互動式誕訊，本發明之具體實施例中，視訊軟體為視訊 遊戲。於步驟410，CPU 212對一個視訊框的全部反射物件產 生呈像指令。呈像指令可回應於透過控制器介面220 (圖2) 接收到的使用者輸入而產生。於步驟415，VPU 213 (圖2)使用 照明模式執行呈像指令，且對視訊框的各個反射物件產生 反射向量。例如對表面305 (圖3)之各個頂點P (圖3)產生反射 向量。步驟415將於後文結合圖5進一步討論。 於步驟420，VPU 213轉換各個物件相關反射向量成為紋理 座標。轉換可為反射向量映射法、或可使用業界已知之任 —種方法。此外，VPU 213可對各個反射物件運算由紋理座 標組成的紋理映射圖。其次於步驟425，VPU 213發送紋理座 1244623 發明說明續頁 ' (10) 標及/或紋理映射圖至GPU 214。於步驟430，GPU 214部分基於 各個反射物件之相關紋理座標或紋理映射圖，準備各個反 射物件影像用以顯示於顯示裝置上（圖中未顯示）。GPU 214 使用VPU 213或CPU 212關聯紋理座標產生的其它照明項目而 準備各個反射物件用以顯示成影像。

其次於步驟435，CPU 212決定視訊遊戲的執行是否已經結 束。若執行已經結束，則方法於步驟410使用次一視訊框繼 續進行。但若於步驟435，CPU 212確定視訊遊戲的執行已經 結束，則該方法結束。

圖5為根據本發明之一具體實施例，用以對反射物件產 生反射向量之方法步驟之流程圖。於步驟505，VPU 213 (圖2) 選擇反射物件表面305 (圖3)上的一頂點P (圖3)。其次於步驟 510，VPU 213對反射物件表面305之選定頂點P獲得法線向量η (圖3)之向量分量[nx，ny，nz]。本發明之一具體實施例中，向量 分量儲存於CPU 212之相關暫存器（圖中未顯示）。本發明之 另一具體實施例中，向量分量係儲存於VPU 213之相關記憶 體（圖中未顯示）。 於步驟515，VPU 213決定例如由點P指向觀視者310b (圖3)之 觀視向量6"(圖3)之分量[0\〃仰〃私〃]。\^1]213可運算分量卜\〃巧〃#〃] ，或可接收來自VPU 213記憶體（圖中未顯示）或CPU 212暫存器 (圖中未顯示）之分量。其次，於步驟520，VPU 213使用修改後 之反射式、觀視向量e"之分量（ex〃，ey",ez〃）、以及法線向量η之 向量分量[nx,ny，nz]，來算出反射向量r〃（圖3)。於步驟525，VPU 213 決定反射物件相關各個頂點P之反射向量是否已經被算出 -15 - 1244623 發明說明續頁 (Π) 。若尚未算出各個頂點P之反射向量，則於步驟530，VPU 213 選擇反射物件表面305上的另一個頂點P。然後該方法於步 驟510繼續前進。但若於步驟525，已經算出各個頂點P之反射 向量，則方法結束。

前文已經參照若干具體實施例說明本發明。鑑於本文揭 示，其它具體實施例對熟諳技藝人士顯然自明。本發明方 便使用前述具體實施例所述配置組態以外之其它配置組 態實施。例如根據本發明，經修改的環境反射投影方法可 藉CPU 212、VPU 213、GPU 214或呈像引擎（圖中未顯示）部分或 全部執行。例如經修改之環境反射投影方法可藉多重處理 器系統並聯實施。此外，本發明可有效組合前述具體實施 例以外之系統使用。因此，此等及其它有關揭示具體實施 例之變化意圖皆涵蓋於本發明，本發明僅受隨附之申請專 利範圍所ί艮。

-16 -

Claims (1)

1244623

第091123296號專利申請案j又岛' 中文申請專利範圍替換本(93 丹〉一。 拾、申請專利範圍 1. 一種環境映射方法，包含下列步騾： 決定於一反射物件表面之點Ρ之表面法線向量η ; 決定由點Ρ至觀視者之觀視向量e ;以及 使用經修改後之反射式，基於表面法線向量η及觀視 向量e計算反射向量r，經修改後之反射公式係基於以表 面點P之虛擬法線向量y為中心之反射。 2. 如申請專利範圍第1項之方法，其中該虛擬法線向量 平分由表面法線向量η以及參考觀視向量e〇之對角，參 考觀視向量eG係由點P取向位於點P正前方之觀視者。 3. 如申請專利範圍第1項之方法，其中該經修改之反射公 式為 r’ = e - (e-[nx，ny，nz-l])[nx，ny，nz-1] / (1 - nz)，此處 nx、ny 及 nz 為表面法線向量n之分量。 4. 如申請專利範圍第1項之方法，其中於反射物件表面之 點P係位於多角形頂點。 5. 如申請專利範圍第1項之方法，其進一步包含換算反射 向量r成紋理座標（s，t)之步驟。 6. 如申請專利範圍第5項之方法，其進一步包含基於反射 物件表面各點P之相關紋理座標（s，t)，呈像反射物件之步 驟。 7. —種實施有程式之電子可讀取媒體，該程式係藉一機 器讀取，俾執行環境映射方法之步騾，該方法步驟包含： 決定於一反射物件表面之點P之表面法線向量η ; 決定由點Ρ至觀視者之觀視向量e ;以及 1244623 修 正替桷

使用經修改後之反射公式，基於表面法線向量η及觀 視向量e計算反射向量r，經修改後之反射式係基於以表 面點P之虛擬法線向量以為中心之反射。 8. 如申請專利範圍第7項之電子可讀取媒體，其中該虛擬 法線向量i平分由表面法線向量η以及參考觀視向量e〇 之對角，參考觀視向量e〇係由點P取向位於點P正前方之 觀視者。 9. 如申請專利範圍第7項之電子可讀取媒體，其中該經修 改之反射公式為 r1 = e - (e.[nx，ny，nz-l])[nx，ny，nz-1] / (1 - nz)，此處 nx、ny及nz為表面法線向量n之分量。 10. 如申請專利範圍第7項之電子可讀取媒體，其中於反射 物件表面之點P係位於多角形頂點。 11. 如申請專利範圍第7項之電子可讀取媒體，其進一步包 含換算反射向量r成紋理座標（s，t)之步騾。 12. 如申請專利範圍第11項之電子可讀取媒體，其進一步包 含基於反射物件表面各點P之相關紋理座標（s，t)，呈像反 射物件之步驟。 13. —種反射物件之環境映射系統，包含： 一記憶體，其係配置用以儲存一經修改之反射模式， 該經修改之反射模式係基於位於反射物件表面各點之 以虛擬法線向量為中心之反射； 一向量處理單元，其係配置成使用經修改之反射模 式運算反射向量；以及 一圖形處理單元，其係配置成於呈像中之一影像反 1244623 93. 4. 16

射物件，該影像品質係與運算所得反射向量相關。 14. 如申請專利範圍第1 3項之系統，其中該經修改之反射 公式為 r’ = e _ (e.[nx，ny，nz_l])[nx，ny，nz-1] / (1 _ nz)，此處 nx、ny 及 n z為於反射表面點P之表面法線向量n之分量，以及e 為由點P取向至觀視者之觀視向量。 15. 如申請專利範圍第13項之系統，其中一虛擬法線向量iV 平分於反射表面點P之表面法線向量η以及參考觀視向 量e〇之對角，參考觀視向量e〇係由點Ρ取向位於點Ρ正前 方之觀視者。 16. 如申請專利範圍第13項之系統，其中該向量處理單元進 一步配置用以處理各個運算所得反射向量而產生紋理 座標（s，t)。 17. 如申請專利範圍第16項之系統，其中該圖形處理單元係 使用紋理座標來呈像反射物件呈影像。 18. —種環境映射系統，包含： 決定於一反射物件表面之點P之表面法線向量η之裝 置； 決定由點Ρ至觀視者之觀視向量e之裝置；以及 使用經修改後之反射公式及基於表面法線向量η及 觀視向量e計算反射向量r之裝置，經修改後之反射公式 係基於以表面點P之虛擬法線向量η'為中心之反射。 1244623 第091123296號專利申請案 中文圖式替換本(93年4月） 拾壹、圖式

圖1 先前技藝 1244623 圖式續貧 2S

1244629 修 圖式續黄

圖式讀貢 124462:5| 正替.彳 年^月

Ι24462_- α:翁 "攀· 4· ET 圖式續賁

415