TW569155B - Interaction with a three-dimensional computer model - Google Patents

Description

569155 五、發明說明（1 ) 發明領域 本發明係關於用以與三維電腦模型進行互動之方法 與系統。 發明背景 用以顯示三維模型之現存技術稱為Dextroscope，其 用以供單一個人觀看。供呈現給觀眾用，甚至大群觀眾之 Dextroscope之變化型式稱為 DextroBeam。此 Dextroscope 技術在使用者面前顯示了高解析度的有立體感的虛擬影 像。 Dextroscope之軟體使用了一種演算法，其具有一主 要的迴圈，其中從使用者之裝置讀取輸入，且採取動作來 做回應。軟體產生一”虛擬世界”，其中住有虛擬的”物體”。 使用者以手控制一組輸入裝置，且Dextroscope運作使得 這些輸入裝置對應於虛擬”工具”，其可與物體互動。例如， 在一這樣的物體為虛擬動植物組織之情況中，工具可對應 於一可切斷組織之虛擬的解剖刀。 在Dextroscope之運作中有三個主要階段：（1)初始 化，其中準備系統，之後為下列之無窮迴圈（2)更新， 其中接收來自所有輸入裝置之輸入且更新物體，以及（3) 顯示，其中依次顯示在虛擬世界中的每個更新過的物體。 在更新階段中，主要任務為： •讀取所有連接至系統之輸入裝置 •找出虛擬工具如何地與虛擬世界中的物體相關 •根據工具之規劃功能來在物體上做動作 4 五、發明說明（2 ) •更新所有物體 由使用者控制之工具具有四個狀態：“檢查，，，，，開始 動作”做動作，，以及，，結束動作”。提供對應於四狀態之 返回功能以規劃工具之行為。 檢查為在其中工具為不作用且不在任何物體上做動 作之狀態。對一尖筆（一種具有一開關之三維輸入裝置）來 說這對應至”未按鈕”狀態。工具使用這個時間來檢查與 物體相關之位置，例如是否正接觸一物體。 開始動作”為工具從不作用至作用之轉換，如此使得 其可在任何物體上動作。對一尖筆而言，這俞對至一，，剛 按下按鈕”之狀態。其標記了工具之動作開始，例如，，開始 旦。做動作為一其中工具保持作用之狀態。對一尖筆來 說，這對應至，，仍按著按鈕，，狀態。其指出工具仍在執行其 動作’例如畫”。結束動作為工具從作用至不作用之轉換。 對一尖筆來說，這對應至，，按鈕剛放掉，，狀態。其標記了工 具之動作之結束，例如，，停止畫”。 般對一工具做模型如此使得其尖端位於物體座標 (〇,〇,〇)，且其指向正2軸。工具之大小應約1〇cn^ 一具有 不作用形狀以及一作用形狀，以提供虛擬訊號來指出其 之狀態。不作用形狀為工具在不作用時的形狀，而作用形 狀為工具在作用時的形狀。一工具具有預設的不作用和作 用形狀。 一工具在接近物體時對其做動作。稱一工具已選到 物體。一般來說，若其尖端在物體之一邊界盒内，稱一工 569155

五、發明說明（3 ) 具在一物體，，之中”。或者，程式員可定義一放大的邊界盒， 其以在每個方向上之一所選的邊緣（“許可，，）來圍繞物體， 並安排若工具之尖端進入放大邊界盒，則軟體辨識出一工 具在一物體”之中，，。放大邊界盒使得選擇較容易。例如， 吾人可設定許可為2mm(在世界之座標系統中，相對於虛 擬世界），如此使得若工具在物體附近2mm内，其會選取 一物體。予設許可為〇。 雖然Dextroscope已十分成功，但其苦於一使用者發 現難以正確地操作在三維中的工具之缺點。具體來說，當 按下按鈕時，工具可能晃動。此會造成多種不同的定位錯 誤。 發明總結 本發明尋求提供一種新的且有用的方式來有效率地 與二維電腦產生模型進行互動。 一般而言，本發明提出模型顯示系統之處理器定義 了⑴一與顯示模型交又之虛擬平面以及（ii)在虛擬平面和 一表面之間的對應。使用者在表面上定位工具以選擇在該 表面上的一點，且在虛擬平面上的對應位置為在模型上應 對模型做改變的一個位置。因為使用者在表面上移動2 具，所以工具之定位更正確。具體來說，若使用者在工具 上操作一控制裝置（例如按鈕），工具不易從其所要位置晃 動開來。 具體地說，本發明提出一種用以使得一使用者可與 一三維電腦模型進行互動之電腦實現方法，該方法包括： 6 569155

五、發明說明（4 ) 儲存模型’一定義在模型之部份與一真實世界工作 i間之個別部份間的幾何對應之映射，以及定義在工作空 間中之一虚擬平面之資料； 以及重覆地執行一組由下列構成之步驟： 產生模型之至少一部份之影像； 決定在一固體表面上的輸入裝置之位置； 決定在虛擬平面上的一對應位置；以及 修改在映射下對應於虛擬平面上的決定位置之模型 之部份。 再者，本發明提供一種用以使一使用者能與三維電 腦模型進行互動之裝置，該裝置包括： 一處理器’其儲存模型，一定義在模型之部份與一 真實世界工作空間之個別部份間的幾何對應之映射，以及 定義在工作空間中之一虛擬平面之資料； 由處理器控制且用以產生模型至少一部份之影像之 顯示裝置； 一用以在一固體表面上移動之輸入裝置；以及 一用以決定在表面上的輸入裝置之位置之位置感測 器； 該處理器被安排為使用在表面上所決定的位置來決 定在虛擬平面上的對應位置，且在映射下修改模型對應於 虛擬平面上之位置的部份。 該處理器可藉由定義一從表面上的位置延伸至表示 使用者之眼睛之位置的虛擬線（“虛擬視線”），並將虛擬平 7 五、發明說明（5 ) 面上的對應位置決定為該線與虛擬平面之交叉之點來決定 在虛擬平面上的對應位置。 例如’在一特別適於用在Dextroscope系統中之本發 明之一型式中，表示使用者之眼睛之位置（3D位置和方位） 為使用者之眼睛之真實位置，其使用已知的位置追蹤技術 被指示給電腦，或為使用者之眼睛的假設位置（例如若當 使用者的頭在一已知位置時，其被指示使用裝置）。在此 情況中，顯示裝置最好藉由映射將模型顯示於已予工作空 間中的一明顯位置上。 或者’在一特別適於用在Dextr〇Beam系統中之本發 明之一型式中，表示眼睛之位置的位置（“虛擬眼睛，，)(通常） 不與眼睛之實際位置一致。反之，我們可考慮包含虛擬眼 目月’表面’工具，虛擬平面和映射下模型之位置之工作空 間的第一部份。第一部份與包真實眼睛之第二區域有一關 係（第二映射）。在第二區域中的真實眼睛之位置（3D位置 和方位）在第二映射下對應於第一區域中之虛擬眼睛之位 置。類似地，在第二區域中之模型之影像之明顯位置在第 二映射下對應於根據第一映射在第一映射中之模型之位 置。 注意本發明可應用來對模型做任何改變。例如，那 些改變可為藉由在虛擬線和平面（例如在模型上晝一輪廓） 之交叉所描述的點上將資料加至模型中來增補模型。或 者，改變可為將資料從模型中移除。再者，改變可只改變 在處理器内之模型的標記，其改變了處理器顯示模型之方 569155 五、發明說明（6 ) 式，例如，如此使得使用者可使用本發明來指出模型的一 部份為要以不同顏色顯示或根本不顯示。 注意虛擬平面可不顯示給使用者。再者，使用者可 月b無法看到工具，且一表示工具之虛擬工具可或可不顯 示。 圖式簡述 現在詳細地參考附圖來說明本發明之一非限制性的 實施例，其中： 第1圖為本發明之實施例之第一觀點；以及 第2圖為第1圖之實施例之第二觀點。 實施例之詳細說明 第1圖和第2圖為本發明之一實施例之二觀點。第2圖 之觀點為來自第1圖之一側之方向。實施例之建構之許多 特徵為與已知的Dextroscope系統相同。然而，在工具以 尖端停留在一表面3上時（通常為一桌面之頂端，或一傾斜 平面），實施例使得一使用者可藉由移動一工具（尖筆”與 一三維模型進行互動。使用已知的位置追蹤技術來監視工 具1之尖端之位置且將之以線2傳送給一電腦（未顯示）。 表示使用者之眼睛之位置之位置指示為5。這可為使 用者之眼睛之實際位置，其使用已知的位置追蹤技術被指 示給電腦，或者為一使用者眼睛之假設位置（若當使用者 的頭在一已知位置時使用者被指示來使用裝置）。 電腦儲存一三維電腦模型，其根據傳統方法使用來 產生在工作空間内之一顯示（例如一立體顯示卜模型至少 9 569155

五、發明說明（7 ) 之一部份顯示為具有在工作空間内由一映射給予之明顯位 置。注意使用者可具有改變映射或所顯示之型式之一部份 的能力，例如根據已知的技術來做。為了簡化起見此顯示 未顯示於第1圖和第2圖中。注意模型可包括—標記來指出 模型之特定部份為要以一特定方式來顯示或根本不顯示。 電腦進一步儲存了定義一具有一邊界的虛擬平面7(顯 示為圖式7中之矩形）之資料（一平面等式p虛擬平面具有 一與表面3之對應，如此使得在虛擬平面7上的每個點對應 於表面3和工具1之間的可能接觸點。方便地，表面3和工 具1之間的接觸點以及點P以及點5全位在一單一線上，即 為從點5至點p之視線，指示為v。 點P在映射下對應於三維模型上的一點。電腦可儲存 模型之點，且選擇性地改變模型之點。例如，模型可被增 補以與該點相關之資料。注意使用者在三維空間中二維表 面3上工作。 例如，.若實施例用來編輯三維楔型中的一輪廓，電 腦在尖筆於底部表面上移動至模型上的位置p時映射尖筆 之位置。當工具在表面3上的多個點9之每一點上時（例如 在工具上點擊一按鈕4 ,或以超過臨界之力量按下表面3, 如諸如在工具或表面内之一感測器之壓力感測器所測量到 的），所執行的使用者之一動作在模型上產生對應的節點 U，其被結合以形成所編輯的輪廓。在3D空間中編輯時， 貫施例允許在節點上的確定點擊。 工具ί之操作在其他方面上可類似於上述之已知工具 10 569155 五 、發明說明（8 ) 之操作，且工具可操作於上面所討論的4個狀態中。在其 中應用了本發明之投影之狀態可為檢查和作動作狀態。 在這些狀態中，電腦執行四個步驟： •計算並儲存虛擬平面7之平面等式。 •計算並儲存從使用者眼睛之位置至工具尖端之向

量V

計算並儲存V和虛擬平面7之交點P -判斷P是否在輪廓平面7之邊界外。若是的話，則p 為一不正確的投影點，否則點P是正確的。 在系統具有上面所討論的四個已知系統的狀態之情 況中’投影技術使用於狀態檢查和做動作中。 注意有多種不同的方式，使用者可藉其來選擇虛擬 平面7。選擇在一工作空間内之一平面之方法在技藝上是 已知的。或者，我們提出藉由使用一指示工具（諸如工具〇 達到工作空間中來選擇虛擬平面。 在實施例之操作期間，使用者未看到工具1，亦未看 到他的手。在本發明之一型式中，實施例之圖形系統可產 生工具1之幾何表示（例如，工具丨可顯示為在虛擬平面上 的對應位置中的虛擬工具，如一虛擬工具，諸如一筆或解 部刀）。然而，更具體地說，使用者甚至未看到一虛擬工 具，而只看到模型和執行的特定應用之結果，例如在一輪 廓編輯應用中所畫的輪廓。此是較好的，因為第一模型大 部份時間使虛擬工具變暗，且第二因為要作的工作與所投 影的點和模型之位置有關，而非虛擬工具之奶位置。例 11 569155

五、發明說明（9 ) 如，在實施例用來顯示骨骼之一部份的電腦模型且工具i 之移對應於一切割骨骼之一部份之雷射解剖刀之移動的 情況中，使用者會拿雷射工具靠著表面3以得到穩定性， 且只看到雷射光在骨骼上的效果。 第1圖和第2圖亦正確地描述了在Dextr〇Beam情況中 之實施例，但在此情況中位置5非眼睛之實際位置。反之， 位置5為一預先定義的”虛擬眼睛”且在第1圖 中所示者 為一包含虛擬眼睛之第一區域，虛擬平面7,表面3和工具 1°第一區域與包含實際眼睛之第二區域具有一對一的關 係（第二映射）。模型最好在第二區域中之明顯位置中顯示 給使用者’如此使得其與實際眼睛之關係等於位置5和模 型在第一映射下於第1圖和第2圖所示之第—區域中之位置 間的關係。

569155 五、發明說明（10 ) 元件標號對照 1…工具（尖筆） 5…使用者之眼睛 2…線 7…虛擬平面 3…表面 9…點 4…按姐 11…對應節點 13

Claims (1)

1. 569155

   六、申請專利範圍 • 一種用以允許一使用者與一三維電腦模型進行互動之 電腦實現方法，該方法包括： 儲存模型，一定義在模型之部份與一真實世界工 作空間之個別部份間的幾何對應之映射，以及定義在 工作空間中之一虛擬平面之資料； 以及重覆地執行一組由下列構成之步驟： 產生模型之至少一部份之影像； 決定在一固體表面上的輸入裝置之位置； 決定在虛擬平面上的一對應位置；以及 修改在映射下對應於虛擬平面上的決定位置之模 型之部份。 2·如申請專利範圍第1項之方法，其中在表面上所決定 的位置以及在虛擬平面上的對應位置皆位於一線上， 進一步包括一表示使用者之一眼睛之位置。 3·如申請專利範圍第1或2項之方法，其中使用者在工具 上執行一動作以指示在表面上的多個分離點，藉此指 出在模型上的對應點。 4·如申請專利範圍第3項之方法，其中輸入裝置具有一 使用者操作的按鈕，且動作包括操作該按鈕。 5·如申請專利範圍第1項之方法，其中影像為一立體影 像。 一種用以允許一使用者與一三維電腦模型進行互動之 裝置，該裝置包括： 一處理器，其儲存模型，一定義在模型之部份與

   569155 六、申請專利範圍 一真實世界工作空間之個別部份間的幾何對應之映 射，以及定義在工作空間中之一虛擬平面之資料； 由處理器控制且用以產生模型至少一部份之影像 之顯示裝置； 一用以在一固體表面上移動之輸入裝置；以及 一用以決定在表面上的輸入裝置之位置之位置感 測器； 該處理器被安排為使用在表面上所決定的位置來 決定在虛擬平面上的對應位置，且在映射下修改模型 對應於虛擬平面上之位置的部份。 如申請專利範圍第6項之裝置，其中處理器被安排為 藉由下列來決定在虛擬平面上的對應位置⑴定義一 從表面上的位置延伸至表示使用者眼睛之位置之視 線’以及（ii)將在虛擬平面上的對應位置決定為線與 虛擬平面之交又點。 8. 9. 如申請專利範圍第6或7項之裝置，其中工具包括一回 應由使用者所執行之控制動作之控制裝置。 如申請專利範圍第6項之裝置，其中顯示裝置產生立 體影像。 15