TW202418042A - 立體影像互動模擬系統與運作方法 - Google Patents

Abstract

一種立體影像互動模擬系統與運作方法，立體影像互動模擬系統包括立體影像顯示器與控制主機，立體影像顯示器顯示一立體影像，設有互動感測器，用以感測使用者的手勢或是操作觸感裝置產生的動作，產生感測數據，同時可偵測使用者的眼球位置，能藉此判斷手勢或操作觸感裝置的動作的座標變化，再根據座標變化形成操作軌跡，進而判斷一互動指令，根據互動指令並參考眼球位置後，顯示更新的立體影像。

Description

立體影像互動模擬系統與運作方法

說明書公開一種立體影像互動模擬技術，特別是指一種可直接在浮空立體影像上以手勢或加上觸感裝置進行互動模擬的系統與運作方法。

已知有習知技術提出利用影像模擬的方式進行教學的方案，其中常見的是，使用者端通過顯示器顯示影像進行模擬學習，例如配戴頭戴式顯示器，以虛擬實境（VR）內容觀看其中由另一人操作教學項目的影像。

另有方式是，使用者端設計有特定的機器人設備，提供使用者操作，在一虛擬的立體影像上進行操作，機器人設備將操作過程產生的數據上傳至伺服器或主機，藉此評估教學的成效。

在另一方案中，使用者端通過特殊顯示器顯示立體影像，使用者則是在此立體影像上操作特定設備，例如是模擬外科手術的設備，利用感測器可以感測到使用者的操作行為，產生的感測數據同樣地可以作為評估使用者操作設備成效的依據。

相較於習知技術提出的各種模擬教學方案，本揭露書提出一種立體影像互動模擬系統與運作方法，立體影像互動模擬系統提出一立體影像顯示器，用以顯示立體影像，並設有互動感測器，用以感測使用者的手勢或是觸感裝置產生的動作，並提出一控制主機，可以內建或外部連接立體影像顯示器，用以解釋使用者的手勢或操作觸感裝置形成的動作以得出運行在立體影像上的一互動指令。

其中，於立體影像互動模擬系統運作時，可通過立體影像顯示器顯示立體影像，通過互動感測器感測使用者操作立體影像的手勢或是感測觸感裝置的動作產生感測數據，藉此判斷手勢或操作觸感裝置的動作的座標變化，以根據座標變化形成操作軌跡，進而判斷一互動指令，接著根據互動指令更新立體影像。

優選地，所述互動感測器包括手勢感測器，用以感測使用者手勢或操作觸感裝置的動作，手勢感測器形成的感測數據為立體座標變化量，可通過控制主機處理後形成互動指令。

優選第，觸感裝置中可內建動作感測器，動作感測器產生的感測數據為觸感裝置在一立體空間內的立體座標變化量，再通過控制主機處理後形成互動指令。

進一步地，於一實施例中，互動感測器還可包括一眼球偵測器，於感測使用者的手勢或是觸感裝置產生的動作時，可同時開啟眼球偵測器以偵測使用者的眼球位置，使得立體影像顯示器根據眼球位置即時更新立體影像，並獲得相對於關閉眼球偵測器而未偵測眼球時更高解析度的立體影像。

進一步地，上述偵測使用者的眼球位置可採用一眼球追跡技術，其中包括取得使用者的眼球的立體座標、視角範圍與移動速度，再結合手勢或操作觸感裝置的動作形成的操作軌跡，以分別取使用者手部以及觸感裝置的輪廓，用以渲染出立體影像。

進一步地，當使用者在立體影像上操作手勢或是使用觸感裝置操作時，可根據一事先定義的風險門檻判斷手勢或使用觸感裝置操作的動作是否產生風險。所述風險門檻的定義是，根據立體影像顯示的物件的特定建立立體模型的屬性，如此即可以根據立體模型的屬性設定風險門檻。

在一實施例中，當於資料庫中記載立體影像數據時，還可以記載與立體影像數據關聯的註解，包括註解的內容與一空間位置。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號，但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一訊號與另一訊號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書提出一種立體影像互動模擬系統與運作方法，為一種利用立體顯示技術以及提供使用者可以手勢操作的互動技術實現的一種互動模擬系統，可用在模擬教學與虛擬互動的應用上。

立體影像互動模擬系統可參考圖1所示的實施例示意圖，其中提出一立體影像顯示器100，根據其中之一實施方式，立體影像顯示器100的主體可以由一光學元件層、一顯示面板與一背光組成，光學元件層由陣列排列的透鏡陣列組成，設置於光學元件層與背光之間的顯示面板可以是液晶面板（LCD），亦不排除其他具有背光模組的顯示器形式，或是可為具有自發光特性的有機發光二極體（OLED）。立體影像顯示器100中還具備影像處理器，可以處理顯示內容，並具備通訊能力，可以從外部影像提供來源取得立體影像數據，經影像處理後通過顯示面板顯示一初步影像，初步影像可通過光學元件層聚焦投射在立體影像顯示器100以上，形成立體影像110，如同浮空立體影像。

根據立體影像顯示器100實施例，立體影像顯示器100除了上述顯示相關元件、處理電路以及通訊電路，為了實現模擬教學與提供使用者互動操作的功能，設有互動感測器，包括手勢感測器101，可以光學偵測或影像處理手段偵測使用者徒手操作立體影像110的手勢，或是操作各種觸感裝置105, 107與109形成的手勢。實際運行時，觸感裝置105, 107與109數量不限於示意圖所述，可依照立體影像互動模擬系統中電腦數據處理能力決定可以同時運作的觸感裝置105, 107與109的數量，以能順利同時處理一或多個觸感裝置105, 107與109產生的感測數據。

進一步地，利用手勢感測器101可以感測使用者手勢，或是操作觸感裝置105, 107與109的動作，手勢感測器101形成的感測數據為立體座標變化量，通過控制主機120處理後形成互動指令。根據一實施例，若使用者操作觸感裝置105, 107與109在立體影像110上動作，觸感裝置105, 107與109中還可以內建動作感測器，可採用加速度計、陀螺儀等感測電路實現動作感測器，通過設置於立體影像顯示器100中的接收器接收觸感裝置105, 107與109在空間中的各種動作，所述動作感測器產生的感測數據為觸感裝置105, 107與109在一立體空間內的立體座標變化量，再通過控制主機120處理後形成互動指令。

於再一實施例中，立體影像互動模擬系統還設有以軟體與硬體電路協作實現的眼球偵測器103，眼球偵測器103設於立體影像顯示器100上，其中之一方法可以通過影像感測器取得使用者臉部（包括眼球150）的影像，再通過軟體進行影像分析，根據取得的影像特徵判斷人臉位置，並基於眼睛特徵偵測出眼球150位置，眼球150位置可指使用者的一或兩眼位置，可由一組座標描述眼球150的位置，再以座標轉換為與立體影像顯示器100相同座標系的座標。

根據立體影像互動模擬系統運用眼球偵測器103運作的實施方式，其中眼球偵測器103可以依照需求開啟或關閉。運作時，當開啟眼球偵測器103後，可使得立體影像互動模擬系統根據一位使用者眼球位置驅動立體影像顯示器100朝向眼球位置投射影像，並依據眼球位置即時更新立體影像，讓此使用者可以觀看到相對關閉眼球偵測器103較高解析度的立體影像。反之，若關閉眼球偵測器103，表示立體影像互動模擬系統無須根據使用者眼球位置顯示立體影像，也就是讓一或多位使用者可以用較多的視角觀看立體影像，而因此僅能獲得相對開啟眼球偵測器時較低解析度的立體影像。

根據上述實施例描述，立體影像互動模擬系統通過立體影像顯示器100顯示立體影像110，立體影像顯示器100可以根據眼球偵測器103偵測的眼球150位置顯示影像，立體影像顯示器100還能根據手勢感測器101判斷得出的使用者手勢，或是操作觸感裝置105, 107與109的動作，顯示反映手勢或是動作的立體影像110，回饋使用者看到經過手勢操作或是操作觸感裝置105, 107與109互動後的影像，實現模擬教學與虛擬互動的目的。

進一步地，在實施例中，為求模擬教學的效果，呈現出的立體影像110可以顯示對應的註解111，顯示立體影像110更參考了眼球150位置，可以即時根據眼球150位置更新立體影像110。其中主要的關鍵技術就是提出控制以上各種電路與軟體運作的控制機制，能夠解釋使用者以手勢或操作觸感裝置105, 107與109形成的動作，得出運行在立體影像110上的互動指令。根據實施方式之一，所述控制機制可以為電腦系統（包括軟體與硬體）實現的控制主機120，控制主機120設有處理器121與儲存器123，控制主機120可以外部形式通過傳輸介面125（如特定工業規格的連線）連接立體影像顯示器100；在另一實施方式，控制主機120可以內建於立體影像顯示器100中，以內建連線（如特定匯流排）立體影像顯示器100，以其中軟體與硬體實現形成互動指令的目的。控制主機120用於控制與處理立體影像顯示器100顯示的影像，通過傳輸介面125傳送來往的指令與影像數據。儲存器123如控制主機120的資料庫，其中儲存立體影像數據，提供立體影像顯示器100即時顯示立體影像110、標示註解111，以及即時提供反映互動手勢的立體影像110。

於一實施例中，圖中顯示的控制主機120為在本地端服務的電腦系統，通過傳輸介面125連線並可用於控制本地端的一或多個立體影像顯示器100，並提供相應的立體影像數據。另一方面，立體影像互動模擬系統還可提出一雲端伺服器130，各端控制主機120通過網路介面127連線雲端伺服器130，雲端伺服器130提供一或多個設於不同位置的控制主機120運算與資料庫服務。

在一實施範例中，舉例來說，當立體影像互動模擬系統提供手術模擬教學的服務，立體影像110可以是人體器官的立體影像，不僅提供使用者以手勢操作此立體影像110，還可以通過操作觸感裝置105, 107與109運行在立體影像110上，再通過觸感裝置105, 107與109內的感測器或外部感測器（如上述手勢感測器101）感測觸感裝置105, 107與109的動作，立體影像互動模擬系統可通過上述控制主機120根據手勢或觸感裝置105, 107與109的動作演算出互動指令，例如為操作在立體影像110上的縮小、放大、移動與旋轉等的指令，使得立體影像互動模擬系統可以根據此互動指令更新立體影像110。

根據再一實施例，為了要針對互動指令形成回饋信息，可以通過立體影像顯示器100根據互動指令更新立體影像、產生回饋各種互動指令的語音信息，或可以通過觸感裝置105, 107與109產生震動回饋。舉例來說，根據縮小互動指令，更新的立體影像顯示出變小的連續立體影像；根據旋轉互動指令，將顯示出轉動的立體影像；針對使用觸感裝置刺入立體影像的動作，可以通過觸感裝置中的震動器產生反應此刺入的震動回饋；還可根據手勢或是使用觸感裝置的動作產生回應互動指令的聲響。

進一步地，上述眼球偵測器103除了設置在立體影像顯示器100中，還可以為外部裝置，使得立體影像互動模擬系統可以根據使用者眼球150位置判斷出立體影像110適當的顯示角度，如此可以根據使用者眼球150位置更新立體影像110。

根據實施例，立體影像110的數據可以事先儲存在立體影像顯示器100的記憶體中，或是儲存在控制主機120中，或由雲端伺服器130提供，再載入至控制主機120的儲存器123或立體影像顯示器100的記憶體中，而能即時根據互動指令或眼球150位置更新立體影像110。

圖2顯示另一立體影像顯示器的實施例示意圖，根據圖中顯示的立體影像顯示器200實施例，其中設於一側的感測器205整合了圖1顯示實施例中的手勢感測器101與眼球偵測器103，主結構上則是設有一顯示面板210，通過其中顯示技術能在顯示面板210表面以上一段距離顯示浮空的立體影像。

在此一提的是，根據其中之一實施例，立體影像顯示器200中的顯示器結構20主要元件包括背光模組211、液晶顯示面板（LCD）212、透鏡陣列層213以及具有特定功能的光學層214。其中可以發光二極體顯示器（LED display）取代背光模組211與液晶顯示面板212。所述透鏡陣列層213由縱橫排列的透鏡組成，液晶顯示面板212上顯示同樣縱橫排列的單元影像，依照顯示的需求（如根據眼球偵測的結果）分別通過不同的透鏡投射在立體影像顯示器200上方。所述光學層214可以設計具有特定光學特性，採用一種離軸光學結構（off-axis optical structure），舉例來說，光學層214由多個陣列排列的微稜鏡（prism）組成，可以通過微稜鏡的設計將通過透鏡陣列層213射出的光線轉一個角度，方便使用者觀看立體影像。

根據實施例，立體影像顯示器200可以顯示利用軟體方法模擬出各種操作介面與工具，例如操作立體影像顯示器200顯示功能的各種操作介面，以及提供使用者選擇觸感裝置形式的使用者介面。所述觸感裝置的形式可以約略區分為刀具類、具有雙柄的剪刀類，以及同樣具有雙柄的夾具類，每個形式的觸感裝置都有不同的行為與回饋信息。

根據圖示的立體影像顯示器200實施例，在兩側分別設有提供使用者手持的觸感裝置，第一觸感裝置201與第二觸感裝置202，使用者操作立體影像的過程，除了通過感測器205感測手勢外，還可以雙手分別握持第一觸感裝置201上的第一手持裝置203，以及第二觸感裝置202的第二手持裝置204，通過第一觸感裝置201與第二觸感裝置202中的連桿機構、馬達與感測關節運動的電路等感知使用者操作第一手持裝置203與第二手持裝置204的動作。

當立體影像互動模擬系統運作時，使用者雙手握持第一觸感裝置201與第二觸感裝置202運行在立體影像上，後端的控制主機可以通過第一觸感裝置201與第二觸感裝置202得到使用者通過觸感裝置的手勢，經比對立體影像的空間座標，與立體影像顯示內容的屬性，產生回饋信息，再進一步通過持第一觸感裝置201與第二觸感裝置202中的馬達與結構回饋到使用者雙手上，讓使用者感受到觸感回饋，實現模擬互動的目的。

值得一提的是，相對於傳統需要通過各種立體影像顯示輔助器材（如虛擬實境與擴增實境裝置）觀看立體影像的方式，也非習知利用光柵原理的裸眼立體影像顯示技術，揭露書提出的立體影像互動模擬系統採用一種光場顯示器（light-field display）的技術，可讓使用者在立體影像顯示器的某一個視角（通過光學層214的設計）直接觀看到以光場顯示技術投射的立體影像的實像。進一步地，所述光場顯示技術是一種模擬人眼視覺成像原理的顯示技術，先針對特定物體，如揭露書提出的立體影像原本的實體，在特定場域中利用一種光場攝影機收集物體所反射的所有光線資訊，之後通過演算法根據這些光線資訊反向計算出這個物體的反射光線，這些光線資訊包括顏色、亮度、方向、位置與深度資訊，經過所述立體影像顯示器投射出這些反射光線，可以在使用者眼中呈現出保留物體最完整光線資訊的影像。

在系統提供立體影像以及經過互動後新的立體影像時，提供了立體影像視覺與觸覺的整合式回饋，實務上可分為模擬型互動與邏輯型互動。其中模擬型互動會依眼睛、手部、觸感裝置的追蹤形成的使用者行為參數，在配合當下顯示的立體影像，產生出新的立體影像。以操作人體器官立體影像為例，產生新的立體影像可以是器官的移動、形變、破裂、分離等。而所述邏輯型互動則是可依所定義之禁止作業區，系統將提供風險管控，即時提供越界時的危險動作提示。

圖3顯示以硬體與軟體協同作業實現立體影像互動模擬系統的實施例示意圖。立體影像互動模擬系統通過控制主機30控制立體影像顯示器的運作，其中包括以電路與軟體協作的互動處理模組301，電性連接控制主機30中處理各種訊息的電路與軟體模組，立體影像顯示器由圖中眼球偵測單元311、手勢感測單元313、觸感裝置追蹤單元315、聲音接收單元317與顯示單元320組成。

根據此圖例，立體影像互動模擬系統中運用的立體影像除了利用立體影像繪圖技術產生，若針對模擬教學的目的，立體影像可以通過一立體影像掃描器340掃描特定物品所產生，可以是人體、內臟。形成特定物品的立體影像數據後，儲存至影像資料庫300中，每筆立體影像數據設有資料庫的識別索引、代碼以及相關可搜尋資訊，並為了教學目的而可通過註解單元330根據要註解的立體影像的特定部位加入註解，每筆註解可以利用資料庫技術建立與立體影像數據的關聯資訊，並具有附加在立體影像上的空間座標，通過顯示單元320，可隨著立體影像一併顯示出來。

在此一提的，註解單元330的功能主要是記錄使用者指定要標註的立體影像的空間位置與內容，使用者可以手勢或上述觸感裝置直接在立體影像上註解內容，系統通過所述互動感測器（如手勢感測器或觸感裝置內建感測器）偵測註解內容與位置，通過註解單元330完成註解，建立註解與立體影像數據的關聯性，將註解內容、空間位置，隨同相關的立體影像儲存至影像資料庫300。

立體影像顯示器可以內建或外部方式連接其中互動感測器，可以包括以光學或是影像識別方式感測手勢的手勢感測單元313、追蹤觸感裝置在立體影像上運行的動作以及形成的軌跡的觸感裝置追蹤單元315，還可設置有可以接收現場使用者聲音（如教學者的聲音）的聲音接收單元317，以及偵測使用者眼球位置的眼球偵測單元311。如此，當立體影像互動模擬系統通過立體影像顯示器顯示立體影像時，同時通過上述各種互動感測器取得使用者操作立體影像的手勢、動作、聲音、眼球位置等，再以控制主機30中硬體與軟體協作實現的功能模組動作演算出互動指令，接著就根據互動指令更新立體影像，以反映出互動後立體影像該有的姿態。

控制主機30設有行為追蹤模組310，能根據立體影像顯示器提供的感測數據演算出使用者的手勢或操作觸感裝置的連續動作，產生的數據可描繪出一個軌跡，再通過互動處理模組301處理以上數據，形成互動指令，如縮小、放大、移動與旋轉的手勢，還可包括針對特定觸感裝置（如醫療使用的刀片、鉗子、剪刀、針等）的動作判斷出切開、刺入、拉開、剪斷等複雜的行為。

進一步地，控制主機30中的觸感處理模組305用以處理使用者通過各種觸感裝置形成的動作，包括根據觸感裝置的形式連續記錄空間座標，進而提供互動處理模組301形成互動指令。聲音處理模組307可以處理自聲音接收單元317接收的聲音，由互動處理模組301處理（如語音辨識等技術）後形成互動指令。

在此一提的是，控制主機30設有風險處理模組309，在特定應用中，當使用者在立體影像上操作手勢或是使用觸感裝置操作時，風險處理模組309將根據事先定義的風險門檻判斷手勢或動作是否產生風險。舉例來說，立體影像互動模擬系統應用在外科手術的模擬教學，立體影像顯示器顯示人體器官的立體影像，在系統中事先根據人體器官的屬性設定風險門檻，套用在立體影像數據中，使得系統可以根據這些風險門檻評估使用者的操作在立體影像上的手勢或操作觸感裝置的動作的風險，其中之一是判斷使用者操作觸感裝置是否會對器官造成傷害，例如過度操作產生器官傷害，即可發出聲響（語音或音效）、震動等警告信息。如此，通過風險處理模組309可有效評估學員利用手勢或是觸感裝置操作立體影像產生的風險，達到學習目的。

經以上各功能模組產生互動指令後，可經控制主機30中的互動指令模組303根據互動指令自影像資料庫300取得反映各種互動指令的立體影像數據，再以顯示單元320即時顯示更新的立體影像。

基於上述系統的描述，圖4接著顯示立體影像互動模擬系統的運作方法實施例流程圖。

一開始，通過立體影像顯示器顯示立體影像（步驟S401），使用者可利用手勢或觸感裝置操作立體影像，立體影像顯示器中的各種感測器將感測到手勢或觸感裝置的動作產生感測數據，並可以包括偵測眼球位置（步驟S403），通過行為追蹤的技術取得上述手勢或操作觸感裝置動作在立體影像上關鍵部位的座標變化（步驟S405），必要時，應將手勢或觸感裝置所形成的座標變化轉換到基於立體影像顯示器建立的座標系（步驟S407），以能根據座標變化形成操作在立體影像上的操作軌跡（步驟S409）。

在一實施例中，利用手勢感測器感測到使用者在立體影像顯示器顯示的立體影像上的手勢，將即時取得關鍵部位（如手指、指關節、手掌等）的立體座標變化，立體座標變化為手勢感測器在一個持續時間感測到手勢所造成的，必要時，應由手勢感測器形成的座標系的座標資訊轉換至以立體影像顯示器形成的座標系中，使得在相同座標系中，系統可得知手勢形成的互動指令與立體影像的相關性。

之後，可通過系統中的處理電路根據操作軌跡判斷互動指令，例如移動、旋轉、縮放等互動指令，若以醫療領域的觸感裝置為例，還可包括切開、刺入、拉開、剪斷等複雜動作的指令（步驟S411），之後對照立體影像座標資訊，可得出新的立體影像座標（步驟S413），接著查詢影像資料庫，更新顯示的立體影像（步驟S415），如此可以達到互動的目的。進一步地，立體影像互動模擬系統可以根據使用者的手勢或操作觸感裝置的動作提供回饋信息，產生回饋資訊。舉例來說，產生對應互動指令的聲響，提示使用者操作手勢後的狀態，或是利用觸感裝置內的震動器產生震動回饋，提示使用者操作後的情況（步驟S417）。

為了教學的目的，以上各種操作手勢或觸感裝置形成的軌跡，以及各種回饋與影像變化都可被錄製下來，經錄製後輸出影像，提供回放，成為模擬教學的內容（步驟S419）。

立體影像互動模擬系統中設有影像資料庫（如圖4的影像資料庫400），根據圖1顯示的系統架構示意圖，影像資料庫可以設置於立體影像顯示器中，或是控制主機中，或是雲端伺服器中，其中主要儲存立體影像數據、立體影像的屬性與風險資訊。上述風險處理模組409設定的風險門檻主要是基於特定模擬教學的應用時需要學習避免某種程度的破壞，建立風險門檻的實施方式可以參考圖5所示在立體影像互動模擬系統中建立風險資訊的實施例流程圖。

立體影像互動模擬系統先針對特定物件建立立體模型，並渲染立體影像，產生立體影像數據（步驟S501），同時可以針對立體影像顯示的物件的特定建立立體模型的屬性（步驟S503），並設定風險資訊，可以風險門檻表示（步驟S505），如此建立立體影像風險資料庫（步驟S507），實施方式之一是將風險資訊隨同立體影像數據一併儲存在影像資料庫中。

根據實施例，在建立立體模型時，同時根據相關物件的特性建立立體模型的屬性，其中可依據立體模型中物件指定硬度（stiffness），硬度為描述物件接受一力道時形變或破裂的特性；阻尼系數（damping），阻尼系數描述物件受力後震動會逐漸下降的特性；磨擦力（friction），摩擦力描述兩物件相接觸時反抗力的大小；密度（density），用以決定物件受力時移動的速度；以及跨物件間位移限制參數，實際考量如物件的彈性，進而設定位移限制。以人體組織為例，可以針對其立體模型設定硬度、摩擦力、阻力等參數，以利形成手勢或是操作觸感裝置的回饋，同時也建立實際運作的風險資訊，以利系統判斷出具有風險的手勢，並給予警告。

根據以上實施例，實際運用立體影像互動模擬系統時，可以利用立體模型建立模擬學習影片，實施例流程圖可參考圖6。

在圖6所示流程中，以立體影像顯示器顯示立體影像（步驟S601），接著利用其中互動感測器感測手勢，或是感測手持觸感裝置的動作（步驟S603），並能根據感測數據演算出操作軌跡（步驟S605），經對照相關物件的特性所建立的風險資訊後（步驟S607），可以據此產生回饋資訊（步驟S609）。根據一實施例，所述風險資訊是針對所模擬的物件（如人體器官）的特性設定出以各種手勢或是觸感裝置的風險門檻，因此，當根據感測數據演算出操作軌跡時，比對立體影像顯示的座標範圍，再比對風險門檻，可判斷出各種手勢或動作接觸到立體影像的程度產生風險的程度，還可形成回饋信息。最後，將各種操作、軌跡、影像變化、風險判斷結果等信息錄製起來，並輸出影像（步驟S611）。

圖7繼續提出揭露書提出的立體影像互動模擬系統中立體影像顯示器的實施例示意圖。

圖中示意顯示一立體影像顯示面板70，立體影像顯示面板70顯示的內容可以是上述實施例所描述的立體影像顯示器面對使用者的最上層，其中設有手勢感測器730與眼球偵測器740等元件，還可以規劃出一個影像顯示區700，通過背光、光學元件與顯示面板等元件呈現出浮空的立體影像，並可顯示利用軟體方法模擬的各種可選擇的觸感裝置與功能操作介面。

根據實施例，立體影像顯示面板70設有一觸感裝置區710，除了使用者可以手持實際的觸感裝置外，系統還可提供顯示在影像顯示區700內虛擬的各種觸感裝置選項，其中每個選項表示不同形式而具有不同屬性的觸感裝置。以醫學模擬教學為例，觸感裝置區710提供各種外科手術的虛擬工具。經使用者選擇其中之一虛擬的觸感裝置後，系統將以使用者手持特定觸感裝置為判斷操作指令的依據。立體影像顯示面板70還可提供各種功能按鈕區720，可以是實體或軟體模擬的操作介面，方便使用者依照需求設定快速功能按鈕。立體影像顯示面板70提供立體影像顯示區760，用以呈現出浮空的立體影像，並設有時間顯示區750。

接著圖8顯示立體影像互動模擬系統中感測手勢與觸感裝置的實施例示意圖，此圖例顯示手部80影像，並持有一棒狀的觸感裝置82。立體影像互動模擬系統設有手勢感測器。在手部80的部分，可以通過光學偵測或是影像辨識技術取得多個手勢感測點801至812。

手勢感測點801至812主要用於反映出執行手勢時的關鍵部位的動作，手勢感測器取得這些手勢感測點801至812的座標位置變化，可以據此判斷手勢，或是進一步地，在觸感裝置82設定幾個關鍵的觸感裝置感測點，此例顯示棒狀的觸感裝置82僅需要兩個關鍵的觸感裝置感測點821與823，使得手勢感測器可以根據觸感裝置感測點821與823的座標位置變化得出操作軌跡。

所述操作軌跡的取得，可參考圖9所立體影像互動模擬系統中得出操作軌跡的實施例示意圖。圖中顯示一個立體形式的受操作物件90，可以是進行外科手術模擬的人體器官影像，其中顯示使用者同時操作觸感裝置一91與觸感裝置二92，根據圖8顯示的實施範例，系統可以根據手部以及觸感裝置上的感測點的座標變化得出操作軌跡，如圖所示的操作軌跡一901與操作軌跡二902。

在立體影像互動模擬系統中，除了根據運行在立體影像上的手勢或是操作觸感裝置的動作更新立體影像外，系統還可根據使用者眼球表示的觀看位置更新立體影像顯示的角度與位置，可以提升使用者觀看的體驗。相關流程如圖10所示的眼球追跡的實施例示意圖，其中採用的技術主要是根據眼球位置以光線追跡方式形成立體影像顯示器中顯示影像，其中為了顯示在顯示面板以上的浮空影像，立體影像顯示器的顯示面板上的顯示畫面將設計顯示為陣列形式的單元影像，多個單元影像形成顯示面板所顯示的一個集成影像，每個單元影像將通過對應的光學元件（透鏡）投射並聚焦在顯示面板以上的空間，進而呈現出浮空的實像。

在圖10所示的實施例圖中，此圖例示意顯示使用者（眼睛102）於一立體影像顯示器上方觀看一個立體影像1010，此立體影像1010通過顯示裝置中的多光學元件模組中陣列形式的透鏡組將顯示面板1000上顯示的影像投射在立體空間中，呈現出一漂浮的立體影像1010（此例顯示立體字樣「3D」）。其中的技術是先決定一個要呈現出來的立體影像，例如自一立體影像來源取得立體影像數據，建立一對應的參考影像（reference image），也就是圖10示意圖中的立體影像1010。參考影像的立體影像資訊可包括描述立體影像1010的色彩資訊以及三維空間資訊，空間中的每一個影像像素包括一組座標值（x, y, z）與色度值（chromatic value），可以是一平面影像資料與其深度圖。之後，可設定一個眼睛位置，或是通過偵測眼睛位置的技術取得真實使用者的眼睛位置，並取得眼睛位置與多光學元件模組之間的各種物理資訊。其中，系統取得與多光學元件有關的物理資訊，包括光學元件（如透鏡組）尺寸與特性，包括單一透鏡組、多透鏡矩陣的設置座標、尺寸、折射率等，以及光學元件投射的空間位置、各光學元件與顯示面板的空間關係（如距離）、投射位置與各光學元件之間的空間關係等。

在此一提的是，重現立體影像時，可以平面座標值配合深度圖所記載的平面影像中每個像素的深度值（z值），使得重現影像時描述立體影像的座標值（x, y, z），並加上色度值，以顯示出影像中每個部分的正確空間位置與顏色，產生立體影像。之後，系統根據接收的立體影像數據，以及使用者眼睛位置、立體影像投射位置，建立所述的參考影像。參考影像用以反映出顯示影像的立體座標值、色度值。根據實施例之一，輸入的原始立體影像經一座標轉換成為參考影像，其中將根據一座標轉換演算法演算出一組轉換參數。

當取得眼睛位置時，建立眼睛位置與各透鏡單元之間的光線追跡資訊。如圖所示，為了建立眼睛102、每個透鏡單元（1011、1012）與對應的單元影像（1021、1022）之間的光線追跡資訊，根據一實施例，以眼睛102的邊緣位置、多光學元件模組中的每個透鏡單元的邊緣位置形成一個可視範圍（Region of Visibility，RoV），每個可視範圍可以涵蓋到的立體影像1010的一部分，以圖10為例，眼睛102與第一透鏡單元1011之間光線追跡的結果形成第一可視範圍1021，眼睛102與第二透鏡單元1012之間光線追跡的結果形成第二可視範圍1022，以此類推，眼睛102可以與多光學元件模組中的每個透鏡單元形成多個可視範圍，每個可視範圍都涵蓋了立體影像1010的一部分，也就對應演算出內容與大小不同的多個單元影像（1001、1002）。

此例中，根據所得出的第一可視範圍1021與第二可視範圍1022，並分別考量對應的第一透鏡單元1011與第二透鏡單元1012的光學特性，如透鏡厚度、面積、表面曲率、折射率等透鏡規格，加上與顯示面板的距離，可以演算出對應的第一單元影像1001與第二單元影像1002，最終根據多個光線追跡資訊、多個透鏡單元資訊與參考影像記錄立體空間的影像資訊，其中記錄的是顯示面板的顯示像素位置對照立體空間中每個可視範圍所涵蓋立體影像1010的影像資訊，具體地說，通過記憶體記錄立體影像1010在立體空間的像素資訊（三維座標與色度值）通過多光學元件模組投射在顯示面板的每個像素值。

進一步地，參考圖2顯示的立體顯示器結構示意圖，其中多光學元件模組中除了陣列形式的透鏡組（1011, 1012）外，根據實施例之一，還可包括具有離軸光學特性的光學層1013結構，用以調整顯示面板1000投射至眼睛102的光線路徑。例如，如圖所示，通過光學層1013將原本（沒有光學層1013或是光學層1013不作用時）的第二可視範圍1022微調為第三可視範圍1023。同理地，當立體影像互動模擬系統通過光學層1013調整進入眼睛102的光線路徑，系統將考量對應的透鏡組，如第一透鏡單元1011與第二透鏡單元1012，以及光學層1013的光學特性，以及顯示面板的位置，演算出對應的相關單元影像的顯示內容。

在一實施例中，立體影像數據的產生方法根據原始立體影像資訊與參考影像之間建立一座標轉換函式，演算法可根據硬體的特性，如各光學元件各透鏡單元與顯示面板的物理資訊，加上座標轉換函式，將參考影像演算為對應各光學元件（如各透鏡）的單元影像，對應各透鏡單元的單元影像會因為光線追跡的不同而有位置與大小差異。顯示面板上即可形成對應多光學元件模組中的多個透鏡單元的多個單元影像，這些單元影像形成記錄適應眼睛位置的立體影像1010的集成影像，之後也就可以根據眼睛102位置重現適應眼睛位置的立體影像1010。

圖10中也相應顯示出不同位置的透鏡單元對應到不同位置、大小與內容的單元影像，並且，當改變眼睛102的位置，因為光線追跡的結果改變，演算得出的單元影像與最終的集成影像也會不同。

根據上述根據眼球位置產生立體影像顯示的內容，可知立體影像互動模擬系統中偵測眼球位置可以採用眼球追跡技術，通過眼球追跡取得使用者觀看立體影像時的視覺參數，包括眼球的立體座標、視角範圍與移動速度，再結合上述手勢與觸感裝置的感測形成的操作軌跡可分別取得手部以及觸感裝置的輪廓，做為計算出渲染立體影像內容的最佳參數，其中將參考觀看範圍與視角、物件相對位置、物件移動速度、物件相互作用結果等。

如此，圖10顯示眼球追跡技術的實施例流程，在進行眼球追跡的過程中，需要先取得眼球部位的深度資訊（步驟S101），根據偵測眼球的結果演算眼球立體座標（步驟S103），還能根據眼球軌跡的幾何特性10修正眼球立體座標（步驟S105），同時參考儲存於系統的眼球的立體座標的歷史資料（步驟S109）。其中，因為眼球軌跡的幾何特性具有穩定性，不會隨便移動，以及移動速度有一定的限度，因此可以規範追跡的結果。在上述步驟S109中，能夠基於已知的眼球軌跡幾何特性，以及系統保留的眼球立體座標的歷史資訊，進行眼部座標的修正。之後得出眼球追跡結果（步驟S107），眼球追跡的結果也形成眼球座標的歷史資料（步驟S109），成為下一次追跡的參考資料。

綜上所述，根據上述立體影像模擬教學系統與其運作方法的實施例，系統主要提出立體影像顯示器，可為獨立而內建控制模組的裝置，或通過外部連線連接一控制主機，用以儲存、演算並顯示立體影像數據，並可設有手勢感測器或各種觸感裝置，實現模擬操作特定物件的目的，如模擬教學。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

100:立體影像顯示器 101:手勢感測器 103:眼球偵測器 105, 107, 109:觸感裝置 110:立體影像 111:註解 150:眼球 120:控制主機 121:處理器 123:儲存器 125:傳輸介面 127:網路介面 130:雲端伺服器 200:立體影像顯示器 205:感測器 201:第一觸感裝置 202:第二觸感裝置 203:第一手持裝置 204:第二手持裝置 210:顯示面板 20:顯示器結構 211:背光模組 212:液晶顯示面板 213:透鏡陣列層 214:光學層 30:控制主機 301:互動處理模組 303:互動指令模組 305:觸感處理模組 307:聲音處理模組 309:風險處理模組 310:行為追蹤模組 311:眼球偵測單元 313:手勢感測單元 315:觸感裝置追蹤單元 317:聲音接收單元 300:影像資料庫 320:顯示單元 330:註解單元 340:立體影像掃描器 70:立體影像顯示面板 700:立體影像顯示區 710:觸感裝置區 720:功能按鈕區 730:手勢感測器 740:眼球偵測器 750:時間顯示區 760:立體影像顯示區 80:手部 801-812:手勢感測點 82:觸感裝置 821, 823:觸感裝置感測點 90:受操作物件 91:觸感裝置一 901:操作軌跡一 92:觸感裝置二 902:操作軌跡二 102:眼睛 1000:顯示面板 1011:第一透鏡單元 1012:第二透鏡單元 1013:光學層 1001:第一單元影像 1002:第二單元影像 1010:立體影像 1021:第一可視範圍 1022:第二可視範圍 1023:第三可視範圍 10:眼球軌跡的幾何特性 步驟S401～S419:立體影像互動模擬系統運作流程 步驟S501～S507:建立風險資訊的流程 步驟S601～S611:建立模擬學習影片的流程 步驟S101～S109:眼球追跡流程

圖1顯示立體影像互動模擬系統的實施例示意圖；

圖2顯示立體影像顯示器的實施例示意圖；

圖3顯示以硬體與軟體協同作業實現立體影像互動模擬系統的實施例示意圖；

圖4顯示立體影像互動模擬系統的運作實施例流程圖；

圖5顯示在立體影像互動模擬系統中建立風險資訊的實施例流程圖；

圖6顯示在立體影像互動模擬系統中建立模擬學習影片的實施例流程圖；

圖7顯示立體影像互動模擬系統中立體影像顯示器的實施例示意圖；

圖8顯示立體影像互動模擬系統中感測手勢與觸感裝置的實施例示意圖；

圖9顯示立體影像互動模擬系統中得出操作軌跡的實施例示意圖；

圖10顯示眼球追跡的實施例示意圖；以及

圖11顯示眼球追跡的實施例流程圖。

100:立體影像顯示器

101:手勢感測器

103:眼球偵測器

105,107,109:觸感裝置

110:立體影像

111:註解

150:眼球

120:控制主機

121:處理器

123:儲存器

125:傳輸介面

127:網路介面

130:雲端伺服器

Claims (18)

1. 一種立體影像互動模擬系統，包括： 一立體影像顯示器，用以顯示一立體影像，並設有一互動感測器，用以感測一使用者的手勢或是操作一觸感裝置產生的動作；以及 一控制主機，內建或外部連接該立體影像顯示器，用以解釋該使用者的手勢或操作該觸感裝置形成的動作以得出運行在該立體影像上的一互動指令； 其中，於該立體影像互動模擬系統運作時，通過該立體影像顯示器顯示該立體影像，通過該互動感測器感測該使用者操作該立體影像的手勢或是感測該觸感裝置的動作產生感測數據，判斷該手勢或操作該觸感裝置的動作的座標變化，以根據座標變化形成一操作軌跡，進而判斷一互動指令，接著根據該互動指令更新該立體影像。
2. 如請求項1所述的立體影像互動模擬系統，其中該互動感測器包括一手勢感測器，用以感測該使用者手勢或操作該觸感裝置的動作，該手勢感測器形成的感測數據為立體座標變化量，通過該控制主機處理後形成該互動指令。
3. 如請求項1所述的立體影像互動模擬系統，其中該觸感裝置中內建一動作感測器，該動作感測器產生的感測數據為該觸感裝置在一立體空間內的立體座標變化量，再通過該控制主機處理後形成該互動指令。
4. 如請求項1所述的立體影像互動模擬系統，其中該互動感測器包括一眼球偵測器，於感測該使用者的手勢或是該觸感裝置產生的動作時，同時偵測使用者的眼球位置，使得該立體影像顯示器根據該眼球位置即時更新該立體影像。
5. 如請求項4所述的立體影像互動模擬系統，其中該眼球偵測器可以開啟或關閉，當開啟後開始偵測使用者的眼球位置，使得該立體影像顯示器根據該眼球位置即時更新該立體影像，並獲得相對於關閉該眼球偵測器而未偵測眼球時更高解析度的立體影像。
6. 如請求項1至5中任一項所述的立體影像互動模擬系統，其中，於該立體影像互動模擬系統運作中，根據該互動指令，該控制主機即時查詢一影像資料庫取得反映各種互動指令的立體影像數據，以通過該立體影像顯示器顯示更新的該立體影像。
7. 如請求項6所述的立體影像互動模擬系統，其中該互動指令包括運行在該立體影像上的縮小、放大、移動與旋轉的指令，或包括利用該觸感裝置產生的切開、刺入、拉開、剪斷的指令。
8. 如請求項6所述的立體影像互動模擬系統，其中該影像資料庫記載該立體影像數據與一註解的關聯性，包括該註解的內容與一空間位置。
9. 如請求項6所述的立體影像互動模擬系統，其中該影像資料庫儲存該立體影像數據、立體影像的屬性與風險資訊。
10. 一種立體影像互動模擬系統的運作方法，包括： 以一立體影像顯示器顯示一立體影像； 以一互動感測器感測一使用者操作該立體影像的手勢或是感測該使用者操作一觸感裝置的動作，以產生感測數據； 判斷該手勢或操作該觸感裝置的動作的座標變化，以根據座標變化形成一操作軌跡； 根據該操作軌跡判斷一互動指令；以及 根據該互動指令更新該立體影像。
11. 如請求項10所述的立體影像互動模擬系統的運作方法，其中，於感測該使用者的手勢或是該觸感裝置產生的動作時，同時偵測使用者的眼球位置，使得該立體影像顯示器根據該眼球位置即時更新該立體影像，並獲得相對於沒有偵測使用者眼球位置時更高解析度的立體影像。
12. 如請求項11所述的立體影像互動模擬系統的運作方法，其中偵測使用者的眼球位置採用一眼球追跡技術，取得該使用者的眼球的立體座標、一視角範圍與一移動速度，再結合該手勢或操作該觸感裝置的動作形成的該操作軌跡以分別取該使用者手部以及該觸感裝置的輪廓，以渲染出該立體影像。
13. 如請求項12所述的立體影像互動模擬系統的運作方法，其中該眼球追跡技術的步驟包括： 取得該眼球的深度資訊； 演算該眼球的立體座標； 根據一眼球軌跡的幾何特性修正該眼球的立體座標；以及 參考該眼球的立體座標的歷史資料得出眼球追跡結果。
14. 如請求項10所述的立體影像互動模擬系統的運作方法，其中，於該使用者在該立體影像上操作手勢或是使用該觸感裝置操作時，根據一事先定義的風險門檻判斷該手勢或使用該觸感裝置操作的動作是否產生風險。
15. 如請求項14所述的立體影像互動模擬系統的運作方法，其中，根據該立體影像顯示的一物件的特定建立一立體模型的屬性，以根據該立體模型的屬性設定該風險門檻。
16. 如請求項10至15中任一項所述的立體影像互動模擬系統的運作方法，其中，於該立體影像互動模擬系統運作中，根據該互動指令，即時查詢一影像資料庫取得反映各種互動指令的立體影像數據，以通過該立體影像顯示器顯示更新的該立體影像。
17. 如請求項16所述的立體影像互動模擬系統的運作方法，其中該互動指令包括運行在該立體影像上的縮小、放大、移動與旋轉的指令，或包括利用該觸感裝置產生的切開、刺入、拉開、剪斷的指令。
18. 如請求項17所述的立體影像互動模擬系統的運作方法，其中該影像資料庫記載該立體影像數據與一註解的關聯性，包括該註解的內容與一空間位置。

Images