TW202325013A - 在立體影像上執行互動的方法與立體影像顯示系統 - Google Patents

Abstract

一種在立體影像上執行互動的方法與立體影像顯示系統，立體影像顯示系統包括一立體影像顯示裝置以及一手勢感測器，在所述方法中，以立體影像顯示裝置顯示立體影像，以手勢感測器感測手勢，得出當下手勢狀態，取得前一時間立體影像的狀態以及前一時間的手勢狀態，根據當下手勢狀態與前一時間的手勢狀態，演算對應手勢的立體座標變化，再根據前一時間立體影像的狀態與對應手勢的立體座標變化得出一新的立體影像數據，即通過立體影像顯示裝置顯示以新的立體影像數據形成的一新的立體影像。

Description

在立體影像上執行互動的方法與立體影像顯示系統

本發明關於一種互動感測技術，特別是指以手勢或任一物件在一立體影像上執行互動的方法與立體影像顯示系統。

一般已知的立體顯示裝置所採用的技術多半是利用人類雙眼視差在腦中組合成具有深度的立體影像的方式，通過顯示器顯示的影像即設計成兩張有差異的畫面，當使用者使用特定裝置，如紅藍眼鏡、偏光眼鏡或是快門眼鏡，甚至是一種頭戴式顯示器，就可以將顯示器顯示的兩張有差異的畫面分別投射到雙眼，之後再於腦中組合成立體影像。

另有裸視立體顯示的技術，通過光學元件（透鏡、光柵）的設計，可將顯示器中影像分別直接投射在人的雙眼上，使得在無須特殊裝置的情況下直接感受到立體影像。

在各式立體顯示技術中，都仍是平面顯示的技術，並未提出讓使用者可以直接操作立體影像的互動技術，主要原因是，常見的立體影像顯示技術都是在腦中組合的虛像，無法直接與影像產生互動。

揭露書公開一種在立體影像上執行互動的方法與系統，提供使用者可以用手勢在用立體影像顯示裝置所顯示的立體影像上進行互動，讓使用者以手勢執行移動、旋轉或縮放動作，通過立體座標轉換，可從手勢得到立體座標變化量，能據此判斷互動指令，參考前一時間的立體影像的狀態，可演算出新的立體影像，達到以手勢與立體影像互動的效果。

根據實施例，所提出的立體影像顯示系統主要元件包括一立體影像顯示裝置與一手勢感測器，手勢感測器可設於立體影像顯示裝置之一側，以建立涵蓋立體影像顯示裝置顯示的立體影像的一有效感測區域，使得手勢可執行於此有效感測區域內。

立體影像顯示系統執行一在立體影像上執行互動的方法，在方法中，根據一立體影像數據，以立體影像顯示裝置顯示一立體影像，以手勢感測器感測手勢，並得出當下手勢狀態，同時可以自一儲存器中取得前一時間立體影像的狀態，以及取得前一時間的手勢狀態，使得可以根據當下手勢狀態與前一時間的手勢狀態演算對應當下手勢的立體座標變化，以及可根據前一時間立體影像的狀態與對應手勢的立體座標變化得出一新的立體影像數據，之後通過立體影像顯示裝置顯示以新的立體影像數據形成的一新的立體影像。

根據實施例，手勢感測器用以取得執行手勢的一身體部位或一指示裝置的影像與深度圖，以根據影像與深度圖演算建立手勢的多個關鍵位置的立體座標，以及根據前一時間的手勢狀態取得對應手勢的立體座標變化。

在實作手勢感測器時，可通過飛行時間偵測技術、聲波偵測技術、雙眼視差偵測技術、結構光偵測技術取得手勢的深度資訊，形成上述的深度圖。

如此，可根據手勢的立體座標變化判斷互動指令，互動指令則可為點擊指令、滑動指令、旋轉指令或縮放指令。

進一步地，根據前一時間立體影像的狀態、手勢的立體座標變化，以及根據手勢的立體座標變化得出的手勢移動資訊，能演算出立體影像在一時間內的位置變化、速度、加速度與尺寸變化，以顯示出變化中的新的立體影像。

在一實施例中，所述立體影像顯示系統還可包括一立體影像服務器，上述立體影像數據即可由立體影像服務器提供，立體影像數據為提供立體影像顯示裝置顯示立體影像的數據，於根據前一時間立體影像的狀態與對應手勢的立體座標變化，從立體影像服務器得出新的立體影像數據。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書公開一種在立體影像上執行互動的方法與立體影像顯示系統，這個技術是提供使用者可以在觀看顯示在立體影像顯示裝置上的立體影像時，還能通過手勢操控其中立體影像，其中主要方法是利用手勢感測器感測到在立體影像上的手勢，如點擊（clicking）、滑動（swiping）、旋轉（circling）或縮放（zooming）動作，再得出對應手勢的立體座標變化量，根據所判斷的互動指令，對應顯示隨著手勢產生的立體影像，提供使用者實現以手勢與立體影像互動的技術目的。需要一提的是，這個立體影像可為一靜態物件的一立體影像，或是動態物件的連續立體影像，而反映手勢新形成的立體影像可以是一個靜態影像，亦可以是根據一個手勢演算形成移動中的立體影像。

在一應用中，在所述立體影像顯示裝置中的顯示技術可以是一種浮空顯示立體影像的技術，這種技術是由一平面顯示面板顯示多個子影像（單元影像），多個子影像的組成一個完整的影像（集成影像），顯示時，平面顯示面板上顯示的影像通過一層光學元件（如透鏡陣列）顯示，每個子影像會通過對應的透鏡成像，通過多個透鏡可在顯示裝置上形成一個完整的影像，如此，可以產生一個浮空影像的顯示效果。

圖1顯示立體影像顯示系統的實施例示意圖。

此例顯示有一立體影像顯示裝置10，如以上描述的實施例，此立體影像顯示裝置10由一層光學元件101與顯示面板102組成，其中具備影像處理器，可以處理顯示內容，並具備通訊能力，可以從外部影像提供來源取得立體影像數據，經影像處理後顯示出立體影像103。

進一步地，立體影像顯示裝置10設有一手勢感測器105（此圖例顯示的手勢感測器105的位置並非用於限制本發明實施方式），用以感測使用者以手12在立體影像103上的動作。

所述手勢感測器105可以一影像偵測手段達成，主要方式是利用照相機取得手12的幾個關鍵部位（如手指、手掌、指關節）的連續畫面，通過影像處理，可以取得在一時間間隔前後的影像變化，主要為每個關鍵部分在手勢感測器座標系的立體座標（如直角座標系表示的X _sensor, Y _sensor, Z _sensor，或球座標系表示的γ, θ, φ），經連續取得後，可以得出立體座標變化量，再轉換成立體影像顯示裝置10座標系的立體座標（X _device, Y _device, Z _device）的變化量，如向量（位移、方向）、速率（距離與時間）等資訊，最後可以判斷出點擊、滑動、旋轉或縮放的其中之一或任意組合的互動指令。

其中實施方式可參考圖6顯示在立體影像上執行互動的方法中取得手部關鍵位置變化的實施例圖。

一開始，如圖中顯示手部60上根據需求設定有多個關鍵位置601，關鍵位置601的位置與數量可以依據實際需求而定，若立體影像顯示系統中採用的電腦系統有強大的算力，可以處理更多的關鍵位置601數量而提升手勢細節的判斷能力，可以處理更細微的手勢變化。關鍵位置601的位置可以參考系統需要判斷出手部60（或特定物件）的手勢，如點擊、滑動、旋轉、縮放等手勢。

之後可通過手勢感測器取得手部60中的多個關鍵位置601在立體座標系中的空間位置，以取得判斷手勢的資訊，例如圖例顯示利用多個手部60的關鍵位置601的深度資訊建立的深度圖62，或加上彩色、灰階或二值化的影像64，藉以得出手部60中多個關鍵位置601’的當下狀態，再根據前一時間的手勢狀態，即前一時間得出的關鍵部位的多點位置，以及當下生成的深度圖62與影像64，演算出手勢變化。舉例來說，可根據手勢判斷可指出對應手指、手掌與關節或其他（如其他工具：觸控筆、物件等）在空間的多點位置的立體座標，可演算出前後時間的手勢變化。例如可以判斷出位置變化的手勢、點選的手勢、滑動手勢、旋轉手勢、縮放手勢。

相關手勢可參考圖9至圖12接著顯示在立體影像上執行互動的方法中操作手勢的實施例圖，其中，圖9顯示點擊手勢的動作示意圖，圖10顯示滑動手勢的動作示意圖，圖11顯示旋轉手勢的動作示意圖，而圖12顯示縮放手勢的動作示意圖。

除了以手執行手勢外，還可以其他物件執行手勢，如圖7顯示在立體影像上執行互動的方法中取得手持工具座標變化的實施例圖，此例顯示使用者手持一手持工具70，同樣可以在浮空的立體影像上執行互動，通過以上描述的飛行時間演算的偵測技術、聲波偵測技術、雙眼視差偵測技術或結構光偵測技術感測到此手持工具70上多個關鍵位置的深度資訊，得出一時間內的立體座標變化，判斷出手勢。

圖8則顯示另一取得手持工具座標變化的實施例圖，此例顯示使用者手持一較小的手持工具80，同樣可通過手勢感測器得出手持工具80在一時間內的立體座標變化，可判斷出手勢。

在另一實施例中，手勢感測器105可以採用光線遮斷的原理來感測出手勢，相關技術是先以一光源投射出感測光線，當手12進入這個光線範圍內，可以光感測器偵測出光線被遮斷時在手部產生的光點，再從其中得出每個關鍵部位反射光線的量（反映變化部位）與時間差（反映深度），同樣地，根據連續取得這些光線資訊，可以得出手勢造成的立體座標變化量，再判斷出移動、旋轉與縮放動作的其中之一或任意組合的互動指令。

所述光線遮斷的感測實施方式可參考圖14所示以影像偵測方式感測手勢的實施例圖。圖中顯示在立體影像顯示裝置10的一側顯示的光線感測器14，用以感測操作手勢的手141，利用光線感測手勢而產生的感測數據通過一處理單元140處理，能以根據前一手勢狀態與當下感測的手勢之間的變化演算出新的立體影像。根據實施例之一，光線感測器14可設有一可見光或不可見光的光發射器，較佳可以紅外光發射器實作，再設有一感測此頻段光線的光感測器，用以接收自手141或特定物件反射的光線，也就是被手141或物件遮斷而反射的光線，利用反射時間差計算手141上多個關鍵部位的深度資訊。

於再一實施例中，手勢感測器105可以包括聲波產生器與接收器，利用聲波反射的資訊判斷手勢。當手12在手勢感測器105的感測範圍中，會阻斷聲波，同樣地產生反射波，使得聲波接收器可以根據聲波的變化，也就可以偵測到手12的幾個關鍵部位在空間的變化量，進而轉換為立體座標變化量，能夠據此判斷出點擊、滑動、旋轉或縮放動作的其中之一或任意組合的互動指令。

所述利用聲波感測判斷手勢的實施方式可參考圖15顯示的實施例圖，其中顯示設於立體影像顯示裝置一側的聲波感測器15，設有聲波發射器，可以在一有效感測區域內發射一聲波，實施例可以超音波或示雷達波實作。操作於有效感測區域內的手151或是任一物件反射聲波，再由聲波感測器15中感測器接收後，產生感測數據，通過處理單元150演算，利用手151的多個關鍵部位反射的聲波計算各部位時間差，可以據此演算出各關鍵部位的深度資訊，藉此判斷手勢。

另有感測手勢的實施方式如圖16所示以兩個影像感測器建立執行手勢的手163或是特定物件的影像視差（parallax），藉此演算手163或特定物件上關鍵部位的深度資訊。在圖中顯示的實施範例中，在立體影像顯示裝置附件設有具有相距一個距離的第一影像感測器161與第二影像感測器162，分別取得手163的影像，同一時間的兩張手163的影像具有一視差，通過處理單元160的處理，可以根據手163中多個關鍵部位的影像視差演算深度資訊，如此，可以演算出以手163（或特定物件）操作的手勢。

圖17顯示一種利用結構光感測手勢的實施例圖，此例顯示設於立體影像顯示裝置附近的結構光發射器171與結構光感測器172，用以建立一有效感測區域。其中結構光發射器171在此有效感測區域發射一具有特定圖案（如平行線、網狀或其他圖案）的結構光，照向手173（或特定物件），以結構光感測器172感測手173反射結構光後形成的反射光，反射光本身也具備一結構，於是，後端的處理單元170可根據反射結構光的變化演算出手173反射結構光形成的一立體曲面，可以根據此立體曲面演算得出手勢。

如此，利用各種感測手勢技術的手勢感測器105所實現的互動感應方法，可以依據手勢所反映出手12的手指、手掌位置與指關節的立體座標的變化，以判斷得出移動、旋轉與縮放動作的其中之一或任意組合的互動指令，之後，經對照影像資料庫中記載的立體影像數據，得出立體影像103在各種手勢操作下的下一個立體影像數據，顯示出下一個立體影像，立體影像數據可以包括一個靜態立體影像，或是連續影像形成的立體影片。當其中感測到變化、座標轉換與立體影像演算等的處理程序可以高速演算，可即時反應手勢產生即時互動的效果。

圖2接著顯示立體影像顯示系統的電路實施例圖。

圖中顯示的立體影像顯示裝置20可以通過特定連線或是結構連接手勢感測器22，根據實施例之一，兩者可整合在一個裝置內，立體影像顯示裝置20與手勢感測器22為兩個內建的模組，兩者電性連接；或是，立體影像顯示裝置20與手勢感測器22為兩個獨立裝置，再以有線或無線連線連接，能互相傳遞訊息；根據再一實施例，如圖2所示，還可提出一立體影像服務器24，立體影像顯示裝置20與手勢感測器22分別通過網路或特定連線方式連接立體影像服務器24，由立體影像服務器24處理手勢感測器22產生的手勢變化資訊，如在立體空間中的變化量，在立體影像服務器24中形成推送至立體影像顯示裝置20顯示立體影像的數據。

在立體影像顯示裝置20中，設有執行影像處理與所揭露的互動感應方法的影像處理器203，電性連結其他電路元件，如輸入介面201，輸入介面201為一通訊介面，通過網路或特定方式連線立體影像服務器24，使得立體影像顯示裝置20可通過輸入介面201自立體影像服務器24接收要顯示的立體影像的立體影像數據。而立體影像服務器24提供的立體影像數據主要是根據手勢感測器22所感測的手勢所轉換得出的互動指令所產生。根據實施例，立體影像服務器24自手勢感測器22接收的訊息是感測到手勢形成的立體座標變化量，使得立體影像服務器24可以根據立體座標變化量演算得出互動指令，再根據互動指令演算出新的立體影像的影像座標資訊。

在立體影像服務器24中，當取得由手勢感測器22得出的手勢對應的立體座標變化量後，可演算出點擊、旋轉、滑動、縮放等互動指令，依據這些互動指令，查詢立體影像服務器24中的影像資料庫，以得出對應變化的立體影像數據，或是可以通過立體影像服務器24中的處理器根據互動指令即時演算得出新的立體影像數據，且可為靜態立體影像或連續影像形成的立體影片。其中提供給立體影像顯示裝置20的立體影像數據用於描述以立體影像顯示裝置20顯示立體影像的色彩資訊與三維空間資訊。影像處理器203電性連接顯示驅動單元204，可以根據立體影像數據的描述得出立體影像，通過顯示單元205顯示出來。

手勢感測器22設有感測元件221，實現利用光線、聲波、影像等方式感測手勢的技術，所謂手勢可以為手部的幾個關鍵部位產生的姿勢變化，包括手指、手掌位置、指關節所代表的手勢位置。

控制單元222為手勢感測器22中的控制電路，通過介面單元223連接立體影像顯示裝置20，控制單元222能夠根據感測元件221得到的感測訊息得出手勢反映出的立體座標變化量。

在此一提的是，由手勢感測器22感測到手勢對應的立體座標變化量是為以手勢感測器22的座標系的座標資訊，之後提供給立體影像服務器24執行座標轉換，演算出互動指令，通過立體影像服務器24時，將互動指令在以手勢感測器22形成的座標系的座標資訊轉換至以立體影像顯示裝置20形成的座標系中，才能繼續對照顯示的立體影像的影像座標資訊。若在另一實施例中，立體影像顯示裝置20可通過輸入介面201以有線或無線通訊方式連接手勢感測器22中的介面單元223，這是輸入介面201是一個通訊介面，藉此傳遞來往訊息，立體影像顯示裝置20可根據手勢演算出立體影像數據，再通過顯示單元205顯示出來。

其中，以立體影像顯示裝置20顯示的立體影像，其中影像的每個位置都是已知，當回饋給立體影像服務器24，使得立體影像服務器24可以判斷出手勢經座標轉換後在相同座標系中的相關性，這個相關性表達手勢形成的立體座標與顯示中的立體影像的關係。舉例來說，滑動手勢造成立體影像朝某個方向的移動，因此立體影像的立體座標應加入這個方向的變化量，因此在新的位置重新得出新的立體影像，在立體影像服務器24（或直接在立體影像顯示裝置20中的影像處理器203）中，即時查詢或是即時演算出一個新的立體影像數據，提供給立體影像顯示裝置20的顯示驅動單元204形成顯示影像。若為旋轉手勢，將造成立體影像朝一個方向旋轉，因此原本立體影像的立體座標應加入旋轉變化量，也就形成新的立體影像數據，用以顯示新的立體影像數據。同理，若為縮放手勢，將立體影像在相同參考點位置上的大小變化，該相關的立體座標也隨著變化，影像處理器203查詢影像資料庫或即時演算，產生新的立體影像數據，提供給顯示驅動單元204形成顯示影像。

上述滑動、旋轉或縮放等手勢可以任意組合，形成互動指令，再由立體影像服務器24（或立體影像顯示裝置20的影像處理器203）運算產生新的立體影像數據，立體影像數據為提供立體影像顯示裝置20直接顯示立體影像的數據。進一步地，為了反映當下的手勢，在立體影像服務器24中或是立體影像顯示裝置20的影像處理器203中，可參考前一時間的手勢狀態，藉此決定移動中的多筆連續立體影像數據，據此顯示動態立體影像。

續根據圖3所示立體影像顯示系統的另一實施例示意圖，此例顯示互動式立體顯示裝置包括有通過網路30連線的立體影像服務器301，上述立體影像數據可由立體影像服務器301提供，立體影像服務器301設有影像資料庫303，提供查詢得到在各種互動指令對應的立體影像數據。

根據實際運作的方式，當使用者執行互動時，可先查詢目前在立體影像顯示裝置20中儲存的數據是否包括了對應互動指令的下一個顯示樣態，若已經包括新的顯示樣態，則立體影像顯示裝置20可自行運算後產生立體影像數據，並顯示；若並未包括互動產生的下一個顯示樣態，可立即通過網路30向立體影像服務器301發出新立體影像資源檔的請求，以下載新的立體影像數據，顯示出下一個經過互動產生的立體影像。

可參考圖1，當使用者以手12在立體影像顯示裝置10上與立體影像互動時，產生的手勢形成立體座標變化量，並據此得出互動指令，這時，互動指令可通過網路30傳送至立體影像服務器301，由立體影像服務器301根據互動指令提供新的立體影像數據。

通過上述實施例所描述的立體影像顯示系統執行在立體影像上執行互動的方法，實施例之一可參考圖4顯示的流程圖。

根據一立體影像數據，系統可通過立體影像顯示裝置顯示一立體影像，特別是如以圖1描述的實施例顯示的浮空立體影像（步驟S401），使得使用者可以手部或是其他物件直覺地以顯示出的立體實像上執行手勢，當在浮空立體影像上操作手勢時，通過手勢感測器感測手勢，取得當下手勢狀態（步驟S403）。在一實施例中，影像可以直接在手部或物件上顯示遮蔽光線的影像，因此立體影像顯示系統可以通過影像感測器取得手勢影像，進而判斷手勢形成的互動指令。立體影像顯示系統將通過如圖14至17所示手勢感測器實施例（實際實施時並不排除其他感測方式）感測手勢，而取得執行手勢的手部或其他物件的深度資訊，即反映出當下手勢狀態。

根據實施例，立體影像顯示系統提出任一形式的一儲存器，用以儲存前一時間的手勢狀態，即前一時間的手勢的多個關鍵位置的立體座標與移動資訊，以及前一時間該立體影像的狀態，即儲存於儲存器中前一時間的該立體影像的立體座標與移動資訊。如此，立體影像顯示系統可在感測到手勢時，自儲存器取得前一時間立體影像的狀態，如記載於系統中特定儲存器中前一時間立體影像的立體座標，其中反映出前一時間的位置、速度、加速度、姿態與尺寸等（步驟S405），並也取得前一時間的手勢狀態，指的是系統在前一時間所判斷的手勢的位置、速度資訊與尺寸（步驟S407）。之後，立體影像顯示系統中的軟體程序可根據前後時間的手勢狀態演算對應手勢的立體座標變化（stereo coordinate variations），以判斷出手勢，即可據此得出互動指令（interactive instruction），如點擊、滑動、旋轉或縮放等（步驟S409）。

根據手勢，立體影像顯示系統中的軟體程序可根據前一時間立體影像的狀態與手勢變化演算出新的立體影像（立體影像的立體座標），這步驟可以通過查詢影像資料庫得出立體影像數據，進而演算出新的立體影像（步驟S411），並以立體影向顯示裝置顯示以新的立體影像數據形成的一新的立體影像（步驟S413）。

圖5顯示在立體影像上執行互動的方法的另一實施例流程圖。

同樣的，先通過立體影像顯示裝置顯示立體影像（步驟S501），通過手勢感測器取得當下手勢的狀態（步驟S503），此時，立體影像顯示系統取得前一時間立體影像的狀態（步驟S505），以及前一時間的手勢狀態，即前一時間執行手勢的立體座標位置（步驟S507），使得立體影像顯示系統中的軟體程序可以演算出使用者的手部或特定物件在一時間內的立體座標的變化（步驟S509），此變化可以反映出手勢的位置變化、速度、加速度、尺寸變化等移動資訊，這些變化形成一個互動指令，可以是點擊、滑動、旋轉或縮放。

接著，通過立體影像顯示系統中的軟體程序可根據前一時間立體影像的狀態、手勢的立體座標變化，以及根據手勢的立體座標變化得出的手勢移動資訊演算出立體影像的變化（步驟S511），手勢可以得出對應點擊、滑動、旋轉或縮放手勢，系統將演算出對應手勢的連續立體影像的位置變化、速度、加速度與尺寸變化（步驟S513），以通過立體影像顯示裝置顯示出變化中的新的立體影像（步驟S515）。

在圖14至17顯示的手勢感測器的實施範例，手勢感測器為通過以影像感測器執行飛行時間（time of flight，TOF）演算的偵測技術，或以聲波偵測技術、雙眼視差偵測技術、結構光（structured light）偵測技術或其他深度感應方法（depth sensing methods）取得手勢的深度資訊，形成如圖6顯示的深度圖。在圖6顯示的實施範例中，可知手勢感測器可用以取得執行手勢的手（或其他身體部位）或指示裝置的影像64與深度圖62，以根據影像64與深度圖62演算建立手勢的多個關鍵位置601’的立體座標，以及根據前一時間的手勢狀態取得對應手勢的立體座標變化。

根據上述實施例可之，立體影像顯示系統通過手勢的立體座標變化判斷互動指令，互動指令可以是一點擊指令、一滑動指令、一旋轉指令或一縮放指令，之後根據這些指令查詢資料庫或可即時演算出新的立體影像數據，再通過立體影像顯示裝置顯示以新的立體影像數據形成的新的立體影像。還可根據前後時間的立體影像的狀態與前後時間的手勢立體座標變化得出的手勢移動資訊，以演算出立體影像在一時間內的位置變化、速度、加速度與尺寸變化，這時，所顯示的影像為變化中的新的立體影像。

相關實施例可參考圖13所示利用手部變化造成立體影像變化的實施例圖，圖中顯示根據前一時間的手勢狀態，顯示出使用者以手13操作連續變化的手勢，立體影像顯示系統中軟體程序將根據前後時間手勢狀態得出手13的移動資訊，因此演算出對應此移動資訊的連續變化的立體影像，此例顯示為球131, 131’ , 131”在一時間內的變化。

針對以上實施例所提到，立體影像顯示系統通過設於立體影像顯示裝置附近的手勢感測器建立有效感測區域（available sensing zone），實施例可參考圖18，圖中顯示有一立體影像顯示裝置18，顯示一立體影像185，設於一側的手勢感測器181根據與立體影像顯示裝置18的相對位置建立一有效感測區域180，以能有效感測手183的位置與動作，同時，有效感測區域180也是提供使用者可以執行手勢的參考區域。

另一實施例如圖19所示的有效感測區域的實施例圖，圖中顯示在立體影像顯示裝置18上顯示一立體影像185，顯示立體影像185的區域即構成一有效感測區域190，成為設置手勢感測器191, 192位置的參考，用以有效感測手183在立體影像185上執行的手勢。

圖20接著以另一方式表示立體影像顯示系統中建立有效感測區域的實施例，此例顯示在立體影像顯示裝置20的一側設有手勢感測器208，具有一感測範圍209，依照影像顯示裝置20顯示立體影像210的範圍，建立涵蓋立體影像541的有效感測區域200，使用者操作手勢時應執行於此有效感測區域200內。

根據實施例，立體影像顯示系統還可設有一立體影像服務器，所述立體影像數據可由立體影像服務器提供，立體影像數據為提供立體影像顯示裝置顯示立體影像的數據，因此，當系統根據前一時間立體影像的狀態與對應手勢的立體座標變化產生新的立體影像時，需由立體影像服務器得出新的立體影像數據，實施例可參考圖21。

圖21顯示在立體影像上執行互動的方法運行於手勢感測器、立體影像顯示裝置與立體影像服務器之間的實施例流程圖，此流程圖描述立體影像服務器211、立體影像顯示裝置212與手勢感測器213之間的互動感應流程。

一開始，在此實施例中，使用者於立體影像顯示裝置212上操作手勢，由立體影像服務器211定時觸發手勢感測器213以感測手勢（步驟S211），並向立體影像顯示裝置212送出顯示立體影像請求（步驟S212）。接著由手勢感測器213感測到手勢，除形成反映手勢的立體座標數據外，還觸發產生一立體影像請求，送出至立體影像服務器211，以取得立體影像數據（步驟S213）。

當立體影像服務器211接收到反映手勢的立體座標數據時，立體影像服務器211即被觸發得出前一時間的立體影像的狀態，並取得前一時間的手勢狀態（步驟S214），這可以是當下已經在立體影像顯示裝置212顯示的立體影像，再根據手勢感測器213傳送的手勢，對照前一時間的手勢狀態，執行估算手勢的演算法，以能根據手勢狀態估算出手勢（步驟S215）。

接著於立體影像服務器211中演算手勢造成的立體座標變化量（步驟S216），對照在之前手勢狀態的立體座標數據，以能估測出互動指令（步驟S217），例如是點擊、滑動、旋轉或是縮放指令，根據前一時間立體影像狀態與對應手勢形成的立體座標變化量，通過查詢或是即時演算產生新的立體影像數據，傳送立體影像數據至立體影像顯示裝置212（步驟S218），顯示出立體影像。

綜上所述，根據以上實施例所描述在立體影像上執行互動的方法以及立體影像顯示系統，所提出的方法讓使用者可以直接在一立體影像上操作手勢，產生互動指令，讓系統可以根據前後時間的手勢狀態與前一時間的立體影像狀態，演算出新的立體影像，並顯示出來，如此達成以手勢直接操作立體影像並即時顯示互動後的立體影像，並且能根據手勢變化顯示連續變化的立體影像，達成以手勢操作立體影像的互動效果。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

12:手 10:立體影像顯示裝置 101:光學元件 102:顯示面板 103:立體影像 105:手勢感測器 20:立體影像顯示裝置 201:輸入介面 203:影像處理器 204:顯示驅動單元 205:顯示單元 206:記憶單元 22:手勢感測器 221:感測元件 222:控制單元 223:介面單元 24:立體影像服務器 30:網路 301:立體影像服務器 303:影像資料庫 60:手部 601,601’:關鍵位置 62:深度圖 64:影像 70,80:手持工具 13:手 131,131’,131”:球 141,151,163,173:手 14:光線感測器 140,150,160,170:處理單元 15:聲波感測器 161:第一影像感測器 162:第二影像感測器 171:結構光發射器 172:結構光感測器 185:立體影像 181:手勢感測器 183:手 180:有效感測區域 191,192:手勢感測器 190:有效感測區域 208:手勢感測器 209:感測範圍 200:有效感測區域 210:立體影像 213:手勢感測器 212:立體影像顯示裝置 211:立體影像服務器 步驟S401～S413在立體影像上執行互動的流程之一 步驟S501～S515在立體影像上執行互動的流程之二 步驟S211～S218互動感應流程

圖1顯示立體影像顯示系統的實施例示意圖；

圖2顯示立體影像顯示系統的電路實施例圖；

圖3顯示立體影像顯示系統的另一實施例示意圖；

圖4顯示在立體影像上執行互動的方法實施例之一流程圖；

圖5顯示在立體影像上執行互動的方法實施例之二流程圖；

圖6顯示在立體影像上執行互動的方法中取得手部關鍵位置變化的實施例圖；

圖7顯示在立體影像上執行互動的方法中取得手持工具座標變化的實施例圖之一；

圖8顯示在立體影像上執行互動的方法中取得手持工具座標變化的實施例圖之二；

圖9至圖12顯示在立體影像上執行互動的方法中操作手勢的實施例圖；

圖13顯示利用手部變化造成立體影像變化的實施例圖；

圖14至17顯示多種手勢的感測設備的實施例圖；

圖18至20顯示立體影像顯示系統中建立有效感測區域的實施例圖之三；以及

圖21接著顯示在立體影像上執行互動的方法運行於手勢感測器、立體影像顯示裝置與立體影像服務器之間的實施例流程圖。

S401:顯示立體影像

S403:取得前一時間立體影像的狀態

S405:取得前一時間的手勢狀態

S407:感測手勢，取得當下手勢狀態

S409:演算手勢立體座標的變化

S411:根據前一時間立體影像的狀態與手勢變化演算出新的立體影像

S413:顯示新的立體影像

Claims (15)

1. 一種在立體影像上執行互動的方法，包括： 根據一立體影像數據，以一立體影像顯示裝置顯示一立體影像； 以一手勢感測器感測一手勢，得出一當下手勢狀態； 取得前一時間該立體影像的狀態； 取得前一時間的手勢狀態； 根據該當下手勢狀態與該前一時間的手勢狀態，演算對應該手勢的立體座標變化；以及 根據前一時間該立體影像的狀態與對應該手勢的立體座標變化得出一新的立體影像數據；以及 通過該立體影像顯示裝置顯示以該新的立體影像數據形成的一新的立體影像。
2. 如請求項1所述的在立體影像上執行互動的方法，其中該手勢感測器用以取得執行該手勢的一身體部位或一指示裝置的一影像與一深度圖，以根據該影像與該深度圖演算建立該手勢的多個關鍵位置的立體座標，以及根據該前一時間的手勢狀態取得對應該手勢的立體座標變化。
3. 如請求項2所述的在立體影像上執行互動的方法，其中該手勢感測器為通過一飛行時間偵測技術、一聲波偵測技術、一雙眼視差偵測技術、一結構光偵測技術取得該手勢的深度資訊，形成該深度圖。
4. 如請求項2所述的在立體影像上執行互動的方法，其中根據該手勢的立體座標變化判斷一互動指令，該互動指令為一點擊指令、一滑動指令、一旋轉指令或一縮放指令。
5. 如請求項4所述的在立體影像上執行互動的方法，其中根據前一時間該立體影像的狀態、該手勢的立體座標變化，以及根據該手勢的立體座標變化得出的手勢移動資訊，演算出該立體影像在一時間內的位置變化、一速度、一加速度與一尺寸變化，以顯示出變化中的該新的立體影像。
6. 如請求項1所述的在立體影像上執行互動的方法，其中該前一時間的手勢狀態為儲存於一儲存器中前一時間的手勢的多個關鍵位置的立體座標與移動資訊，該前一時間該立體影像的狀態為儲存於該儲存器中前一時間的該立體影像的立體座標與移動資訊。
7. 如請求項1至6中任一項所述的在立體影像上執行互動的方法，其中，提出一立體影像服務器，當接收到反映該手勢的立體座標數據時，即觸發該立體影像服務器取得前一時間該立體影像的狀態、取得前一時間的手勢狀態、根據該當下手勢狀態與該前一時間的手勢狀態，演算對應該手勢的立體座標變化，以及根據前一時間該立體影像的狀態與對應該手勢的立體座標變化得出該新的立體影像數據。
8. 一種立體影像顯示系統，包括： 一立體影像顯示裝置；以及 一手勢感測器，連接該立體影像顯示裝置； 其中該立體影像顯示系統執行一在立體影像上執行互動的方法，包括： 根據一立體影像數據，以該立體影像顯示裝置顯示一立體影像； 以該手勢感測器感測一手勢，得出一當下手勢狀態； 取得前一時間該立體影像的狀態； 取得前一時間的手勢狀態； 根據該當下手勢狀態與該前一時間的手勢狀態，演算對應該手勢的立體座標變化；以及 根據前一時間該立體影像的狀態與對應該手勢的立體座標變化得出一新的立體影像數據；以及 通過該立體影像顯示裝置顯示以該新的立體影像數據形成的一新的立體影像。
9. 如請求項8所述的立體影像顯示系統，其中該手勢感測器用以取得執行該手勢的一身體部位或一指示裝置的一影像與一深度圖，以根據該影像與該深度圖演算建立該手勢的多個關鍵位置的立體座標，以及根據該前一時間的手勢狀態取得對應該手勢的立體座標變化。
10. 如請求項9所述的立體影像顯示系統，其中該手勢感測器為通過一飛行時間偵測技術、一聲波偵測技術、一雙眼視差偵測技術、一結構光偵測技術取得該手勢的深度資訊，形成該深度圖。
11. 如請求項9所述的立體影像顯示系統，其中根據該手勢的立體座標變化判斷一互動指令，該互動指令為一點擊指令、一滑動指令、一旋轉指令或一縮放指令。
12. 如請求項11所述的立體影像顯示系統，其中根據前一時間該立體影像的狀態、該手勢的立體座標變化，以及根據該手勢的立體座標變化得出的手勢移動資訊，演算出該立體影像在一時間內的位置變化、一速度、一加速度與一尺寸變化，以顯示出變化中的該新的立體影像。
13. 如請求項8所述的立體影像顯示系統，還包括一儲存器，其中該前一時間的手勢狀態為儲存於該儲存器中前一時間的手勢的多個關鍵位置的立體座標與移動資訊，該前一時間該立體影像的狀態為儲存於該儲存器中前一時間的該立體影像的立體座標與移動資訊。
14. 如請求項8所述的立體影像顯示系統，還包括一立體影像服務器，其中該立體影像數據由該立體影像服務器提供，該立體影像數據為提供該立體影像顯示裝置顯示該立體影像的數據，於根據前一時間該立體影像的狀態與對應該手勢的立體座標變化，由該立體影像服務器得出該新的立體影像數據。
15. 如請求項8至14中任一項所述的立體影像顯示系統，其中該手勢感測器設於該立體影像顯示裝置之一側，建立涵蓋該立體影像顯示裝置顯示的該立體影像的一有效感測區域，該手勢執行於該有效感測區域內。

Images