TWI700516B - 互動式立體顯示裝置與互動感應方法 - Google Patents

Abstract

一種互動式立體顯示裝置與互動感應方法，在方法中，在立體影像顯示裝置顯示一立體影像時，利用手勢感測器感測到在立體影像上的手勢，如移動、旋轉或縮放動作，可得出對應手勢的立體座標變化量，可以從立體座標變化量判斷一互動指令，接著，可以立體影像顯示裝置本身，或是通過一立體影像服務器，以此互動指令對照立體影像的影像座標資訊，產生一新的立體影像數據，其中描述立體影像的色彩資訊與三維空間資訊，之後在立體影像顯示裝置上以新的立體影像數據顯示新的立體影像。如此，可達到以手勢與立體影像互動的效果。

Description

互動式立體顯示裝置與互動感應方法

本發明關於一種立體顯示裝置，特別是指可通過顯示的立體影像進行互動的互動式立體顯示裝置與其互動感應方法。

一般已知的立體顯示裝置所採用的技術多半是利用人類雙眼視差在腦中組合成具有深度的立體影像的方式，通過顯示器顯示的影像即設計成兩張有差異的畫面，當使用者使用特定裝置，如紅藍眼鏡、偏光眼鏡或是快門眼鏡，甚至是一種頭戴式顯示器，就可以將顯示器顯示的兩張有差異的畫面分別投射到雙眼，之後再於腦中組合成立體影像。

另有裸視立體顯示的技術，通過光學元件（透鏡、光柵）的設計，可將顯示器中影像分別直接投射在人的雙眼上，使得在無須特殊裝置的情況下直接感受到立體影像。

在各式立體顯示技術中，都仍是顯示的技術，並未提出讓使用者可以直接操作立體影像的互動技術，主要原因是，常見的立體影像顯示技術都是在腦中組合的虛像，無法直接與影像產生互動。

揭露書公開一種互動式立體顯示裝置與互動感應方法，提供使用者可以用手勢在用立體影像顯示裝置所顯示的立體影像上進行互動，讓使用者以手勢執行移動、旋轉或縮放動作，通過轉換，可從手勢得到立體座標變化量，能據此判斷互動指令，並對應形成新的立體影像，達到以手勢與立體影像互動的效果。

根據一實施例，在互動式立體顯示裝置的互動感應方法中，使用立體影像顯示裝置根據一立體影像數據顯示一立體影像，這時，以一手勢感測器感測手勢，並得出對應手勢的座標變化量，這個座標變化量用以判斷一互動指令。之後，可以此互動指令對照目前顯示的立體影像的影像座標資訊，例如，根據互動指令演算出新的立體影像的影像座標資訊，再經查詢影像資料庫後得出對應新的立體影像數據，可以此新的立體影像數據顯示新的立體影像。

進一步地，提出一立體影像服務器，可根據互動指令提供立體影像數據，提供立體影像顯示裝置顯示立體影像。

根據手勢感測器的實施方式，可以影像偵測、光線遮斷或聲波反射的技術判斷出手勢，手勢可反映出使用者操作時手指、手掌位置與指關節的立體座標的變化，包括移動、旋轉與縮放動作的其中之一或任意組合。

根據互動式立體顯示裝置的實施例，包括有立體影像顯示裝置，能根據立體影像數據顯示立體影像，以及手勢感測器，用以感測手勢，並取得手勢形成的立體座標變化，如此，在裝置中執行的互動感應方法中，利用手勢感測器感測手勢，根據手勢得出的座標變化量，能夠得到互動指令，經對照立體影像的影像座標資訊，產生新的立體影像數據，再顯示出立體影像。

在另一實施例中，所述互動式立體顯示裝置更連結一立體影像服務器，所述立體影像數據可由立體影像服務器提供，並於立體影像服務器接收互動指令時，可根據互動指令經查詢影像料庫後提供新的立體影像數據。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書公開一種互動式立體顯示裝置與互動感應方法，這個技術是提供使用者可以在觀看顯示在立體影像顯示裝置上的立體影像時，還能通過手勢操控其中立體影像，其中主要方法是利用手勢感測器感測到在立體影像上的手勢，如移動、旋轉或縮放動作，再得出對應手勢的立體座標變化量，根據所判斷的互動指令，對應顯示隨著手勢產生的立體影像，提供使用者實現以手勢與立體影像互動的技術目的。需要一提的是，這個立體影像可為一靜態物件的一立體影像，或是動態物件的連續立體影像。

在一應用中，在所述立體影像顯示裝置中的顯示技術可以是一種浮空顯示立體影像的技術，這種技術是由一平面顯示面板顯示多個子影像（單元影像），多個子影像的組成一個完整的影像（集成影像），顯示時，平面顯示面板上顯示的影像通過一層光學元件（如透鏡陣列）顯示，每個子影像會通過對應的透鏡成像，通過多個透鏡可在顯示裝置上形成一個完整的影像，如此，可以產生一個浮空影像的顯示效果。

圖1顯示互動式立體顯示裝置的實施例示意圖。

此例顯示有一立體影像顯示裝置10，如以上描述的實施例，此立體影像顯示裝置10由一層光學元件101與顯示面板102組成，其中具備影像處理器，可以處理顯示內容，並具備通訊能力，可以從外部影像提供來源取得立體影像數據，經影像處理後顯示出立體影像103。

進一步地，立體影像顯示裝置10設有一手勢感測器105，用以感測使用者以手12在立體影像103上的動作。所述手勢感測器105可以一影像偵測手段達成，主要方式是利用照相機取得手12的幾個關鍵部位（如手指、手掌、指關節）的連續畫面，通過影像處理，可以取得在一時間間隔前後的影像變化，主要為每個關鍵部分在手勢感測器座標系的立體座標（如直角座標系表示的X _sensor, Y _sensor, Z _sensor，或球座標系表示的γ, θ, φ），經連續取得後，可以得出立體座標變化量，再轉換成立體影像顯示裝置10座標系的立體座標（X _device, Y _device, Z _device）的變化量，如向量（位移、方向）、速率（距離與時間）等資訊，最後可以判斷出移動、旋轉與縮放動作的其中之一或任意組合的互動指令。

在另一實施例中，手勢感測器105可以採用光線遮斷的原理來感測出手勢，相關技術是先以一光源投射出感測光線，當手12進入這個光線範圍內，可以光感測器偵測出光線被遮斷時在手部產生的光點，再從其中得出每個關鍵部位反射光線的量（反映變化部位）與時間差（反映深度），同樣地，根據連續取得這些光線資訊，可以得出手勢造成的立體座標變化量，再判斷出移動、旋轉與縮放動作的其中之一或任意組合的互動指令。

於再一實施例中，手勢感測器105可以包括聲波產生器與接收器，利用聲波反射的資訊判斷手勢。當手12在手勢感測器105的感測範圍中，會阻斷聲波，同樣地產生反射波，使得聲波接收器可以根據聲波的變化，也就可以偵測到手12的幾個關鍵部位在空間的變化量，進而轉換為立體座標變化量，能夠據此判斷出移動、旋轉與縮放動作的其中之一或任意組合的互動指令。

如此，利用各種感測手勢技術的手勢感測器105所實現的互動感應方法，可以依據手勢所反映出手12的手指、手掌位置與指關節的立體座標的變化，以判斷得出移動、旋轉與縮放動作的其中之一或任意組合的互動指令，之後，經對照影像資料庫中記載的立體影像數據，得出立體影像103在各種手勢操作下的下一個立體影像數據，顯示出下一個立體影像，立體影像數據可以包括一個靜態立體影像，或是連續影像形成的立體影片。當其中感測到變化、座標轉換與立體影像演算等的處理程序可以高速演算，可即時反應手勢產生即時互動的效果。

圖2接著顯示互動式立體顯示裝置的電路實施例圖。

圖中顯示的立體影像顯示裝置20連接手勢感測器22，根據實施例，兩者可整合在一個裝置內，立體影像顯示裝置20與手勢感測器22為兩個內建的模組，或是，立體影像顯示裝置20與手勢感測器22為兩個獨立裝置，再以連線連接，能互相傳遞訊息。

在立體影像顯示裝置20中，設有執行影像處理與所揭露的互動感應方法的影像處理器203，電性連結其他電路元件，如輸入介面201，立體影像顯示裝置20通過輸入介面201自手勢感測器22接收到感測手勢的資訊，輸入介面201為一通訊介面。根據實施例，通過輸入介面201所接收的訊息為手勢感測器22感測到手勢形成的立體座標變化量，使得影像處理器203可以根據立體座標變化量判斷得出的互動指令，再根據互動指令演算出新的立體影像的影像座標資訊。

在影像處理器203中，當取得由手勢感測器22得出的手勢對應的立體座標變化量後，可演算出旋轉、放大、縮放等互動指令，依據這些互動指令，查詢記憶單元206中的影像資料庫，以得出對應變化的立體影像數據，或是以影像處理器203根據互動指令即時演算得出新的立體影像數據，且可為靜態立體影像或連續影像形成的立體影片。其中立體影像數據用於描述以立體影像顯示裝置20顯示立體影像的色彩資訊與三維空間資訊。影像處理器203電性連接顯示驅動單元204，可以根據立體影像數據的描述得出立體影像，通過顯示單元205顯示出來。

立體影像顯示裝置20以有線或無線通訊方式連接手勢感測器22中的介面單元223，這是一個通訊介面，藉此傳遞訊息。手勢感測器22設有感測元件221，實現利用光線、聲波、影像等方式感測手勢的技術，所謂手勢可以為手部的幾個關鍵部位產生的姿勢變化，包括手指、手掌位置、指關節所代表的手勢位置。

控制單元222為手勢感測器22中的控制電路，通過介面單元223連接立體影像顯示裝置20，控制單元222能夠根據感測元件221得到的感測訊息得出手勢反映出的立體座標變化量。

在此一提的是，由手勢感測器22感測到手勢對應的立體座標變化量是為以手勢感測器22的座標系的座標資訊，之後提供給立體影像顯示裝置20時，應執行座標轉換，將互動指令在以手勢感測器22形成的座標系的座標資訊轉換至以立體影像顯示裝置20形成的座標系中，才能繼續對照顯示的立體影像的影像座標資訊。

其中，以立體影像顯示裝置20顯示的立體影像，其中影像的每個位置都是已知，因此可以判斷出手勢經座標轉換後在相同座標系中的相關性，這個相關性表達手勢形成的立體座標與顯示中的立體影像的關係。舉例來說，移動手勢造成立體影像朝某個方向的移動，因此立體影像的立體座標應加入這個方向的變化量，因此在新的位置重新得出新的立體影像，在影像處理器203中，即時查詢或是即時演算出一個新的立體影像數據，提供給顯示驅動單元204形成顯示影像。若為旋轉手勢，將造成立體影像朝一個方向旋轉，因此原本立體影像的立體座標應加入旋轉變化量，也就形成新的立體影像數據，用以顯示新的立體影像數據。同理，若為縮放手勢，將立體影像在相同參考點位置上的大小變化，該相關的立體座標也隨著變化，影像處理器203查詢影像資料庫或即時演算，產生新的立體影像數據，提供給顯示驅動單元204形成顯示影像。

上述移動、旋轉與縮放等手勢可以任意組合，形成互動指令，再由影像處理器203運算產生新的立體影像數據，立體影像數據為提供立體影像顯示裝置20直接顯示立體影像的數據。

續根據圖3所示互動式立體顯示裝置的另一實施例示意圖，此例顯示互動式立體顯示裝置包括有通過網路30連線的立體影像服務器301，上述立體影像數據可由立體影像服務器301提供，立體影像服務器301設有影像資料庫303，提供查詢得到在各種互動指令對應的立體影像數據。

根據實際運作的方式，當使用者執行互動時，可先查詢目前在立體影像顯示裝置20中儲存的數據是否包括了對應互動指令的下一個顯示樣態，若已經包括新的顯示樣態，則立體影像顯示裝置20可自行運算後產生立體影像數據，並顯示；若並未包括互動產生的下一個顯示樣態，可立即通過網路30向立體影像服務器301發出新立體影像資源檔的請求，以下載新的立體影像數據，顯示出下一個經過互動產生的立體影像。

可參考圖1，當使用者以手12在立體影像顯示裝置10上與立體影像互動時，產生的手勢形成立體座標變化量，並據此得出互動指令，這時，互動指令可通過網路30傳送至立體影像服務器301，由立體影像服務器301根據互動指令提供新的立體影像數據。

接著，如圖4所示，其中流程圖描述以互動式立體顯示裝置執行互動感應方法的實施例。

在步驟S401中，一開始由立體影像顯示裝置顯示立體影像，並讓使用者在此立體影像顯示裝置上進行操作，如步驟S403，立體影像顯示裝置中的手勢感測器將感測到手勢，如步驟S405，可以取得對應手勢的座標變化，再如步驟S407，通過立體影像顯示裝置影像處理器的運算，能根據手勢形成的立體座標變化量，包括特定部位在特定方向產生的移動、旋轉與/或縮放產生的立體座標變化量，判斷出互動指令。

之後，如步驟S409，對照原本顯示的立體影像的影像座標資訊，可以得出本次手勢形成的互動指令所對應新的立體座標資訊，進而得出新的立體影像數據。之後，如步驟S411，通過其中顯示功能顯示新的立體影像。

圖5以另一個流程圖描述互動感應方法的實施例流程。

在此例中，一開始如步驟S501，利用手勢感測器感測到使用者在立體影像顯示裝置顯示的立體影像上的手勢，這時，如步驟S503，可以取得關鍵部位（如手指、指關節、手掌等）的立體座標變化，如步驟S505，立體座標變化為手勢感測器在一個持續時間感測到手勢所造成的，必要時，應由手勢感測器形成的座標系的座標資訊轉換至以立體影像顯示裝置形成的座標系中，使得在相同座標系中，可讓影像處理器得知手勢形成的互動指令與立體影像的相關性。

在步驟S507，從手勢判斷出其中一或多個關鍵部位的立體座標的變化量，可以據此判斷出互動指令，在對照原本顯示的立體影像的影像座標資訊後，演算出新的立體影像的影像座標資訊（步驟S509），之後經查詢影像資料庫，可得出立體影像在各種手勢操作下的下一個立體影像數據（步驟S511），以取得新的立體影像數據（步驟S513），並用於顯示新的立體影像（步驟S515）。

在另一實施例中，除了查詢影像資料庫得出新的立體影像數據外，還可以根據立體影像在各種手勢操作下的變化即時演算得出新的立體影像數據。

圖6接著顯示以互動式立體顯示裝置執行互動感應方法的實施例流程圖，此流程圖描述手勢感測器61、立體影像顯示裝置62與立體影像服務器63之間的互動感應流程。

一開始，如步驟S601，根據使用者的操作，由立體影像顯示裝置62向立體影像服務器63提出立體影像請求，之後，如步驟S603，立體影像服務器63傳送立體影像數據至立體影像顯示裝置62，顯示出立體影像。

接著，如步驟S605，使用者在立體影像顯示裝置62顯示的立體影像上以手勢操作，使得手勢感測器61感測到手勢，如步驟S607，通過立體影像顯示裝置62的影像處理器處理後，得出相對原來顯示的立體影像在立體座標上的變化量，這個變化量形成互動指令，再如步驟S609，傳送互動指令至立體影像服務器63，由立體影像服務器63中的處理程序根據互動指令，對照在原本立體影像的影像座標資訊的變化量，演算出新的立體影像的影像座標資訊，並可經查詢影像資料庫後產生新的立體影像數據，如步驟S611，傳送新的立體影像數據至立體影像顯示裝置62，可以新的立體影像數據顯示新的立體影像。

綜上所述，在應用在互動式立體顯示裝置的互動感應方法中，於立體影像顯示裝置中，通過感測手勢的移動、旋轉與縮放動作，可以產生互動指令，使得在立體影像顯示裝置內，或是在立體影像服務器中，可根據互動指令得出對應一顯示空間的立體座標與向量，得出新的立體影像數據，如此，一旦有連續手勢，即可根據手勢顯示連續變化的立體影像，達成以手勢操作立體影像的互動效果。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

12:手

10:立體影像顯示裝置

101:光學元件

102:顯示面板

103:立體影像

105:手勢感測器

20:立體影像顯示裝置

201:輸入介面

203:影像處理器

204:顯示驅動單元

205:顯示單元

206:記憶單元

22:手勢感測器

221:感測元件

222:控制單元

223:介面單元

30:網路

301:立體影像服務器

303:影像資料庫

61:手勢感測器

62:立體影像顯示裝置

63:立體影像服務器

步驟S401~S411:互動感應流程

步驟S501~S515:互動感應流程

步驟S601~S611:互動感應流程

圖1顯示互動式立體顯示裝置的實施例示意圖；

圖2顯示互動式立體顯示裝置的電路實施例圖；

圖3顯示互動式立體顯示裝置的另一實施例示意圖；

圖4顯示以互動式立體顯示裝置執行互動感應方法的實施例流程圖之一；

圖5顯示以互動式立體顯示裝置執行互動感應方法的實施例流程圖之二；

圖6顯示以互動式立體顯示裝置執行互動感應方法的實施例流程圖之三。

12:手

10:立體影像顯示裝置

101:光學元件

102:顯示面板

103:立體影像

105:手勢感測器

Claims (7)

1. 一種互動式立體顯示裝置的互動感應方法，包括：根據一立體影像數據，以一立體影像顯示裝置顯示一立體影像，其中該立體影像數據由一立體影像服務器提供，該立體影像數據用於描述以該立體影像顯示裝置顯示該立體影像的色彩資訊與三維空間資訊；以一手勢感測器感測一手勢，並得出對應該手勢的一立體座標變化量；根據該立體座標變化量判斷一互動指令；於根據該立體座標變化量判斷出該互動指令時，傳送該互動指令至該立體影像服務器；由該立體影像服務器根據該互動指令，對照該立體影像的影像座標資訊，產生一新的立體影像數據；以及以該新的立體影像數據顯示一新的立體影像。
2. 如請求項1所述的互動感應方法，其中，於該立體影像服務器中，當接收該互動指令時，根據該互動指令演算出該新的立體影像的影像座標資訊，經查詢一影像資料庫後得出對應該新的立體影像數據。
3. 如請求項1所述的互動感應方法，其中該手勢感測器以一影像偵測手段、一光線遮斷手段或一聲波反射手段判斷該手勢。
4. 如請求項3所述的互動感應方法，其中該手勢反映一手的手指、手掌位置與指關節的立體座標的變化，該互動指令指出移動、旋轉與縮放動作的其中之一或任意組合。
5. 如請求項1至4中任一項所述的互動感應方法，其中，於得出該互動指令後，執行一座標轉換，將該互動指令在以該手勢感測器形成的座標系的座標資訊轉換至以該立體影像顯示裝置形成的座標系中。
6. 一種互動式立體顯示裝置，包括：一立體影像顯示裝置，根據一立體影像數據顯示一立體影像，其中該互動式立體顯示裝置連結一立體影像服務器，由該立體影像服務器提供該立體影像數據；以及一手勢感測器，用以感測一手勢，並取得該手勢形成的一立體座標變化量；其中，在該立體影像顯示裝置中，取得該手勢感測器所感測該手勢得出的該立體座標變化量，再根據該立體座標變化量判斷一互動指令，用以對照該立體影像的影像座標資訊，當該立體影像服務器接收該互動指令時，根據該互動指令查詢一影像料庫後提供一新的立體影像數據，再以該新的立體影像數據顯示一新的立體影像。
7. 如請求項6所述的互動式立體顯示裝置，其中該手勢感測器以一影像偵測手段、一光線遮斷手段或一聲波反射手段判斷該手勢，該手勢反映一手的手指、手掌位置與指關節的立體座標的變化，該互動指令指出移動、旋轉與縮放動作的其中之一或任意組合。

Images