TWI434204B - 應用於三維指向系統之方法 - Google Patents

Description

應用於三維指向系統之方法

本發明係關於三維指向系統，尤指一種運用於一三維指向系統的方法，該方法可決定該三維指向系統中之指向裝置的位置。

指向裝置通常提供使用者輸入與空間狀態相關的資訊至一電腦或一電子裝置。傳統上，指向裝置的類型包含有滑鼠，軌跡球，觸控板等。而為了提供使用者更直覺式的指向裝置，目前的相關技術已開發出藉由照相機為或者是追蹤感測器(tracking sensor)來偵測使用者肢體上的動態，進而將這些動態作為使用者的輸入資訊的三維指向架構。然而這些架構往往伴隨著某些限制，例如：使用者必須處於照相機或者是追蹤感測器之感測範圍內，其肢體動態才能被精準地擷取。再者，這些指向裝置的外觀尺寸也相對較大，且通常須設置於顯示裝置的附近，無疑增加了顯示裝置的體積。

另一方面，這些架構對於使用者所輸入之空間資訊的估算仍缺乏準確性與效率。因此，已知的相關技術中，仍有許多亟待改進之處。

有鑑於此，本發明提供一種運用於一三維指向系統的方法，該方法可決定該三維指向系統中之指向裝置的位置與相關的空間狀態資訊。

依據本發明之一實施例，其係提供一種用於一三維指向系統的方法。該三維指向系統包含有一指向裝置，一顯示面板與一感測陣列，該感測陣列嵌設於該顯示面板中。該方法係用以決定該指向裝置所對應之至少一空間狀態資訊。再者，該方法包含：利用該指向裝置將一指標投射於該顯示面板上形成一投射影像；利用該感測陣列產生包含該投射影像之一感測畫面，其中該感測畫面具有複數個畫素；計算該感測畫面中複數個第一感測區域所分別對應的複數個第一感測值；以及依據該複數個第一感測值，決定出該至少一空間狀態資訊中之一第一維度資訊與一第二維度資訊。

較佳者，該方法另包含有：依據該第一維度資訊與該第二維度資訊以於該感測畫面中建立一第二感測區域；以及調整該第二感測區域的範圍大小，並依據該第二感測區域內的一第二感測值的變化，決定該至少一空間狀態資訊中之一第三維度資訊。

較佳者，該方法另包含有：依據該第一維度資訊與該第二維度資訊以於該感測畫面中決定具有旋轉關係的複數個第三感測區域；產生分別對應於該複數個第三感測區域的複數個第三感測值；以及依據該複數個第三感測值來決定該至少一空間狀態資訊中之一旋轉資訊。

較佳者，該方法另包含：依據該感測畫面中之該投影影像所對應之一幾何比例，決定該至少一空間狀態資訊中之一傾斜資訊。

本發明之概念將於下文中搭配不同實施例與相關圖式來進行說明。其中，於不同圖式中具有相同標號的元件與圖形代表著兩者本質上相同。故，以下內文將會省略重複性的敘述。再者，文中不同實施例中所提及之不同技術特徵，並不侷限於該實施例，事實上，於本發明的合理範疇中，可透過對某個實施例的適當修改，以使其具備其它實施例所特有的技術特徵。

此外，以下的說明為使閱讀者可清晰並毫無窒礙地理解本發明的概念，故透過特定的數值來解釋本發明的細節，但這些數值與這些數值所衍生的對應過程與結果僅代表本發明的一種可能實施態樣，而非本發明的限制。

請參考第1圖，其係為運用本發明方法之三維指向系統的結構示意圖。如圖所示，三維指向系統100包含有指向裝置110與感測陣列120。其中，感測陣列120係嵌設於顯示面板125中，進而形成感測系統。較佳地，感測陣列120大致上構成一平行於顯示面板125之顯示面的平面。指向裝置110會產生一投射光線，用以將其輸出方之一具有特定形狀的指標115投射於顯示面板125上形成一投射影像P。使用上，使用者可握持指向裝置110，並藉由擺動或旋轉指向裝置110來輸入特定的控制資訊，進而於顯示面板125上形成不同的投射影像P。本發明之方法即透過投射影像P來判斷指向裝置110於空間中的位置與狀態(如：傾斜或旋轉)。接著，分析這些相關資訊可解讀出使用者所輸入之控制資訊。

本發明方法可能以軟體或軔體的形式被一處理裝置(未示出)所執行，而該處理裝置依據感測陣列120所產生的感測資訊(如：一輸出感測畫面)來決定指向裝置110所對應之空間狀態資訊，其中可能包含有一第一維度資訊X、一第二維度資訊Y、一第三維度資訊Z、一旋轉資訊θ以及一傾斜資訊ψ，這些不同空間狀態資訊的關係請參考第8圖。其中，第一維度資訊X、第二維度資訊Y以及第三維度資訊Z代表指向裝置110於卡氏坐標系統中的對應位置。而旋轉資訊θ代表指向裝置110於XY平面上之投影與X軸之夾角，傾斜資訊ψ則代表指向裝置110與Z軸的夾角。

本發明之方法進行之初，會透過感測陣列120來產生包含投射影像P之一感測畫面SeF，且感測畫面SeF具有複數個畫素。其中，每一畫素會對應由感測陣列120所即時產生之複數個亮度值(分別由其中的感測單元所產生)。接著，請參考第2圖，其解釋本發明如何決定指向裝置110之空間狀態資訊中之一第一維度資訊X與一第二維度資訊Y。基本上，第一維度資訊X與第二維度資訊Y代表著指向裝置110之指標115的中心點於感測陣列上的投射位置。為了求得第一維度資訊X與第二維度資訊Y，本發明方法會計算感測畫面SeF中複數個第一感測區域200_1~200_n所分別對應的複數個第一感測值，其中，每一第一感測區域200_1~200_n又分別包含有複數個畫素Pi(圖示中僅於第一感測區域200_3m+1中繪示出)。而第一感測值係透過計算第一感測區域中畫素的亮度值總和所得。當每一第一感測區域之第一感測值計算出來以後，可進一步決定出空間狀態資訊中之第一維度資訊X與第二維度資訊Y。接著，本發明方法將自複數個第一感測值中決定一最大值。舉例來說，由於投射圖像P的位置大概落於第一感測區域200_1、200_2、200_m+1以及200_m+2，所以這幾個第一感測區域理論上會具有較大的第一感測值。再者，由於第一感測區域200_m+1中所包含之投射圖像P的部分較靠近於中心點O，所以該部份會有較大的亮度值，因而使得第一感測區域200_m+1的第一感測值又會大於第一感測區域200_1、200_2以及200_m+2。因此，當具有最大之第一感測值的第一感測區域200_m+1被決定出來以後，接著便可進一步決定出第一維度資訊X與第二維度資訊Y，而關於其中的細節請參考第3圖。

當第一感測區域200_m+1被選出以後，則觀察其中每一個畫素的亮度值。由於投射圖像P之中心點O(對應於指向裝置110之指標115的中心點，該點會輸出具有最大強度的投射光線)恰落於畫素(8,m+2)的位置，所以，該畫素會具有最大的亮度值，本發明方法即利用所選出之第一感測區域中具有最大亮度值的畫素之相關位置(8,m+2)來決定此時指向裝置110的第一維度資訊X與第二維度資訊Y為(8,m+2)。

接著，當第一維度資訊X與第二維度資訊Y資訊決定後，便可依據第一維度資訊X與第二維度資訊Y來決定指向裝置110之空間狀態資訊中的第三維度資訊Z，其中的詳細概念請參考第4圖。如圖所示，由於第三維度資訊Z係代表於指向裝置110與感測陣列120之間的距離，因此，依據投射影像P的大小便可得知第三維度資訊Z的對應數值。本發明透過一尺寸大小遞增的一第二感測區域，來決定投射影像P的大小，藉此判斷第三維度資訊Z。最初，本發明方法會先於感測畫面SeF中建立一第二感測區域的初始區域範圍301(其可能對應於第三維度資訊Z的最小值a)，並且初始區域範圍301的中心點即為投射影像P之中心點位置(8,m+2)，之後，計算初始區域範圍301之第二感測值S1(可能由計算區域範圍301中之畫素亮度值總和所得)。接著，調整第二感測區域的初始區域範圍301，以得到第二感測區域之一調整後目前區域範圍302(其對應於第三維度資訊Z的值b)，並計算其中的畫素亮度值總和S2。接著，本發明方法比較第二感測值S1與第二感測值S2之間的差值，當這個差值小於一臨界值時則表示目前區域範圍302與初始區域範圍301所包含之投射影像P的部份已大致相差無幾，換言之，初始區域範圍301已包含投影影像P的大部分，因此投影影像P的第三維度資訊Z應該是初始區域範圍301所對應的值a。

然而，若是第二感測值S1與第二感測值S2之間的差值大於該臨界值時，則表示目前區域範圍302與初始區域範圍301所包含之投射影像P的部份還相差甚多，因此要再調整區域範圍302的大小，以產生一更大的區域範圍303(對應於第三維度資訊Z的值c，且中心點仍維持於(8,m+2))，並且計算出其中的第二感測值S3，而第二感測值S3與第二感測值S2的差值仍需被比較，並決定是否繼續調整目前區域範圍302的大小，抑或是可將第三維度資訊Z決定為c。於第4圖所代表的範例，一直調整到成區域範圍305時，才發現區域範圍304之第二感測值S4與區域範圍305之第二感測值S5相差無幾，此時便得出第三維度資訊Z的值為區域範圍304所對應的值d。

接著，本發明會進一步計算的旋轉資訊θ，關於計算旋轉資訊θ的方式，請參考第5圖。首先，本發明方法依據指向裝置110的第一維度資訊X與該第二維度資訊Y：(8,m+2)來於感測畫面SeF中決定出複數個具有旋轉關係的第三感測區域401~419(僅繪示部份)，其中，每一第三感測區域係圍繞著中心點(8,m+2)而有相隔10度的旋轉(請注意，這個數值與衍生的過程和結果皆非本發明的限制)。因此，第三感測資訊401對應之旋轉資訊θ為0度，第三感測資訊402對應之旋轉資訊θ為10度，第三感測資訊410對應之旋轉資訊θ為90度，以及第三感測資訊411對應之旋轉資訊θ為100度，依此類推。其次，本發明會接著計算每一第三感測區域401~419所分別對應之第三感測值。其中，計算每一第三感測值方式為計算第三感測區域中所包含的複數個畫素的亮度值的總和。

再者，當所有的第三感測值都被計算出來以後，本發明會接著自複數個第三感測值中決定一最大值，其中該最大值對應於一特定第三感測區域即，並且該特定第三感測區域所對應之旋轉角度即會作為來旋轉資訊θ。舉例來說，於第5圖的範例中，第三感測區域403所對應之第三感測值應為最大值(因其包含了投射影像P的大部份)，故此時指向裝置110的旋轉資訊θ應為100度。然而，應當注意的是，以上的角度間隔僅為本發明諸多實施態樣中一者，並非本發明之限制，於本發明其他實施例中，應有其他不同的角度間隔。

為了加速旋轉資訊θ的計算方法，本發明方法會利用一查找表來記錄對應複數個不同旋轉角度之複數個畫素排列型樣，並且利用複數個畫素排列型樣來產生第三感測區域401~419，關於這種加速方式請參考第6圖。舉例來說，矩陣A將會對應旋轉角度為0度的畫素排列型樣，而若是將以中心點為(8,m+2)之7*7個畫素的亮度值所組成之矩陣D乘上矩陣A(此時，中心點(8,m+2)的亮度值即為a25，其他矩陣元素與畫素亮度值的關係可依此類推)時，則可計算得對應於旋轉角度0度之第三感測區域401所對應之第三感測值(換言之，矩陣A等效上對應於第三感測區域419)。而若是將矩陣D乘上矩陣B時，則可計算得對應於旋轉角度40度之第三感測區域405之之第三感測值，以及若是將矩陣D乘上矩陣C，則可計算得對應於旋轉角度90度之第三感測區域410的第三感測值。換言之，該查找表記錄了對應於不同旋轉角度之複數個矩陣。透過該複數個矩陣，可決定具有最大之第三感測值的一特定第三感測區域，而其所對應之特定旋轉角度即可作為旋轉資訊θ所對應之角度值。因為，這樣的情形代表投射影像P的大部分範圍被該特定第三感測區域所包含，所以投射影像P的旋轉角度應與該特定第三感測區域的旋轉角度相仿，故該特定第三感測區域的旋轉角度可代表投射影像P的旋轉角度以作為指向裝置110的旋轉資訊θ。

關於指向裝置110之傾斜資訊ψ的決定方式請參考第7圖，其主要依據投射影像P之一幾何比例來決定。其中，本發明方法會先計算投射影像P之一第一軸Axis_A1與一第二軸Axis_A1的長度，之後再取得兩者的比例值RP。再來，本發明方法會計算指向裝置110之指標115的一第一軸Axis_A0與一第二軸Axis_A0的長度，以及兩者的比例R1。其主要概念在於，當指向裝置110所產生之光線若非垂直於感測陣列120(或者是顯示面板125)時，則投射影像P的幾何比例RP並不會等同於指標115的幾何比例R1。因此，透過比較幾何比例RP與幾何比例R1的關係，可得知指向裝置110之傾斜資訊ψ。為能加速傾斜資訊ψ的計算，本發明進一步利用一查找表來記錄基於一固定比例值R1(亦即，指向裝置110之指標115的形狀係為固定)的情形下，傾斜角度與比例值RP的關係。故本發明方法在運用上可自多個基於不同比例值R1的查找表中選擇對應於目前指標115的比例值R1的一查找表，該查找表會儲存複數個預定比例值RR1~RRn，其中比例值RR1~RRn分別映射至複數個不同傾斜角度。再者，本發明方法依據比例值RP來與預定比例值RR1~RRn比對，以決定最適合的一傾斜角度，並以該傾斜角度來作為指向裝置110的傾斜資訊ψ。

指向裝置110之傾斜角度可能會進一步影響其他空間裝置資訊的判斷正確率，這是因為當指向裝置100處於過度傾斜的狀態時，則投射影像P將無法完全生成於感測陣列120上。亦即，部份的投射影像P將會超出感測陣列120的範圍，故導致指向裝置110所對應之傾斜角度無法正確地被決定。因此，於本發明之一實施例中，當傾斜資訊ψ所對應之傾斜角度大於一特定值時，則本發明會終止決定其它空間狀態資訊的步驟。

依據一實施例，本發明之方法可歸納為第9圖所示之流程圖。請參考第9圖。最初，為了增加空間狀態資訊的正確性，本發明方法會先取得傾斜資訊，因此，於步驟910中，會依據一感測畫面中之一投影影像所對應之一幾何比例來決定一傾斜資訊。接著，於步驟920中，會進行該傾斜資訊的判斷，以判別該傾斜資訊是否大於一預定數值。若結果為是，則代表指向裝置過於傾斜，故本發明方法至此將結束；若否，則繼續進入步驟930。於步驟930中，會計算感測畫面中複數個第一感測區域所分別對應的複數個第一感測值，並且依據該複數個第一感測值，決定出一第一維度資訊與一第二維度資訊。之後，繼續進入步驟940，依據該第一維度資訊與該第二維度資訊以於該感測畫面中建立一第二感測區域，並且調整該第二感測區域的範圍大小，依據該第二感測區域內的一第二感測值的變化來決定該至少一空間狀態資訊中之一第三維度資訊。最後，進行步驟950，依據該第一維度資訊與該第二維度資訊以於該感測畫面中決定具有旋轉關係的複數個第三感測區域，並且產生分別對應於該複數個第三感測區域的複數個第三感測值，以及依據該複數個第三感測值來決定一旋轉資訊。此外，為增加本發明方法所產生之空間資訊的正確率，於本發明之一實施例中，在取得該感測畫面後，可能會先對該感測畫面進行降低背景雜訊等額外的訊號處理。待訊號處理完畢後，處理後之該感測畫面才會被用於決定該空間資訊。

此外，應當注意的是，指標115需具備指向形功能，係為不對稱形圖案，例如為一T字狀的型樣。然而，於本發明其他實施例中，指標115仍可能由其他型樣來加以實施。其中，部分可能的型樣係繪示於第10~14圖。舉例來說，指標115可能為第11圖所示之箭頭狀型樣，因此，於後續操作中，感測面120會產生包含有近似於箭頭狀的一投射影像的感測畫面，而本發明方法則可據此等感測畫面來決定指向裝置110的空間狀態資訊。換言之，第10~14圖所示之指標型樣均可適用於本發明。因此，說明書與圖式中出現的指標型樣並非本發明方法於應用上之限制。廣義上來說，本發明方法係運用具有特定型樣之指標所產生的投射影像來決定空間狀態資訊。故凡是在操作概念上與本發明相符的技術手段均應視為本發明之範疇，而非侷限於具有某種特定型樣的指標。

總結來說，雖然三維指向系統可提供使用者相當直覺式的操控感受，然而隨著三維指向系統的架構不同，目前相關技術對於其中之指向裝置的定位演算仍有諸多亟待改善之處，而本發明對於指向裝置之空間資訊的取得提供了相當準確且具效率的方式。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100．．．三維指向系統

110．．．指向裝置

115．．．指標

120．．．感測陣列

125．．．顯示面板

201_1~201_n、301~305、401~419．．．感測區域

P．．．投射影像

910~950．．．步驟

A~D．．．矩陣

第1圖係為本發明方法所應用之一三維指向系統的結構示意圖。

第2圖係為本發明方法中決定一第一維度資訊與一第二維度資訊的概念示意圖。

第3圖係為本發明方法中決定該第一維度資訊與該第二維度資訊的概念示意圖。

第4圖係為本發明方法中決定一第三維度資訊的概念示意圖。

第5圖係為本發明方法中決定一旋轉資訊的概念示意圖。

第6圖係為本發明方法中決定該旋轉資訊的概念示意圖。

第7圖係為本發明方法中決定一傾斜資訊的概念示意圖。

第8圖係解釋本發明方法所決定之不同空間狀態的關係示意圖。

第9圖係為本發明方法之一實施例的流程圖。

第10~14圖係繪示運用本發明方法之該三維指向系統中該指標所具備的型樣。

910~950．．．步驟

Claims (15)

1. 一種用於一三維指向系統的方法，該三維指向系統包含有一指向裝置，一顯示面板與一感測陣列，該感測陣列嵌設於該顯示面板中，該指向裝置可產生一投射光線，該方法包含：利用該指向裝置產生該投射光線，以將位於該指向裝置之一輸出方的一指標投射於該顯示面板上形成一投射影像；利用該感測陣列產生包含該投射影像之一感測畫面，其中該感測畫面具有複數個畫素；計算該感測畫面中複數個第一感測區域所分別對應的複數個第一感測值；以及依據該複數個第一感測值，決定出該至少一空間狀態資訊中之一第一維度資訊與一第二維度資訊。
2. 如申請專利範圍第1項所述之方法，其中計算該感測畫面中該複數個第一感測區域所分別對應的該複數個第一感測值的步驟包含：計算每一第一感測區域中所包含之複數個畫素的複數個亮度值總和，以產生每一第一感測區域所對應的第一感測值。
3. 如申請專利範圍第2項所述之方法，其中決定出該第一維度資訊與該第二維度資訊的步驟包含：自該複數個第一感測值中決定一最大值；自該最大值所對應之一特定第一感測區域中決定具有一最大亮 度值之一特定畫素；以及依據該特定畫素所對應之一位置資訊，來決定該第一維度資訊與該第二維度資訊。
4. 如申請專利範圍第1項所述之方法，另包含有：依據該第一維度資訊與該第二維度資訊以於該感測畫面中建立一第二感測區域；以及調整該第二感測區域的範圍大小，並依據該第二感測區域內的一第二感測值的變化，決定該至少一空間狀態資訊中之一第三維度資訊。
5. 如申請專利範圍第4項所述之方法，其中決定該第三維度資訊的步驟包含：依據該第二感測區域之一初始區域範圍內的複數個畫素之亮度值來產生對應該初始區域範圍之該第二感測值；調整該第二感測區域的該初始區域範圍而得到一目前區域範圍；以及進行一第三維度資訊產生操作：依據該第二感測區域之該目前區域範圍內的複數個畫素之亮度值來產生對應該目前區域範圍之該第二感測值；當對應該目前區域範圍之該第二感測值與對應前一區域範圍之第二感測值之間的差異小於一臨界值時，依據該第二感測區域之該目前區域範圍的大小來決定該第三維度 資訊；以及當對應該目前區域範圍之該第二感測值與對應前一區域範圍之第二感測值之間的差異不小於該臨界值時，更新該第二感測區域的該目前區域範圍，並重複執行該第三維度資訊產生操作。
6. 如申請專利範圍第5項所述之方法，其中產生對應該初始區域範圍之該第二感測值的步驟包含有：計算該第二感測區域之該初始區域範圍內的該複數個畫素之亮度值的總和來產生對應該初始區域範圍之該第二感測值；以及對應該目前區域範圍之該第二感測值的步驟包含有：計算該第二感測區域之該目前區域範圍內的該複數個畫素之亮度值的總和來作為對應該目前區域範圍之該第二感測值。
7. 如申請專利範圍第1項所述之方法，另包含有：依據該第一維度資訊與該第二維度資訊以於該感測畫面中決定具有旋轉關係的複數個第三感測區域；產生分別對應於該複數個第三感測區域的複數個第三感測值；以及依據該複數個第三感測值來決定該至少一空間狀態資訊中之一旋轉資訊。
8. 如申請專利範圍第7項所述之方法，其中依據該第一維度資訊與 該第二維度資訊以於該感測畫面中決定具有旋轉關係的該複數個第三感測區域的步驟包含有：提供一查找表(look-up table)，其儲存複數個畫素排列型樣分別映射至至複數個不同旋轉角度；以及依據該查找表與該第一第二維度資訊，自該感測畫面中決定出分別對應該複數個不同旋轉角度之該複數個第三感測區域。
9. 如申請專利範圍第8項所述之方法，其中產生分別對應於該複數個第三感測區域的該複數個第三感測值的步驟包含：計算每一第三感測區域中所包含的複數個畫素的複數個亮度值的總和，來作為每一第三感測區域的第三感測值；以及依據該複數個第三感測值來決定該至少一空間狀態資訊中之該旋轉資訊的步驟包含：自該複數個第三感測值中決定一最大值，其中該最大值對應一特定第三感測區域；以及依據該特定第三感測區域所對應之旋轉角度來決定該旋轉資訊。
10. 如申請專利範圍第1項所述之方法，另包含：依據該感測畫面中之該投影影像所對應之一幾何比例，決定該至少一空間狀態資訊中之一傾斜資訊。
11. 如申請專利範圍第10項所述之方法，另包含：依據該傾斜資訊來決定是否執行決定其它空間狀態資訊的步驟。
12. 如申請專利範圍第10項所述之方法，其中決定該傾斜資訊的步驟包含有：計算該指標之一第一軸所對應之長度與一第二軸所對應之長度之間的一第一比例值；計算該投射影像之一第一軸所對應之長度與一第二軸所對應之長度之間的一第二比例值；以及依據該第一比例值與該第二比例值的關係來決定該傾斜資訊。
13. 如申請專利範圍第12項所述之方法，其中依據該第一比例值與該第二比例值的關係來決定該傾斜資訊的步驟包含有：依據該第一比例值選擇一查找表，其儲存複數個第二預定比例值分別映射至複數個傾斜角度；以及依據該第二比例值與該複數個第二預定比例值以自該查找表中決定一特定傾斜角度；以及依據該特定傾斜角度來決定該傾斜資訊。
14. 如申請專利範圍第1項所述之方法，其中該指標包含一非對稱形圖案。
15. 如申請專利範圍第14項所述之方法，其中該指標包含如圖式第10~14圖之任一圖所示之圖案。