TWI444875B - 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法 - Google Patents

Description

多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法

本發明關於一種產生多點觸碰指令之系統與方法，尤其是指一種透過單點觸控感應板與影像感測器產生多點觸碰指令之系統與方法。

近來，應用於個人電腦之多指觸控輸入領域的發展，改善了電腦應用程式的輸入能力。隨著觸控螢幕的改革創新，當多點與以手勢為基礎的觸碰板成為超越標準輸入裝置(例如習知滑鼠)之輸入裝置時，它們提供各方面優化的生產力。

直至目前，設置於鍵盤和遙控器上的標準觸碰板為單點觸控感應板。儘管是標準的用法，然而欲使單點觸控感應板產生多點觸碰輸入或直覺式的多維輸入指令卻具有天生的障礙。

因此，讓單點觸控感應板具有多點觸碰輸入的能力，而成為如同多點觸碰板或是其他多維輸入裝置的需求確實存在。

本發明的發展係為了回應現今可用之觸碰板系統與方法尚未能完全解決的技術問題與需求。因此，此系統與方法透過利用一單點觸控感應板與一影像感測器的結合，進而提供一多指觸控使用者介面。此系統與方法可被用以控制習知的二維和三維軟體應用程式。此系統與方法亦允許藉由使用者位於單點觸碰板上之雙手或手指產生多維輸入指令觸碰板。此系統與方法亦提供一種簡單地藉由將使用者之手指盤懸於觸碰板之表面所產生之輸入指令觸碰板。

實施本系統與方法具有數個有益特徵與優點。舉例來說，本系統與方法提供一雙輸入模式。於一第一模式中，手部手勢位於一單點觸控感應板則產生一多點觸碰指令。在一第二模式中，手部手勢位於開放空間則產生一多點觸碰輸入。在實施上，當單點觸控感應板感應到其表面存在使用者手指之一觸碰點，則本系統與方法進入一第一輸入模式。當單點觸控感應板感應到其表面不存在使用者手指之一觸碰點，則本系統切換至一第二輸入模式。

於其他實施例中，本系統與方法透過資料融合，明顯減少觸碰板之多點觸碰偵測與追蹤的運算負荷。同時，廠商可利用低成本的單點觸控感應板生產本系統，且於不使用成本較高之多點觸碰感應板的情況下，依舊具有多點觸碰板的功能。上述系統具有直覺式的輸入指令，且可被應用於例如多維應用程式之控制。

於一實施例中，本發明包含由單點觸控感應板和影像感測器產生多點觸碰指令之一系統。影像感測器設置在相鄰於單點觸控感應板之處，用以擷取單點觸控感應板表面或上方之使用者手指之一或多個影像。本系統包括韌體，韌體用以獲取來自單點觸控感應板之資料，並利用資料與來自影像感測器之一或多個影像，進而產生一多點觸碰指令。

於另一實施例中，本發明包括由單點觸控感應板產生一多點觸碰指令之方法。本方法與獲取來自一單點觸控感應板之資料有關，其中資料用以表示使用者是否接觸感應板以及接觸位置。本方法亦與獲取自影像感測器之使用者手指的影像有關。接著，本系統之韌體利用獲取的資料和影像，識別使用者的手部手勢，並根據手部手勢產生一多點觸碰指令。

本發明之以上與其他特徵與優點將被具體表現於本發明之主要實施例中，且於以下說明與申請專利範圍中進一步展現，或藉由下文中的發明實施例獲悉。本發明無須合併下文中所有有益特徵與優點至每一個發明實施例。

本發明之較佳實施例藉由圖式參考進行瞭解，圖中相同標號即表示為相同或功能相似的元件。可以理解的是，一般說明或圖式中的本發明組成要素可採其他不同形式設置或設計。因此，下文的詳細說明或圖式僅為表現本發明之較佳實施例，不應用以限制本發明之申請專利範圍。

本發明之內容將以數個副標題進行揭露，而設立副標題僅為方便閱讀，不應被解釋為任何的限制。

以下敘述係以透規法進行描寫，例如上/下、前/後、左/右和頂/底。這些說明僅用以協助討論，而非企圖限制本發明之應用或實施例。

於下文說明中，「A/B」表示A或B，「A及/或B」表示「(A)、(B)或(A和B)」，而「至少一A和B和C」表示「(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A和B和C)」。

各種操作被依序描述為多種不連續的操作，某種程度上將有助於理解本發明之實施例。然而，描述的順序不應被視為需要依賴順序才能進行操作的暗示。

如詞彙「於一實施例中」或「於其他實施例中」中所使用的描述，同樣對應至一或多個相同或不同的實施例。甚者，本發明之實施例中常用「包含」、「包括」、「具有」和其他類似字詞，其含意皆與「包括」之定義相同。

本輸入系統與方法偵測單點觸控感應板上(簡稱為「觸碰板」)以及影像感測器之影像資料中(簡稱為「影像」)多個指尖之二維座標。當使用者將二或多個指尖放置於單點觸控感應板之表面時，本系統與方法使用一種單點觸控感應板，於使用者將二個或多個指尖放置於該單點觸控感應板上時，該單點觸控感應板可回報該多個觸碰點之一平均觸碰點之二維座標P_av ，其中P_av =(X_av ,Y_av )。為了計算每個指尖正確的二維座標，本系統與方法將平均觸碰點之二維座標P_av 與擷取自影像感測器之影像資料進行結合或融合。資料融合一般係指結合多個來源的資料以進行判斷推論，而於本系統與方法中，資料融合係關於來自觸碰板20與影像感測器22之資料的結合。假若每個手指被分別識別，資料融合將更有效率且縮限識別手指的位置。而透過資料融合，本系統與方法可以判斷觸碰板20表面上之每個指尖(或觸碰點)的二維位置。

硬體結構與其應用

請參閱圖1，圖1為應用本輸入系統之硬體的實施例。如圖所示，輸入系統包括一鍵盤24，其中包括一觸碰板20與一影像感測器22，且設置於鍵盤24本體之上。

為了進行資料融合，影像感測器22選用低解析度且黑白影像感測器22(例如具有CGA且解析度為320x200黑白像素的CMOS感測器)。影像感測器22固設於鍵盤24且相鄰於觸碰板20，在某種程度上允許影像感測器22之感測相機28擷取觸碰板20表面或觸碰板20及/或影像感測器22上方的開放空間中的使用者手指。於某些實施例中，影像感測器22之感測相機28的角度可被移動，用以改變感測相機28之相機角度(包括垂直角度與水平角度的方向)。感測相機28可被自動或手動移動。舉例來說，感測相機28感測使用者手部30之位置，並自動調整其方向以面對使用者手部30。感測相機28的移動如圖1與2所示，其中圖1中感測相機28之方向朝上，圖2中感測相機28之方向則朝向觸碰板20。

作為可選擇之設計特徵的光源26，例如小型LED燈，被設置於鍵盤24上，且相鄰於觸碰板20，用以提供光線至觸碰板20區域以及觸碰板及/或影像感22測器之上方區域。因此，於某些實施例中，當使用者手指接觸觸碰板20時，光源26至少照亮觸碰板20以及一部份之使用者手指。有些實施例將因可移動光源而受益，其中移動式光源可自動或手動移動，以便改變沿著二個或多個平面的照明角度。

請參閱圖2，圖2為本系統結合觸碰板20與影像感測器22以產生多點觸碰輸入之示意圖。如圖所示，影像感測器22之感測相機28的角度朝向觸碰板20，因此感測相機28得以擷取觸碰板20完整的表面和手指32、34及/或使用者之手部30。於此方位中，感測相機28得以擷取觸碰板20上的使用者手部手勢(於此係指手部和手指手勢)。透過融合觸碰板20與影像感測器22的資料以產生一多指輸入，且此輸入類型成為一雙輸入系統之一第一類型多指輸入。關於資料融合的過程將於下文中詳細描述。

請參閱圖3，圖3顯示影像感測器22被作為一獨立輸入裝置使用之情況。如圖所示，影像感測器22得以擷取使用者在開放空間(例如虛擬平面40)所產生的手部手勢，而開放空間係指觸碰板20表面及/或影像感測器22之上方。這些被擷取的影像將透過韌體的一即時樣板(real-time template)(目標物影像)追蹤演算法而被處理，該演算法將使用者的手部手勢編譯為多點觸碰輸入指令。在某些例子中，開放空間中產生的手部手勢可作為一雙輸入系統之一第二類型多指輸入。而在其他例子中，上述二種輸入類型可以被分開使用。

圖4A至6B為影像感測器22擷取手部手勢影像之示意圖。舉例來說，圖4A顯示手部位於影像感測器22上方X-Y軸之開放空間中(在三維且具有X-Y-Z座標系統中)。圖4B顯示由影像感測器22擷取手部位置之二維影像50(在X-Y座標系統中)。同樣地，圖5A顯示產生於影像感測器22上方Z軸的手部手勢，圖5B則顯示由影像感測器22所擷取手部手勢的影像50。最後，圖6A顯示產生於影像感測器22上方的旋轉手部手勢，而圖6B顯示產生的影像系列50(重疊於單一影像上)。

請參閱圖7，圖7為輸入系統60之硬體元件之方塊圖。如圖所示，一微處理器64連接並接收鍵盤部62、影像感測器22、觸碰板20和光源26(可選)之資料。微處理器64獲取來自上述每一個元件的資料封包。微處理器64透過有線/無線USB連接介面或PS/2連接介面66與主機連接，因此微處理器64可將獲取自上述元件之資料封包傳送至主機。

韌體結構與功能

請參閱圖8，圖8為本系統與方法之韌體70之功能方塊圖。如圖所示，韌體70包括三個邏輯裝置(即使實際上每個邏輯裝置之硬體被分別實施為單一裝置)，其中第一邏輯裝置72處理來自習知鍵盤之鍵盤訊號，第二邏輯裝置74融合來自觸碰板20與第三邏輯裝置76之資料，而第三邏輯裝置76則處理來自影像感測器22之影像資料。

在第二邏輯裝置74之資料處理中，韌體70獲取觸碰板20之資料以識別觸碰板上是否存在一觸碰點，若觸碰點存在，則識別觸碰點之位置或座標。韌體70亦獲取來自影像感測器22之影像，而被獲取的影像為點陣影像資料。透過資料之獲取，韌體70得以識別使用者之一或多指所產生的手部手勢，並根據被辨識的手部手勢產生一多點觸碰指令。最後，第二邏輯裝置74輸出與多點觸碰感應板相同的格式，而韌體70之第三邏輯裝置76執行實時樣板追蹤計算式，辨別開放空間中符合使用者手指-手部之物件的三維位置與方向。當使用者之手部未接觸觸碰板20時，第三邏輯裝置76可獨立於第二邏輯裝置74進行運作。關於韌體之額外功能將於下文中說明。

資料融合演算法

下文將說明利用韌體70之資料融合演算法識別多點觸碰位置之過程。圖9A至9B顯示自觸碰板20上二或多個觸碰點獲取單一平均觸碰點(X,Y)。做為背景說明之用，圖9A與圖9B顯示接觸於接觸板20之二手指32、34，以及觸碰板20上的二實際觸碰點(X₁ ,Y₁ )、(X₂ ,Y₂ )之一平均觸碰點(X,Y)。由於觸碰板20為單點觸控感應板，因此僅能感應並輸出單一平均觸碰點(X,Y)。

以下將說明利用資料融合演算法計算每一個位於觸控20上觸碰點之實際位置。首先，如圖9A與圖9B所示，韌體70自觸碰板20上一或多個觸碰點獲取一平均觸碰點(X,Y)。同時，韌體70亦獲取來自影像感測器22之影像80。韌體70將影像80轉換及/或處理為僅有黑白像素之二色影像，如圖10A所示，以利於進行手指32、34識別。截至目前，分開的觸碰點之各自位置仍為未知。

接下來，韌體70反覆執行以下步驟。當獲取平均觸碰點(X,Y)後，平均觸碰點(X,Y)被對映至一像素座標系統上，如圖10B所示。接著，韌體70融合資料、影像感測器22之影像以及對映位於相同座標之全部或一部分影像80，亦如圖10B所示。需要瞭解的是，韌體70將影像80之相對座標對映至觸碰板20之座標，藉以調整影像感測器22之相機角度以及影像感測器22與觸碰板20表面的相對位置。接著，韌體70利用全部或部分影像80識別手指32、34邊緣的位置，方法是透過掃描平均觸碰點附近的X軸與Y軸像素線，達到識別手指邊緣之目的。在某些例子中，韌體70識別特定掃描線之列索引資料與行索引資料以物體體邊緣。

接下來，當手指邊緣之識別完成後，韌體70即可偵測影像80中的手指數量以推算觸碰板20上的指尖數量。韌體70亦可透過座標系統量測影像80中指尖之間的距離，而進一步推算觸碰點之間的距離。以二個觸碰點為例，如圖10B所示，偵測二個觸碰點座標之間的距離為D_x 與D_y 。

接下來，韌體70識別二或多個實際觸碰點之座標。舉例來說，偵測二個觸碰點後，韌體70透過已知數值(X,Y)、D_x 與D_y 推算第一觸碰點之座標(X₁ ,Y₁ )與第二觸碰點之座標(X₂ ,Y₂ )。計算公式如下所示：

X₁ =X-D_x /2;Y₁ =Y-D_y /2

X₂ =X+D_x /2;Y₂ =Y+D_y /2

最後，如果後來觸碰點座標的資料序列中具有一或多個不平穩的移動，則此組觸碰點座標將透過濾波器進行平整化，其中濾波器為數位低通濾波器或其他合適的濾波器。

承上所述，韌體70之第二邏輯裝置74並未採用習知影像處理方法追蹤觸碰點，例如即時樣板(目標物影像)追蹤演算法，係因習知方法需要依賴具有強大運算能力之微處理器64。本方法透過掃描平均觸碰點附近的一維像素線以估算指尖之間的距離，藉以降低微控制器64之運算負荷。因此，資料融合利用觸碰板20的平均觸碰點與影像感測器22的部分像素資料，提供一種明顯降低微控制器64之運算負荷的方法。

多維輸入指令

如上所述，觸碰板20與影像感測器22之資料融合被用以產生多點觸碰指令。透過資料融合產生多點觸碰指令時，觸碰板20與影像感測器22被視為主要輸入以及用以產生輸入指令的獨立利用。即時樣板追蹤演算法亦可以被韌體70利用。

圖11顯示透過觸碰板20與影像感測器22之資料產生多點觸碰指令，其中多點觸碰指令之產生可由分開或同時使用一隻或兩隻手完成。於此例中，影像感測器22之影像並非用以偵測觸碰板20上的多個指尖位置，而是用以識別開放空間中的手指或手部位置，進而辨識手部手勢。圖11顯示使用者利用觸碰板20上的右手手指32產生單點觸控輸入指令。而使用者亦可利用其左手產生獨立的輸入指令，例如一多點觸碰指令。

舉例來說，圖12顯示在觸碰板20上移動手部30’以產生二維平移指令。如圖所示，使用者在觸碰板20表面拖曳單一手指32，產生二維攝像取景指令對應於三維軟體應用程式，例如google earth。手指32在觸碰板20上之左右方向移動為攝像取景之水平平移指令，而前後方向移動則為攝像取景之前後平移指令。

承上所述，圖13顯示在影像感測器22之開放空間中移動第二手部30”以產生轉向和縮放指令。如圖所示，使用者沿著影像感測器22之相機的垂直軸旋轉其第二手部30”。舉例來說，影像處理演算法(例如即時樣板追蹤演算法)識別樣板的旋轉角度，並依此產生攝像取景的轉向指令(Z軸旋轉)。手部平移手勢沿著軸靠近影像感測器22之相機，可被影像處理演算法識別，並在軟體應用程式中產生如一放大或縮小指令。上述的移動用以控制軟體程式在顯示器90中的顯示內容。

透過觸碰板附近之手指懸空手勢產生指令

於某些實施例中，本發明之系統與方法提供一多點觸碰輸入手勢，其中多點觸碰輸入手勢係透過觸碰板20表面附近之手指懸空手勢產生。如圖14A與15A所示，仔細調整影像感測器22之取景角度後，影像感測器22得以擷取觸碰板20表面、一使用者手指32、34與觸碰板20之一外框區域100，其中外框區域100為一環繞於觸碰板20之一側壁，且側壁凹陷或低於鍵盤或其他本體之表面。此外，外框區域100包括一牆面，且牆面自鍵盤之表面延伸至觸碰板20之表面。

如此設計，影像感測器22不僅可以偵測位於觸碰板20之區域X-Y座標上手指32、34的二維手指位置，更可以偵測使用者指尖與觸碰板20表面之間的垂直距離(沿著Z軸)。關於觸碰板20附近的指尖位置資料可被應用於Z軸相關指令，例如Z軸平移或創造其他多點手勢輸入指令的控制。

圖14A顯示使用者手指32、34接觸於觸碰板20表面。圖14B顯示影像感測器22之影像102以對應圖14A之使用者手指32、34。圖15A顯示手指32、34自圖14A之接觸位置移至觸碰板20表面上方之懸空位置。圖15B顯示影像感測器22之影像102以對應圖15A之使用者手指32、34。

在某些實施例中，影像感測器22被用以識別觸碰板20表面與上方的手指32、34的區域X-Y位置，以及位於觸碰板20上方手指32、34的懸空距離。此識別係透過比較連續影像框(亦即目前與先前影像框)，例如圖14B與圖15B之影像框而達成。接著，影像感測器22識別手指32、34之X、Y與Z之約略的位置變化。

當使用者手指32、34接觸至觸碰板20表面，如前文所述，將透過資料融合識別觸碰點的絕對位置。然而，當使用者抬起手指32、34且懸空於觸碰板20表面，資料融合可能無法識別手指32、34之精確二維位置。於此例中，影像感測器22透過比對先前擷取影像框與現在擷取影像框估算X軸的位置變化量。舉例來說，圖16A和圖16B顯示透過比對二個連續影像框之間的差異以偵測X軸的位置改變量。

於圖16A與16B之例中，韌體70使用回反射器110(retroreflector)之一或多個的視覺特徵進行識別並比較影像，以便估算手指32、34在X軸的位置變化量。圖16A與圖16B顯示習知回反射器110設置於觸碰板20之外邊緣區域(外框100)以協助識別影像。如圖所示，回反射器110包括一或多個視覺特徵，例如線條112、格紋或是其他視覺背景影像，上述視覺特徵用以量測及/或估算手指32、34在X軸之相對移動與位置變化量。在某些實施例中，回反射器110包括一薄膜材質的表面，用以反射光線至其發射源以減少光線散逸。當手指32、34阻斷回反射器110之反射光時，韌體70依據回反射器110之線條112偵測手指32、34之位置改變量，且位置改變量可被設定為手指32、34在X軸上之預設位置變化量。

於某些實施例中，韌體70亦可偵測懸空於觸碰板20上方之手指Y軸移動(前進/後退)。於此實施例中，韌體70及/或影像感測器22的用法與圖4說明中所述方法相同，藉由比對後來影像框中之手指影像尺寸(比例改變)，進而估算手指32、34在Y軸上的位置改變量。

需要理解的是，本系統與方法藉由觸碰板20表面以及懸空於觸碰板20表面的手部手勢產生多點觸碰指令。當觸碰板20被接觸時，觸碰板20產生多指觸控指令，例如包括卷軸捲動、網頁翻頁、文字影像縮放、圖片旋轉等等。同樣地，懸空於觸碰板上方的手指亦可產生多點觸碰指令。舉例來說，左/右移動懸空手指產生X軸平移的訊號，前/後移動懸空手指產生Y軸平移的訊號，左/右方向移動二懸空手指產生一轉向指令(Y軸旋轉)，而前/後移動二隻懸空手指產生一翻轉指令(X軸旋轉)。在特別例子中，懸空手指產生令三維地圖(如google earth)之攝像取景改變的指令。

在某些實施例中，觸碰板20表面的手部手勢啟動一第一指令模式，而懸空手指在觸碰板20上方產生的手部手勢啟動一第二指令模式。在某些例子中，此二模式接收觸碰板表面與其上方空間的手勢輸入，而成為雙模式系統。因此，使用者可以藉由接觸觸碰板20、將手指盤懸於觸碰板20之上及/或將手指盤懸於影像感應器22之上，進行軟體程式的輸入與控制。

以上所述僅為本發明之較佳實施例，並非用以限定本發明之申請專利範圍，因此凡其他未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含於本案之申請專利範圍內。

20．．．觸碰板

22．．．影像感測器

24．．．鍵盤

26．．．光源

28．．．慼測相機

30．．．手部

30'．．．手部

30"．．．第二手部

32．．．手指

34．．．手指

40．．．虛擬平面

50．．．影像

60．．．輸入系統

62．．．鍵盤部

64．．．微處理器

66．．．USB或PS/2連接介面

70．．．韌體

72．．．第一邏輯裝置

74．．．第二邏輯裝置

76．．．第三邏輯裝置

80．．．影像

90．．．顯示器

100．．．外框區域

102．．．影像

110．．．回反射器

112．．．線條

P_av ．．．平均觸碰點

(X,Y)．．．平均觸碰點

(X₁ ,Y₁ )．．．第一觸碰點

(X₂ ,Y₂ )．．．第二觸碰點

D_x ．．．距離

D_y ．．．距離

圖1：係本發明具有單點觸碰感應板與影像感測器之鍵盤立體圖。

圖2：係本發明透過單點觸碰感應板與影像感測器產生多點觸碰輸入之示意圖。

圖3：係本發明之影像感測器作為獨立輸入裝置之示意圖。

圖4A與4B：係本發明影像感測器與其上方之手部手勢(X-Y移動)以及擷取畫面示意圖。

圖5A與5B：係本發明影像感測器與其上方之手部手勢(Z移動)以及擷取畫面之示意圖。

圖6A與6B：係本發明影像感測器與其上方之手部手勢(Z軸旋轉)以及擷取畫面之示意圖。

圖7：係本發明之硬體元件之方塊圖。

圖8：係本發明之韌體之功能方塊圖。

圖9A與9B：係本發明之二手指與其位於單點觸碰板表面座標之示意圖。

圖10A與10B：係本發明之二色影像以及影像中的目標物(手指-手)座標之示意圖。

圖11：係本發明透過一或二隻手輸入手勢產生多維指令之示意圖。

圖12：係本發明透過單點觸控感應板與單一手指產生二維指令控制三維地圖應用程式之示意圖。

圖13：係本發明透過旋轉/縮放手勢控制三維地圖應用程式之示意圖。

圖14A：係本發明之設置於鍵盤之影像感測器以及未執行懸空指令動作前之使用者手指之側視圖。

圖14B：係本發明於執行懸空指令動作前所被擷取的手指影像之示意圖。

圖15A：係本發明設置於鍵盤之影像感測器以及於執行懸空指令後之使用者手指之側視圖。

圖15B：係本發明之於執行懸空指令後之手指之擷取影像。

圖16A：係本發明之前一擷取影像影像框示意圖，用以計算懸空指尖在x軸的位移改變量。

圖16B：係本發明之當前擷取影像影像框示意圖，用以計算懸空指尖在x軸的位移改變量。

20．．．觸碰板

22．．．影像感測器

24．．．鍵盤

28．．．感測相機

30'．．．手部

30"．．．第二手部

32．．．手指

34．．．手指

Claims (17)

1. 一種產生多點觸碰指令之系統，包括：一單點觸控感應板；一影像感測器，設置於該單點觸控感應板附近，其中該影像感測器用以擷取該單點觸控感應板表面或上方之一使用者手指之一或多個影像；一韌體，用以接收該單點觸控感應板之一資料，並依據該資料與該影像感測器之一或多個該影像產生一多點觸碰指令；以及一回反射器，具有至少一視覺特徵，用以協助該韌體偵測該單點觸控感應板上方之該手指之位置。
2. 如申請專利範圍第1項所述之系統，其中該韌體更用以藉由比較該影像感測器所擷取之該一或多個影像之連續影像而識別該使用者手指之一位置與移動。
3. 如申請專利範圍第1項所述之系統，其中該影像感測器包括一感測相機。
4. 如申請專利範圍第3項所述之系統，其中該感測相機可移動以改變該感測相機之一相機角度。
5. 如申請專利範圍第1項所述之系統，更包括一外框區域設置於該單點觸碰感應板之一外邊緣。
6. 如申請專利範圍第5項所述之系統，其中該回反射器設置於該單點觸碰感應板之該外邊緣上，於該回反射器上之該視覺特徵係複數線 條或一格紋。
7. 如申請專利範圍第6項所述之系統，其中該韌體更包括藉由比較該影像感測器所擷取之該一或多個影像之連續影像，以及藉由辨識該連續影像中該使用者手指之位置與該回反射器之該複數線條或該格紋之位置之關係，而識別該使用者手指之位置與移動。
8. 如申請專利範圍第1項所述之系統，更包括一光源設置於該單點觸碰感應板附近，用以於該使用者手指接觸該單點觸碰感應板時，照明至少該單點觸控感應板與該使用者手指之一部分。
9. 一種使用一單點觸碰感應板產生一多點觸碰指令之方法，該方法包括：從一單點觸控感應板獲取資料，該資料用以識別該單點觸碰感應板上是否存在一觸碰點，若是，則依據該資料識別該觸碰點位置，其中該觸碰點自一使用者之一或多個手指接觸於該單點觸控感應板所產生，且該觸碰點位置為一平均觸碰點位置；獲取來自一影像感測器之該使用者之該一或多個手指之一或多個影像；使用韌體、該平均觸碰點之該位置以及該一或多個影像來識別該單點觸控感應板之二或多個觸碰點，包括：對映該平均觸碰點之該位置至一座標系統；對映該一或多個影像之至少一部分至該座標系統；識別至少一部份之該一或多個影像中之手指邊緣於該座標系 統之位置；決定該二或多個實際觸碰點之數量，以及該二或多個實際觸碰點之間之距離；以及識別該二或多個實際觸碰點之座標；使用韌體及該二或多個實際觸碰點之座標以及該一或多個影像來識別該使用者之該一或多個手指所產生之一手部手勢；以及基於該被識別的手勢，使用韌體產生一多點觸碰指令。
10. 如申請專利範圍第9項所述之方法，其中該一或多個影像之至少一部份接近該平均觸碰點之位置。
11. 如申請專利範圍第9項所述之方法，更包括過濾該二或多個實際觸碰點之一組識別座標，以濾除不平穩的移動。
12. 如申請專利範圍第9項所述之方法，其中識別一手部手勢包括，當該資料顯示該單點觸碰感應板上不存在一觸碰點時，僅使用該一或多個影像識別該使用者之一或多個手指所做的手勢。
13. 如申請專利範圍第12項所述之方法，更包括比較該一或多個影像中之二或多個連續影像，以偵測一使用者手部手勢。
14. 如申請專利範圍第13項所述之方法，更包括：識別該二或多個連續影像中之一回反射器之一或多個視覺特徵；以及基於該使用者之一或多個手指相對於該二或多個連續影像中該回反射器之該一或多個視覺特徵之位置，識別該二或多個連續影像中該 使用者之一或多個手指之一移動。
15. 如申請專利範圍第13項所述之方法，其中識別一手部手勢包括使用一即時樣板追蹤演算法。
16. 如申請專利範圍第9項所述之方法，其中當該資料顯示該單點觸碰感應板上不存在一觸碰點時，識別一手部手勢包括識別於開放空間中產生之一手部手勢。
17. 如申請專利範圍第9項所述之方法，其中當該資料識別該單點觸碰感應板上存在一觸碰點時，識別一手部手勢包括識別於至少部分之該觸碰板上所產生之一手部手勢。